SKBL6024
TUGASAN 1
KEBOLEHPERCAYAAN DAN KESAHAN DALAM KAJIAN
PENSYARAH
DR.MOHAMMED AZLAN MIS
PELAJAR
NUR IZZATI BINTI ROZMAN
P89778
1
PERBINCANGAN 1:
Kebolehpercayaan dan kesahan adalah merupakan dua ciri utama yang saling berkait dalam
menentukan kesesuaian dan kebolehgunaan sesuatu instrumen dalam sesebuah kajian
penyelidikan. Perbincangan pada topik ini akan menelusuri takrifan definisi kebolehpercayaan
dan kesahan secara lebih lanjut di samping meneliti pembawaan konsep kedua-dua istilah ini
secara lebih mendalam.
Kebolehpercayaan dapat ditakrifkan sebagai suatu nilai ukuran yang boleh dijadikan sebagai
panduan untuk menentukan ketekalan skor sesuatu item. Ketekalan atau juga diistilahkan
sebagai ‘consistency’ ini menurut Howard (1988) adalah merupakan suatu elemen penting
dalam konsep kebolehpercayaan yang membawa maksud sekiranya sesuatu item yang sama
diuji beberapa kali kepada subjek yang sama (namun pada selang masa yang berlainan), maka
skor keputusan/jawapan yang diberikan adalah tetap sama ataupun hampir sama. Kewujudan
unsur ketekalan ini diperjelaskan oleh William (2000) sebagai suatu unsur utama dalam konsep
kebolehpercayaan yang merujuk kepada kestabilan sesuatu ukuran atau instrumen atau kajian
atau soal selidik merentasi masa terhadap sesuatu gagasan. Tujuan utama wujudnya konsep
kebolehpercayaan ini adalah berkait rapat dengan sesuatu kajian yang dijalankan penyelidik di
mana tujuan utamanya adalah untuk mengetahui kemampuan sesuatu ukuran itu dalam
memberikan jawapan yang sama apabila ianya digunakan untuk mengukur konsep yang sama
terhadap suatu populasi/ sampel/ responden (Sabitha Marican,2005).
Kesahan melalui takrifan oleh Fraenkel & Wallen (1996) dapat didefinisikan sebagai
“ketepatan (appropriateness), kebenaran (truthfulness), bermakna (meaningfulness) dan
kebolehgunaan (usefulness) sesebuah instrumen yang membolehkan sesuatu data
diinferenkan”. Melihat kepada takrifan ini, unsur utama yang membentuk konsep kesahan iaitu
keupayaan suatu pengukuran. Chua Yan Piaw (2014) mendefinisikan kesahan sebagai
“keupayaan suatu pengukuran yang dilakukan untuk mengukur nilai sebenar konsep dalam
hipotesis” (Chua Yan Piaw, 2014). Definisi oleh Piaw ini adalah selari dengan takrifan kesahan
oleh Kerlinger (1986) dalam konteks penyelidikan di mana kesahan digunakan untuk mengukur
2
ketepatan sesuatu ukuran yang digunakan dalam kajian berdasarkan perujukan terhadap tahap
kemampuan sesuatu pembolehubah yang dibina dalam mengukur apa yang sepatutnya diukur
(Kerlinger, 1986). Secara umumnya, sesebuah penyelidikan yang mempunyai nilai kesahan
yang tinggi mencerminkan bahawa dapatan yang diperoleh adalah berdasarkan fakta atau bukti
dan mampu memberi justifikasi yang tepat dalam sesebuah penyelidikan. Hal ini berpadanan
dengan pandangan oleh Campbell & Fiske (1959) yang berpendapat bahawa kesahan ini adalah
sesuatu “persetujuan antara dua percubaan untuk mengukur sifat/ciri yang sama secara
maksimum melalui kaedah yang berlainan”.
Dalam memahami konsep kesahan ini, Chua Yan Piaw (2014) telah mengemukakan suatu
analogi definisi konseptual IQ. Perbezaan dalam definisi operasional dan konseptual IQ
mendatangkan masalah kepada pengkaji dalam meyakinkan orang lain tentang kesahan dalam
pengukuran konsep-konsep dalam kajiannya. Ketidakselarasan dalam konsep ini menjadikan
pengukuran yang dibuat akan mempunyai kesahan yang rendah. Ini memandangkan konsep
yang diukur dan konsep yang dinyatakan dalam hipotesis adalah berbeza.
Oleh yang demikian, bagi menjamin kesahan pengukuran yang tinggi dalam sesuatu kajian, definisi
konsep haruslah selari dengan definisi operasional sepertimana dalam rajah di bawah:
Terdapat beberapa faktor yang mendorong kepada keperluan kesahan dalamaspek pengukuran
dan instrument dalam sesebuah penyelidikan. Fraenkel & Norman (2005) telah menggariskan
beberapa jenis tujuan yang mendorong kepada kesahan instrumen dalam memastikan sesuatu
ukuran atau indikator yang digunakan mengandungi semua ciri atau gagasan yang baru dalam
konsep yang diukur itu. Tujuan kesahan instrument juga ialah bagi menjamin keesahan item-
item (instrumen) agar senantiasa bersifat:
3
(a) Boleh dipertahankan (Defensibility)
• hasil kajian adalah tepat dan berguna
(b) Ketepatan (Accuracy)
• sesuatu instrumen mampu menjawab persoalan kajian
(c) Kesesuaian (Appropriatetness)
• Penggunaan instrument relevan dengan tujuan kajian
(d) Bererti (Truthfulness)
• Memberi makna terhadap data melalui skor
(e) Kebolehgunaan (Meaningfulness)
• kemampuan instrument dalam membuat keputusan berhubung dengan apa
yang cuba dicari kerana keputusan dari penilaian tersebut adalah penting
dalam menyediakan maklumat yang bermakna mengenai tajuk dan
pembolehubah yang hendak diukur bagi menginferenkan data kajian
Melalui konsep kesahan ini, terdapat beberapa aspek utama yang telah dibincangkan oleh
pengkaji sebelumnya iaitu mengenai jenis kesahan serta kepelbagaian teknik dalam
menentukan kesahan sesuatu instrument dalam sesebuah kajian. Edinborough (1994) melalui
tulisannya telah membincangkan tentang lima jenis kategori kesahan dalam sesuatu
penyelidikan yang dapat diringkaskan seperti berikut:
4
Berikut adalah merupakan carta alir yang menghubungkan enam jenis kesahan pelbagai seperti
yang digariskan oleh Campbell & Fiske (1959):
5
PERBINCANGAN 2:
Kajian berbentuk kuantitatif ini juga mementingkan realiti yang bersifat stabil dari hasil
kajian, berorientasikan hasil serta melibatkan analisis statistik sebagai kaedah empirikal dalam
mengukur variabel yang terlibat. Menggunakan logik deduktif, sebarang perspektif dari orang
luar atau penyelidik adalah tidak terlibat sama sekali dan hanya fakta-fakta objektif sahaja yang
diukur tanpa mengambil kira realiti dan makna budaya (Neuman, Reichadt & Cook, 1979).
Meskipun begitu, penyelidik kuantitatif masih perlu menguji dan menunjukkan bahawa kajian
mereka boleh dipercayai. Kredibiliti dalam penyelidikan kuantitatif bergantung pada
pembinaan instrumen, (Patton, 2001). Oleh yang demikian, apabila penyelidik kuantitatif
berbicara mengenai kesahan dan kebolehpercayaan dalam penyelidikan, kebiasaanya ianya
merujuk kepada penyelidikan yang boleh dipercayai.
6
Melalui kaedah pemisahan separa (split-half), item-item yang haadir dalam suatu ujian
dipisahkan secara rawak kepada dua kumpulan. Berdasarkan penjumlahan skor dalam kedua-
dua kumpulan tersebut, penganalisan nilai korelasi dilakukan antara kedua-dua skor terbabit.
Sekiranya nilai korelasi yang dicatatkan oleh kedua-dua skor adalah tinggi, maka dapat
dirumuskan bahawa item-item dalam ujian tersebut mempunyai kebolehpercayaan dalaman
(internal reliability) yang tinggi. Melihat kepada kaedah konsistensi dalaman (internal
consistency approach) pula, nilai korelasi dicari berdasarkan kepada skor setiap item dalam
ujian dengan perjumlahan skor bagi semua item yang hadir dalam ujian atau juga disebut
sebaagai skor indeks ujian. Terdapat dua keadaan dalam menganalisis nilai korelasi bagi kaedah
ini:
Menurut pandangan oleh Mat Pauzi A.Rahman (1999) pula, kebolehpercayaan dalam kajian
kuantitatif boleh dikategorikan berdasarkan kepada empat kaedah, berbeza dengan jenis
pengkaedahan yang dicadangkan oleh Piaw. Menurunya, kebolehpercayaan dalam kajian
kuantitatif boleh dikategorikan sepertimana jadual berikut:
KAEDAH KETERANGAN
Reliabiliti ujian-ujian Test-retest reliability Ujian dua kali dijalankan pada sampel
semula yang sama. hasil kedua-dua ujian tadi
dibandingkan untuk mendapatkan nilai
reliabilitinya. Ujian yang dilakukan
adalah pada sampel yang sama, namun
pada situasi yang berbeza.
Reliabiliti selang-seli Alternate form Dua jenis ujian yang berbeza
reliability disediakan tetapi mengukur perkara
yang sama. sampel juga adalah sama.
Reliabiliti bahagi dua Split-half reliability Satu senarai item-item sesuatu
pembolehubah disediakan. Item
dibahagikan kepada dua dan
dikemukakan kepada sampel. Setiap
7
bahagian tadi dilakukan ujian secara
berasingan.
Reliabiliti konsistensi Internal consistency Ujian korelasi dilakukan dalam
dalaman reliability kalangan item-item yang terpilih.
Proses pengurangan dan penambahan
dilakukan sehinggalah satu nilai
konsistensi dalaman yang munasabah
diperolehi.
Joppe (2000) dalam garapan pandangannya mengenai kesahan dalam kajian kuantitatif
memerikan bahawa kesahan menentukan sama ada sesuatu penyelidikan itu benar-benar
mengukur apa yang ingin diukur atau setepat manakah sesuatu keputusan penyelidikan itu
adalah benar. Dalam erti kata lainnya, sejauh manakah instrumen kajian yang digunakan dalam
sesutu kajian mampu mengarah kepada sasaran target (the bull’s eye).
Wainer dan Braun (1998) pula mentakrifkan kesahan dalam kajian kuantitatif sebagai
suatu ‘kesahan konstruk/binaan’. Binaan tersebut adalah merupakan konsep permulaan, idea,
soalan ataupun hipotesis yang menentukan data mana yang harus dikumpul dan bagaimanakan
ianya akan dikumpul. Dalam konteks ini, sebarang penglibatan penyelidik dalam proses kajian
akan mengurangkan kesahan bagi sesebuah kajian.
Menurut Chua Yan Piaw (2014) pula, kesahan dalam penyelidikan kuantitatif dapat
didefinisikan sebagai “nilai korelasi di antara pengukuran dan nilai sebenar sesuatu variabel.
Jika pengukuran yang dibuat tepat pada nilai sebenar sesuatu variabel, nilai korelasinya adalah
tinggi dan penyelidikan tersebut mempunyai kesahan yang tinggi”. Oleh yang demikian,
pendefinisian pembolehubah-pembolehubah yang terlibat dalam sesuatu kajian haruslah dibuat
secara tepat dan jelas bagi menjamin kesahan yang tinggi dalam penyelidikan kuantitatif.
Berikut adalah merupakan enam jenis kesahan dalam penyelidikan kuantitatif sebagaimana
yang dicadangkan oleh Chua Yan Piaw (2014):
8
Jenis Kesahan Definisi
Kesahan Muka Sejauh mana pengukuran dibuat dapat mengukur nilai sebenar yang
ingin diukur
Kesahan Kriteria Sejauh mana pengukuran yang dibuat dapat meramal kriteria yang
ingin diukur
Kesahan Bina Sejauh mana hipotesis yang dibuat berdasarkan teori-teori
Kesahan Sejauh mana pengukuran dapat dibuat mewakili aspek kandungan
Kandungan yang diukur
Kesahan Dalaman Sejauh mana kajian menunjukkan bahawa rawatan yang dibuat dalam
kajian benar-benar menyebabkan tingkah laku subjek kajian dan bukan
disebabkan oleh faktor-faktor lain selain daripada rawatan tersebut.
Kesahan Luaran Sejauh mana hasil kajian dapat diaplikasikan kepada kumpulan-
kumpulan lain dalam dunia sebenar
Jadual 0: Jenis kesahan dalam penyelidikan kuantitatif (Adaptasi dari Chua Yan Piaw,
Kaedah Penyelidikan, 2014)
9
PERBINCANGAN 3:
Kajian penyelidikan berbentuk kualitatif adalah suatu kajian yang bersifat fenomenologis yang
memfokuskan kepada sesuatu proses dan peristiwa secara aktif dalam membina realiti dan
makna budaya secara holistik. Berteraskan metod kualitatif, kajian jenis ini adalah
berorientasikan proses serta lebih mementingkan realiti yang bersifat dinamis dari hasil
pengkajian. Analisis kualitatif yang dilakukan adalah berasaskan kepada analisis tematik serta
menggunapakai logik induktif iaitu suatu proses berfikir dari hal yang umum menuju kepada
hal yang khusus. Pemerhatian dalam konteks kajian kualitatif ini adalah bersifat semulajadi dan
bebas serta memfokuskan kepada sedikit sahaja kes dan subjek berteraskan paradiga holistik.
Penyelidik kajian kualitatif ini juga lebih dekat dengan data di mana sebarang perspektif
melibatkan orang dalam atau penyelidik itu sendiri terlibat secara langsung dalam kajian
(Neuman, Reichadt & Cook, 1979). Walau bagaimanapun, kedua-dua penyelidik kualitatif dan
kuantitatif perlu menguji dan menunjukkan bahawa kajian mereka boleh dipercayai. Walaupun
kredibiliti dalam penyelidikan kuantitatif bergantung kepada pembinaan instrumen, dalam
penyelidikan kualitatif, "penyelidik itu sendiri adalah instrumen" (Patton, 2001, ms 14).
Bagi memahami makna kebolehpercayaan ini, adalah penting untuk meneliti setiap definisi
yang diberikan oleh pengkaji kualitatif dari perspektif yang berbeza. Menurut Merriam (1998),
kebolehpercayaan ialah dapatan penyelidikan itu mempunyai replikasi apabila penyelidikan
dilakukan dalam situasi yang sama. Chua Yan Piaw (2014) juga menghuraikan
kebolehpercayaan dalam sesuatu penyelidikan sebagai merujuk kepada keupayaan kajian itu
untuk memperoleh nilai serupa apabila pengukuran yang sama diulangi. Akan tetapi,
kebolehpercayaan adalah sukar untuk ditentukan dengan tepat dalam penyelidikan kualitatif
kerana perlakuan manusia bukan statik meskipun dalam situasi yang sama apabila membuat
replikasi atau pengulangan kajian. Oleh itu, dapat difahami bahawa dalam konteks penyelidikan
kualitatif, konsep kebolehpercayaan adalah berkait dengan soal kebolehsandaran dan ketekalan
data yang dikumpul di mana persoalan utamanya adalah bukan dapatan yang sama akan ditemui
semula tetapi keputusan atau dapatan kajian itu adalah tekal dengan data yang dikumpul
(Othman Lebar, 2009).
10
Hal ini berkait rapat dengan konsep penyelidikan berkualiti dimana kebolehpercayaan adalah
konsep yang menilai kualiti dalam kajian kuantitatif dengan "tujuan menjelaskan" manakala
konsep kualiti dalam kajian kualitatif pula bertujuan untuk "menjana pemahaman" (Stenbacka,
2001). Pandangan Stenbacka dalam membincangkan konsep kebolehpercayaan dalam kajian
kualitatif ini selari dengan pandangan Chua Yan Piaw (2014) dan Othman Lebar (2009) yang
menegaskan bahawa perbezaan dalam tujuan menilai kualiti kajian dalam penyelidikan
kuantitatif dan kuantitatif adalah salah satu sebab yang menjadikan konsep kebolehpercayaan
sebagai tidak relevan dalam penyelidikan kualitatif.
11
Menggunakan Ini melibatkan pengkaji-pengkaji yang terlatih untuk membuat
pengkaji terlatih pemerhatian dan laporan secara teliti dan sistematik
Menggunakan Membandingkan data kajian yang dicatatkan oleh pengkaji dan
pemeriksaan pendapat rakan sebaya tentang subjek
rakan sebaya
Menggunakan Alat pencatat sebagai bukti Borang temu bual, perakam kaset, pita
alat pencatat kebolehpercayaan kajian video dan sebagainya.
sebagai bukti yang merekodkan hasil sesi
temu bual/pemerhatian
Jadual 0: Teknik meningkatkan kebolehpercayaan kajian kualitatif (Adaptasi dari Chua Yan
Piaw, Kaedah Penyelidikan, 2014)
Melihat kepada isu kesahan dalam kajian kualitatif, sesetengah penyelidik berpendapat bahawa
istilah kesahan adalah tidak terpakai untuk penyelidikan kualitatif, tetapi pada masa yang sama,
mereka sebenarnya menyedari adanya keperluan untuk mewujudkan pengkaedahan yang sesuai
bagi mengkualifikasikan sesebuah kajianberbentuk kualitatif. Sebagai contoh, Creswell &
Miller (2000) mencadangkan bahawa kesahan dipengaruhi oleh persepsi penyelidik tentang
kesahihan dalam kajian dan andaian paradigma pilihannya . Hasilnya, ramai penyelidik telah
membangunkan konsep kesahan mereka sendiri dan telah mencipta beberapa pengistilahan
yang dirasakan sesuai untuk digunapakai bagi menerangkan konsep kesahan itu seperti kualiti
(quality), kepatuhan (rigor) dan kepercayaan (trustworthiness) termasuklah pengkaji seperti
Davies & Dodd(2002), Lincoln & Guba (1985), Mishler (2000), Seale (1999) dan Stenbacka
(2001).
Kesahan dalam paradigma kualitatif juga telah didefinisikan oleh Othman Lebar (2009)
dan Chua Yan Piaw (2006). Menurut Othman Lebar (2009), kesahan dalam kajian kualitatif
ialah sama ada dapatan kajian adalah benar dan pasti iaitu dapatan kajian menggambarkan
dengan tepat situasi sebenar dan pasti dalam erti kata hasil kajian disokong oleh bukti dan tidak
ada asas untuk meraguinya. Manakala Chua Yan Piaw pula menyatakan bahawa suatu
penyelidikan kualitatif boleh dipercayai sekiranya orang lain bersetuju bahawa mereka juga
mempunyai pengalaman tersebut walaupun mereka hanya membaca laporan penyelidikan
12
(Chua Yan Piaw, 2006). Pandangan Chua Yan Piaw ini bertepatan dengan kesahan luaran
seperti mana yang ditakrifkan oleh Othman Lebar (2009) di mana kesahan luaran didefinisikan
sebagai “sejauh mana dapatan kajian dapat digeneralisasikan dalam situasi lain”. Meskipun
begitu, terdapat juga beberapa keadaan yang boleh mempengaruhi sesuatu kesahan dalam
kajian seperti yang dinyatakan oleh Chua Yan Piaw (2006) dan seharusnya diminimakan
kesannya iaitu yang berpunca daripada kesan lokasi, kesan tumpuan, kesan elit, kesan situasi
dan kesan konsep.
13
PERBINCANGAN 4:
Menurut Chua Yan Piaw (2004), terdapat tiga keadaan yang menentukan tahap kesahan dan
kebolehpercayaan dalam pengukuran kajian penyelidikan iaitu:
• Pengukuran ke atas subjek yang sama, menggunakan pengukur sama, dan nilai
dipungut hampir sama
• Pengukuran tidak mengena nilai benar variabel yang diukur
• Timbul ralat pengukuran, Pengukuran tidak sah
• Hasil pengukuran kurang bermakna
14
C. Boleh percaya dan sah
15
PERBINCANGAN 5:
Instrument
Terdapat dua jenis instrumen digunakan bagi kajian ini iaitu Ujian Kecekapan TOEFL (2004)
dan soal selidik berbentuk Ujian Penyelesaian Wacana atau juga dikenali sebagai Discourse
Completion Task (DCT).
Bagi menilai tahap kecekapan penggunaan Bahasa Inggeris pelajar, kajian ini memanfaatkan
sepenuhnya penggunaan Ujian Kecekapan TOEFL (2004) yang merupakan ujian kemahiran
berbahasa bagi penutur yang bukan merupakan penutur natif Bahasa Inggeris. Ujian ini
mempunyai 90 item merangkumi pelbagai pilihan soalan yang meliputi soalan tatabahasa dan
pemahaman dalam pembacaan. Bahagian penilaian soalan tatabahasa mengandungi 40 item
termasuk soalan isi tempat kosong dan soalan pilihan objektif. Bahagian pemahaman bacaan
pula mengandungi 50 item soalan di mana setiap petikan diikuti oleh beberapa pilihan jawaban
berbentuk objektif. Masa yang diperuntukkan bagi menjawab soalan-soalan tersebut adalah
selama 60 minit. Prestasi pelajar dinilai berdasarkan penjumlahan skor terkumpul hasil dari
ujian tersebut. Jumlah keseluruhan skor bagi ujian ini adalah pada kadar 0-90.
Soal selidik
Satu soal selidik berbentuk Ujian Penyelesaian Wacana atau juga dikenali sebagai Discourse
Completion Task (DCT) juga digunakan penyelidik bagi mengumpulkan data mengenai jenis
komplen dan strategi kesantunan yang dimanfaatkan oleh pelajar berdasarkan situasi-situasi
tertentu. Soal selidik ini dibahagikan kepada dua bahagian iaitu bahagian demografi dan Ujian
Penyelesaian Wacana (DCT).
Tinjauan Demografik
Melalui tinjauan selidik demografi, reponden yang terlibat diminta memberikan maklumat
berkenaan jantina, bahasa ibunda/natif, jenis kewarganegaraan berserta umur.
16
Ujian Penyelesaian Wacana/ Discourse Completion Test (DCT)
Kasper dan Dahl (1991) mendefinisikan DCT sebagai suatu soal selidik bertulis yang
mengandungi deskripsi ringkas mengenai situasi tertentu yang bertujuan mendedahkan corak
sesuatu ucapan yang dikaji dan menyebutnya sebagai salah satu kaedah pengumpulan data
utama dalam kajian pragmatik. DCT merupakan suatu prosedur terkawal dalam mendapatkan
data dari penutur yang mempunyai latar belakang budaya dan linguistik yang berlainan.
Bagi menjalankan kajian ini, pengkaji menggunakan DCT berpandukan dua situasi yang
digarap berasaskan instrumen yang digunakan oleh Rinnert dan Nogami (2006) dan diubah suai
bagi mewujudkan dua jenis pembolehubah utama iaitu kuasa sosial dan jarak sosial serta
disediakan sepenuhnya dalam Bahasa Inggeris.
Ujian Penyelesaian Wacana ini kemudiannya diterjemahkan ke dalam bahasa Melayu bagi
mengumpulkan data mengenai respons pelajar yang terbabit dalam situasi yang berbeza melalui
bahasa ibunda/natif pelajar. Bagi memastikan kesahan kandungan ujian DCT ini, beberapa
langkah telah diambil antaranya;
• Item yang terkandung dalam ujian ini telah diperiksa oleh dua tenaga pengajar TESL
bagi meneliti kerelevanan rekabentuk soalan
• Kajian rintis dilakukan kepada 10 responden yang mempunyai latar belakang yang sama
dengan responden sasaran
• Beberapa item soalan yang tidak memenuhi kehendak objektif kajian diubah bentuk
soalannya agar menepati sasaran objektif kajian
Pengukuran Alfa Cronbach juga digunakan bagi menentukan konsistensi dalaman DCT secara
keseluruhannya dan nilai ukuran 0.89 diterima sebagai suatu indeks kebolehpercayaan yang
tinggi berdasarkan pengukuran yang dilakukan oleh pengkaji. Item soalan yang terlibat
mewakili enam senario aduan yang bervariasi dalam faktor-faktor kontekstual berkaitan
kekuatan sosial penutur dan jarak sosialnya dengan pendengar. Hubungan antara penutur dan
pendengar dalam aspek jarak sosial dan kuasa sosial berdasarkan enam situasi beserta ringkasan
bagi setiap situasi adalah seperti jadual berikut:
17
Situasi P D Status Sosial
1. Pelajar vs.guru - - S<H
2. Pelajar vs. Penasihat akademik - + S<H
3. Pelajar vs. Pelajar (rakan sebilik) = - S=H
4. Pelajar vs. pelajar = + S=H
5. Pelajar vs. pelayan + + S>H
6. Pelajar vs. Pemandu bas universiti + - S>H
Nota: D= jarak sosial, P= kuasa sosial, S=penutur dan H=pendengar
Berikut pula adalah merupakan ringkasan situasi bagi Ujian Penyelesaian Wacana (DCT):
SITUASI DESKRIPSI
1 Seorang pelajar pergi menemui pensyarah yang punyai hubungan rapat
dengannya bagi mengadu tentang gred ujiannya yang rendah.
2 Seorang pelajar mengadu kepada penasihat akademiknya mengenai kesilapan
informasi yang diberikan pada semester lepas.
3 Seorang pelajar mengadu tentang bunyi bising oleh rakan sebiliknya pada jam
11.30 malam.
4 Seorang pelajar memberi komplen kepada pelajar universiti yang tidak
dikenalinya kerana memotong barisan di perpustakaan.
5 Seorang pelajar membuat aduan kepada pelayan restoran yang ditemuinya pada
pertama kali kerana menumpahkan minumah ke atas pakaian barunya.
6 Seorang pelajar mengadu kepada pemandu bas universiti yang dikenalinya
kerana memandu melebihi had laju.
18
Kebolehpercayaan dan Kesahan
Penguasaan L2 dalam kajian ini diukur berdasarkan prestasi peserta dalam ujian TOEFL. Ujian
TOEFL merupakan antara ujian berpengaruh yang digunakan bagi mengukur prestasi dan
penguasaan pelajar untuk berkomunikasi dalam Bahasa Inggeris pada peringkat universiti dan
institusi pengajian tinggi. Ujian ini dijalankan oleh ETS dan diakui penilaiannya oleh 9000
universiti di 130 negara serta mempunyai nilai kesahan yang tinggi. Terdapat tiga cara penilaian
dalam ujian ini iaitu ujian berkomputer (CBT), ujian bertulis (PBT) dan ujian atas talian (iBT).
Bagi menangani aspek kebolehpercayaan penilai dalaman pula, satu analisis statistik
tahap persetujuan Cohen Kappa turut dilakukan bagi memastikan adanya konsistensi antara
kedua-dua penilai interater tersebut. Sebarang nilai Kappa antara 0.6 hingga 0.8 dianggap
sebagai memadai dan nilai selepasnya adalah dikatakan sebagai mempunyai nilai
kebolehpercayaan yang tinggi (Landis & Koch, 1977). Hasil daripada penilaian pakar ini
menunjukkan bahawa pembinaan tema yang dilakukan oleh pengkaji mencapai tahap
pengukuran Cohen Kappa pada tahap melebihi 0.70 (tinggi) sebagaimana yang ditunjukkan
dalam Jadual 4.2 di bawah.
19
Bagi tujuan ini, tahap persetujuan Cohen Kappa yang dijalankan memberikan nilai sebanyak
0.859 dan seterusnya memaparkan suatu nilai kebolehpercayaan yang tinggi bagi penilaian
dalaman (interater) untuk kajian ini. Pencapaian tahap persetujuan yang tinggi mengikut
penilaian Cohen Kappa ini adalah merupakan bukti terbaik bagi menentukan kebolehpercayaan
yang tinggi bagi data kajian.
Bagi menangani aspek kesahan pula, suatu kajian rintis telah dijalankan bagi
membolehkan penyampelan populasi adalah secara signifikannya bersifat rawak. Pengkaji
menyiapkan inventori soalan sebelum menyerahkan kepada penyelia untuk melihat keselarasan
antara objektif kajian dan tema dengan soalan kajian. Pengesahan penyelia ini juga menjadi
salah satu bentuk daripada kebolehpercayaan data kerana menurut Bogdan dan Biklen (2003),
salah satu daripada kesahan data kualitatif adalah melalui pengesahan penyelia dan rakan
penyelidik terhadap keteraturan kajian yang dilakukan. Sejurus setelah inventori soalan ujian
penyelesaian wacana / Discourse Completion Test (DCT) disahkan oleh penyelia, pengkaji
melaksanakan kajian rintis pertama pada 6 Januari dan berakhir pada 8 Januari 2017 di Kampus
UKM yang terletak di Bangi bagi meningkatkan lagi kebolehpercayaan dan kesahan soal
selidik. Subjek kajian rintis adalah merupakan seramai 10 orang pelajar semester 2 dari Fakulti
Sains Sosial dan Kemanusiaan di Kampus UKM Bangi. Kesemua pelajar ini dipilih berdasarkan
kriteria responden sasaran dan mengandungi seramai 5 lelaki dan 5 perempuan. Subjek rintis
diberikan masa untuk menjawab Ujian Penyelesaian Wacana (DCT) tersebut bagi mengesahkan
kebolehpercayaan soal selidik tersebut sebelum kajian sebenar dijalankan.
Hasil daripada kajian rintis pertama ini, dapat dilihat oleh pengkaji dan dipersetujui oleh
penyelia bahawa terdapat keselarasan antara jawapan terhadap soalan yang dikaji oleh pengkaji
dengan objektif yang dibina. Namun begitu, pemilihan responden pelajar didapati kurang tepat
kerana tidak menghasilkan jawapan yang mantap. Oleh itu, penyelia mencadangkan agar
pengkaji membuat kajian rintis kedua, iaitu ‘Rintis Pelajar B’ dengan menyediakan juga
keseluruhan nota lapangan sebagai latihan selain memastikan pemilihan responden pelajar
benar-benar berjaya.
Kajian rintis kedua pula bermula pada 11 Januari dan berakhir pada 13 Januari 2017 di
kampus UKM Bangi namun menyasarkan pelajar ELS sebagai responden utama. Hasil daripada
rintis ini berserta dengan laporan nota lapangan diserahkan kepada penyelia untuk disemak bagi
melihat keselarasan antara hasil kaji selidik dengan objektif. Selain itu, dapatan rintis ini juga
dilihat oleh penyelia dari segi cara pengkaji melaporkan laporan nota lapangan. Hasil daripada
rintis kedua ini, pengkaji mendapat persetujuan penyelia untuk melaksanakan kajian sebenar di
20
lapangan. Hasil daripada kajian rintis tersebut, beberapa penambahbaikan turut dilakukan
keatas ujian tersebut seperti:
1. Penggunaan saiz tulisan yang lebih besar pada setiap soalan bagi memudahkan
pembacaan
2. Penggunaan jarak tulisan yang lebih besar (1.0 kepada 1.5) pada ruang jawapan bagi
memudahkan subjek menyusun atur jawapan
3. Peminimuman penggunaan jargon dan penggunaan kata dan frasa dalam Bahasa
Inggeris yang mudah difahami
4. Membezaan penggunaan jenis tulisan antara soalan dan arahan
5. Penggubalan soalan pada hanya satu muka surat sahaja bagi mengelakkan soalan tercicir
6. Penggunaan ayat yang ringkas dan padat dan tidak berjela-jela.
7. Penggarapan soalan haruslah mampu menerbitkan emosi pembaca tatkala membacanya.
21
CONTOH KESAHAN DAN KEBOLEHPERCAYAAN INSTRUMEN
Berikut adalah merupakan contoh langkah-langkah serta teknik yang boleh dimanfaatkan oleh
pengkaji dalam memastikan kesahan dan kebolehpercayaan instrumen kajian yang digunakan
mencapai tahap sewajarnya. Contoh-contoh berikut dipetik sepenuhnya dari artikel bertajuk
Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman Moidunny (Jabatan
Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut Aminuddin Baki)
“Soal selidik dan soalan temu bual yang dibina oleh seseorang pengkaji perlu diuji
kesahan muka dan kesahan kandungannya. Kesahan konstruk sesuatu soal selidik pula boleh
diukur dengan menggunakan nilai korelasi antara skor setiap item dengan jumlah skor
berkenaan. Hal ini dapat dilakukan dengan menggunakan analisis korelasi Pearson antara
skor setiap item dengan jumlah skor mengikut konstruk yang berkenaan. Kaedah ini adalah
bersesuaian dengan teori yang dikemukakan oleh Abu Bakar (1987) dan Nunnally (1967).
Menurut Abu Bakar (1995) pula, nilai pekali korelasi yang minimum dan boleh diterima
pakai adalah 0.30. Manakala Nunally (1967, 1978) serta Nunally dan Bernstein (1994)
menyatakan bahawa nilai korelasi antara item dengan jumlah skor yang melebihi 0.25 adalah
dianggap tinggi.Bagi Cohen (1988), nilai pekali korelasi antara 0.10 hingga 0.29 dianggap
kecil, nilai pekali korelasi antara 0.30 hingga 0.49 dianggap sederhana dan nilai pekali korelasi
antara 0.50 hingga 1.00 dianggap sebagai tinggi.
Bagi Norusis (1977) pula, kesahan sesuatu instrumen boleh dilihat pada nilai korelasi
item yang diperbetulkan dengan jumlah skor (Corrected Item-Total Correlation) iaitu pekali
korelasi Pearson antara skor setiap item dengan jumlah skor tanpa item berkenaan. Dalam
konteks kajian tersebut, penulis telah menggunakan dua kaedah untuk menentukan kesahan
konstruk soal selidik iaitu menggunakan nilai korelasi antara skor setiap item dengan jumlah
skor dan menggunakan nilai korelasi item yang diperbetulkan dengan jumlah skor .
Penulis juga akan merujuk kepada kurikulum Program Latihan NPQH untuk
menentukan kesahan konstruk. Bagi item-item ujian pencapaian dan skema permarkahan
Program Sandaran penulis menggunakan khidmat tiga orang pakar dalam bidang pengurusan
dan kepimpinan. Komen dan teguran yang diterima daripada pakar-pakar ini diambil kira dan
diguna pakai bagi memantapkan lagi maksud, bahasa dan kandungan soal selidik dan soalan
temu bual yang akan digunakan. Di samping itu, komen dan teguran digunakan dalam menilai
item-item yang digunakan dalam ujian dan skima permarkahan Program Sandaran”.
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
22
Kebolehpercayaan Soal Selidik
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
23
Kesahan dan Kebolehpercayaan Ujian
Bagi kes di IAB, ujian pencapaian (Ujian Akhir Kursus – UAK) yang berbentuk item berbentuk
objektif seringkali digunakan. Item-item ini berbentuk aneka pilihan atau aneka penlengkap
dengan empat pilihan jawapan iaitu A, B C atau D. Manakala dalam Program Sandaran,
memfokuskan kepada (1) Pengenalpastian masalah, (2) Perancangan strategik, (3)
Pelaksanaan dan penilaian strategik, serta (4) Kualiti peribadi.. Analisis item akan dilakukan
untuk membezakan item yang baik dengan item yang lemah. Analisis item bagi setiap ujian
dan Program Sandaran dilaksanakan dengan menentukan Indeks Kesukaran (Facility Index,
F) dan Indeks Pembezaan (Discrimination Index, D) seperti yang disarankan oleh Macintosh
dan Morrison (1969). Jadual 1 di bawah ini menjelaskan aras kesukaran (F) dan indeks
pembezaan (D) sebagaimana yang dikemukakan oleh Macintosh dan Morrisson (1969).
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
24
Kesahan dan Kebolehpercayaan Soal Selidik
Satu contoh hasil analisis yang telah dibuat untuk menentukan kesahan dan
kebolehpercayaan soal selidik dipaparkan dalam Jadual 2 seperti yang ditunjukkan di bawah
ini. Kesahan item soal selidik menggunakan nilai (1) Korelasi antara skor setiap item dengan
jumlah skor, dan (2) Korelasi item yang diperbetulkan dengan jumlah skor (Corrected Item-
Total Correlation). Manakala nilai Cronbach Alpha digunakan bagi mendapatkan indeks
kebolehpercayaan setiap aspek atau konstruk berkenaan. Jadual 2 menunjukkan bahawa
konstruk penyampaian pensyarah mempunyai nilai korelasi skor item dengan jumlah skor
antara 0.73 hingga 0.88. Manakala nilai korelasi item yang diperbetulkan dengan jumlah skor
(Corrected Item-Total Correlation) adalah antara 0.65 hingga 0.85. Nilai Cronbach Alpha pula
adalah 0.92.
Jadual 2 menunjukkan (1) Nilai korelasi skor item dengan jumlah skor dan (2) Nilai korelasi
item yang diperbetulkan dengan jumlah skor (Corrected Item-Total Correlation) adalah
melebihi 0.30. Hal ini memberikan kesimpulan bahawa item mempunyai nilai kesahan yang
tinggi sebagaimana yang disarankan oleh Abu Bakar (1987), Cohen (1988), Norusis (1977)
dan Nunally (1987). Sementara itu, nilai Cronbach Alpha adalah melebihi 0.60 yang
memberikan kesimpulan bahawa item mempunyai kestabilan dan ketekalan dalaman yang
baik (Cresswell 2005, 2010; Pallant 2001; Sekaran 1992). Nilai Cronbach Alpha ini
merumuskan bahawa item mempunyai kebolehpercayaan yang baik dan boleh diguna pakai
seperti yang dinyatakan oleh Mohd Majid (1990), Pallant (2001), Sekaran (1992) dan Siti
Rahayah (2003).
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
25
Kesahan dan Kebolehpercayaan Ujian Pencapaian
Analisis item telah dibuat terhadap 450 item untuk menentukan Indeks Kesukaran (Facility
Index, F) dan Indeks Pembezaan (Discrimination Index, D) dalam usaha menentukan
kesahan konstruk setiap item. Manakala bagi menentukan kebolehpercayaan setiap item, nilai
Kuder-Richardson 20 (K-R20) bagi setiap konstruk dihitung seperti yang disarankan oleh Carey
(1994).
Jadual 3: Nilai F, D dan K-R20 bagi konstruk Pengurusan dan Kepimpinan Organisasi
Berdasarkan nilai yang terdapat dalam Jadual 3, K-R20 yang dihitung mempunyai
nilai di antara 0.62 hingga 0.70. Nilai K-R20 melebihi 0.60 yang memberikan kesimpulan
bahawa item mempunyai kestabilan dan ketekalan dalaman (Cresswell 2005; Sekaran 1992).
Nilai K-R20 ini merumuskan bahawa item mempunyai kebolehpercayaan yang baik dan boleh
diguna pakai seperti yang dinyatakan oleh Mohd Majid (1990), Pallant (2001), Sekaran (1992)
dan Siti Rahayah (2003). Oleh itu, item objektif bagi ujian pencapaian yang telah dipilih oleh
penulis boleh diguna pakai untuk analisis seterusnya kerana mempunyai kesahan dan
kebolehpercayaan seperti yang dikehendaki. Semua item ujian pencapaian yang digunakan
dalam kajian tersebut telah ditentukan dengan kesahan muka dan kesahan kandungannya
oleh tiga orang pakar. Di samping itu, kesahan konstruk pula ditentukan dengan melaksanakan
analisis item. Semua nilai indeks menunjukkan item mempunyai kesahan yang boleh diguna
pakai. Sementara itu, nilai K-R20 pula ditentukan yang memberikan kesimpulan bahawa item
mempunyai kestabilan dan ketekalan dalaman yang baik.
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
26
Kesahan dan Kebolehpercayaan Program Sandaran
Analisis item juga dilaksanakan bagi empat item Program Sandaran. Rumus yang digunakan
bagi tujuan analisis ditunjukkan dalam Lampiran A. Jadual 4 di bawah ini menunjukkan nilai
yang diperoleh daripada analisis tersebut.
Daripada Jadual 4, didapati bahawa nilai D yang melebihi 0.20 pula menunjukkan
bahawa item mempunyai tahap kesahan yang boleh diguna pakai seperti yang disarankan
oleh Macintosh dan Morrisson (1969). Seterusnya, nilai K-R20 adalah 0.84 yang dianggap
tinggi (Cohen 1988) dan merupakan nilai biasa yang didapati bagi Ujian Rujukan Kriteria
seperti yang ditegaskan oleh Ebel (1979). Nilai K-R20 yang tinggi ini dihasilkan oleh korelasi
antara item yang tinggi kerana mengukur objektif atau kriteria yang sama. Bagi menentukan
kebolehpercayaan antara penilai (interrater reliability) untuk Program Sandaran, penulis
menghitung nilai indeks kebolehpercayaan seperti yang disarankan oleh Black (1999).
Berdasarkan rumus, nilai indeks kebolehpercayaan (k2) yang didapati adalah
bersamaan dengan 0.85. Nilai ini merupakan satu nilai kebolehpercayaan yang sangat baik
berdasarkan pendapat Landis dan Kosh (1977) (dalam Zamri dan Noriah, 2003) seperti yang
terdapat dalam Jadual 5. Dengan kata lain, item-item yang digunakan dalam menentukan skor
bagi Program Sandaran mempunyai kebolehpercayaan yang tinggi. Ini juga menunjukkan
bahawa instrumen Program Sandaran adalah sesuai digunakan untuk menilai peserta
Program Latihan NPQH. Semua item ujian pencapaian Program Sandaran yang digunakan
dalam kajian tersebut telah ditentukan dengan kesahan muka dan kesahan kandungannya
oleh tiga orang pakar. Pendapat semua pakar telah diambil kira dalam menentukan pemilihan
item ujian pencapaian Program Sandaran ini. Di samping itu, kesahan konstruk pula ditentukan
dengan melaksanakan analisis item. Dalam konteks kajian tersebut, nilai (1) Indeks Kesukaran
(Facility Index) dan (2) Indeks Pembezaan (Discrimination Index) digunakan untuk
menentukan kesahan konstruk item ujian pencapaian. Semua nilai indeks menunjukkan item
mempunyai kesahan yang boleh diguna pakai. Sementara itu, nilai K-R20 pula ditentukan yang
memberikan kesimpulan bahawa item mempunyai kestabilan dan ketekalan dalaman yang
baik. Nilai K-R20 ini merumuskan bahawa item mempunyai kebolehpercayaan yang baik dan
boleh diguna pakai dalam kajian tersebut. Sehubungan dengan itu, nilai kebolehpercayaan
antara penilai (interrater reliability) sebanyak 0.85 juga menunjukkan bahawa item dalam
Program Sandaran boleh diguna pakai dalam kajian tersebut .
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
27
Kesahan dan Kebolehpercayaan Temu Bual
Bagi tujuan menentukan kebolehpercayaan temu bual, analisis Indeks Cohen Kappa
digunakan bertujuan untuk menentukan darjah persetujuan unit analisis dengan tema yang
dikaji (Zamri dan Noriah 2003). Dalam hal ini, penulis telah mendapatkan khidmat tiga orang
pakar analisis kualitatif untuk menentukan Indeks Cohen KappaBagi tujuan menentukan
kebolehpercayaan temu bual, analisis Indeks Cohen Kappa digunakan bertujuan untuk
menentukan darjah persetujuan unit analisis dengan tema yang dikaji (Zamri dan Noriah
2003). Seterusnya, penulis menghitung nilai persetujuan (Indeks Cohen Kappa) daripada
borang yang diterima daripada pakar-pakar tersebut. Nilai persetujuan dihitung berdasarkan
rumus berikut iaitu:
fa – fc
K = ----------
N – fc
Bagi menentukan tahap persetujuan Kappa, nilai yang disyorkan oleh Landis dan Kosh (1977)
dalam Zamri dan Noriah (2003) digunakan oleh penulis, seperti yang ditunjukkan dalam Jadual
5 di bawah.
Sumber: Landis dan Kosh (1977) dalam Zamri dan Noriah (2003):3
Nilai min bagi koefisien Kappa yang dihitung adalah seperti yang ditunjukkan dalam Jadual 6
di bawah ini.
Jadual 6: Nilai persetujuan bagi koefisien Kappa
Dipetik dari artikel bertajuk Kesahan dan Kebolehpercayaan Instrumen Kajian oleh Kamaruzaman
Moidunny (Jabatan Pembangunan Pengurus, Pemimpin dan Eksekutif Pendidikan Institut
Aminuddin Baki)
28