Pelbagai faktor mempengaruhi kebolehpercayaan skor ujian antara yang penting ialah:
Tempoh ujian:
Pada amnya semakin panjang tempoh ujian semakin tinggi kebolehpercayaannya. Ini
kerana tempoh ujian dapat memberikan persampelan yang lebih dari segi tingkah laku yang
ingin diukur, malah skor kurang diganggu oleh tekanan.
Ralat rawak:
Prestasi seseorang itu berubah-ubah mengikut keadaan sekelilingnya. Sebarang perubahan
yang berlaku di sekeliling menyebabkan prestasi berubah. Misalnya semasa ujian tiba-tiba
bunyi bising di sekeliling calon. Ini akan menyebabkan perubahan konsentrasi calon dan
varians skor ralat akan masuk ke dalam varians skor dicerap. Lain-lain contoh ralat rawak
adalah seperti sakit, penat, ketegangan emosi risau dan lain-lain. Pihak pentadbir yang
mengendalikan ujian hendaklah menyediakan keadaan persekitaran tempat yang sesuai
dan peraturan pentadbiran ujian yang sempurna.
Persampelan Item:
Item-item yang digunakan dalam sesuatu ujian adalah untuk menguji sebahagian trait yang
menjadi petunjuk kepada kebolehan seseorang. Oleh itu item tersebut adalah semata-mata
sampel bagi mewakili keseluruhan trait mengenai kebolehan seseorang. Jika pemilihan itu
tidak tepat, ia menyumbangkan kepada varians ralat pengukuran. Akibatnya ujian itu tidak
boleh dipercayai.
Kehomogenan item:
Item ujian homogen ialah item-item yang mempunyai kesamaan dari segi prestasi atau
peluang untuk dipilih. Bagi ujian berbentuk aneka pilihan, pilihan jawapan mestilah
homogen. Ini bermakna tiap-tiap opsyen mestilah berkaitan antara satu sama lain dan ada
daya tarikan untuk dipilih oleh pelajar. Jawapan atau Distraktor seharusnya tidak "bias"
sehingga pelajar yang diuji terlalu mudah mengenal pasti jawapan atau bukan jawapan.
Ketidakhomogen
opsyen
boleh
menjejaskan
kebolehpercayaan
ujian.
kerana ianya hanya mewakili pengetahuan dan kemahiran yang sepatutnya diukur, ianya
menjadi tidak perlu.
Pentaksiran yang dianggap mempunyai kesahan dan kebolehpercayaan yang tinggi tetapi
mendiskriminasikan kumpulan pelajar tertentu hendaklah tidak digunakan kerana ianya
didapati tidak adil dan seterunya tidak sah. Sungguhpun ketiga-tiga indikator tersebut adalah
menjadi keperluan, kesahan merupakan faktor yang terpenting. Namun begitu, pendidik
atau guru banyak memberi tumpuan dan mencari bukti mengenai kebolehpercayaan dan
tidak menitikberatkan hal kesahan.