2.

KEANDALAN / PRESISI DAN KESALAHAN PENGUKURAN

Tes, didefinisikan secara luas, adalah serangkaian tugas atau rangsangan yang
dirancang untuk memperoleh respons yang memberikan sampel perilaku atau kinerja
seorang peserta ujian dalam domain tertentu. Ditambah dengan tes adalah prosedur
penilaian yang memungkinkan pencetak skor untuk mengevaluasi perilaku atau
sampel pekerjaan dan menghasilkan skor. Dalam menafsirkan dan menggunakan skor
tes, penting untuk memiliki beberapa indikasi reliabili mereka.

Istilah reliabili telah digunakan dalam dua cara dalam literatur pengukuran mereka.
Pertama, istilah reliabili digunakan untuk merujuk pada koefisien reliabilitas teori tes
klasik, yang didefinisikan sebagai korelasi antara skor pada dua rms setara tes,
dengan anggapan bahwa pengambilan satu bentuk memiliki noeect onper rmance
pada bentuk kedua. Kedua, istilah ini telah digunakan dalam arti yang lebih umum,
untuk merujuk pada konsistensi skor di seluruh replikasi prosedur pengujian, terlepas
dari bagaimana konsistensi ini diperkirakan atau dilaporkan (misalnya, dalam hal
kesalahan standar, koefisien reliabilitasperspektif, co generalizabili coe icients, rasio
kesalahan / toleransi, fungsi informasi item response theory (IRT), atau berbagai
indeks konsistensi klasifikasi).

Untuk menjaga hubungan dengan gagasan tradisional reliabili sambil menghindari

ambiguitas yang melekat dalam penggunaan istilah tunggal, miliar untuk merujuk ke
berbagai konsep dan indeks, kami menggunakan istilah resesi liabili untuk
menunjukkan gagasan yang lebih umum tentang konsistensi skor. di seluruh contoh
dari prosedur pengujian, dan istilah persyaratan untuk merujuk pada koefisien
reliabilitas dari teori tes klasik.

Ketepatan keandalan selalu penting. Namun, kebutuhan akan presisi meningkat

seiring dengan konsekuensi keputusan dan terpretasi yang semakin penting. Jika skor
tes mengarah pada keputusan yang tidak mudah dibalik, seperti penolakan atau
penerimaan seorang kandidat ke sekolah pro-fungsional, atau penilaian klinis berbasis
skor (misalnya, dalam konteks hukum) bahwa cedera kognitif serius dipertahankan,
tingkat keandalan / ketelitian yang lebih tinggi diperlukan. Jika keputusan dapat dan
akan dikuatkan oleh informasi dari sumber lain atau jika keputusan awal yang salah
dapat dengan mudah diperbaiki, skor dengan reliabilitas / presisi yang lebih
sederhana mungkin cukup.

interpretasi nilai tes umumnya tergantung pada asumsi bahwa individu dan kelompok
menunjukkan beberapa tingkat konsistensi dalam skor mereka di seluruh administrasi
independen dari prosedur pengujian. Namun, contoh kinerja yang berbeda dari orang
yang sama jarang identik. Dalam pembagian kinerja, produk , dan tanggapan terhadap
serangkaian tugas atau pertanyaan tes berbeda-beda di quali atau karakter dari satu
sampel tugas ke yang lain dan om satu kesempatan ke yang lain, bahkan di bawah
kondisi yang dikontrol dengan ketat. Para penilai yang berbeda dapat memberikan
skor yang berbeda untuk setiap kinerja tertentu. Semua sumber variasi ini tercermin
dalam nilai peserta ujian, yang akan berbeda-beda tergantung pada posisi prosedur
pengukuran.

Reabilitas / precissioon dari skor tergantung pada seberapa banyak skor bervariasi
replikasi aceoss dari prosedur pengujian, dan analisis reliabilitas / presisi tergantung
pada jenis kemampuan yang diizinkan dalam prosedur pengujian (misalnya, lebih dari
tugas, konteks, penilai) dan interpretasi yang diusulkan dari nilai tes. Sebagai contoh,
jika interpretasi skor mengasumsikan bahwa konstruk yang dinilai tidak bervariasi
pada kesempatan, variabilitas pada kesempatan adalah sumber potensial kesalahan
pengukuran. ternate rms dari tes, dan pengamatan yang diamati diperlakukan sebagai
sampel dari domain tugas serupa, variabili acak dalam skor om satu bentuk ke yang
lain akan dianggap kesalahan. Jika penilai digunakan untuk menetapkan skor untuk
tanggapan, variabilitas dalam skor lebih dari kualifikasi penilai adalah sumber
kesalahan. Variasi dalam skor peserta tes yang tidak konsisten dengan definisi
konstruk yang dinilai dikaitkan dengan kesalahan pengukuran. (hal. 33)

Cara yang sangat mendasar untuk mengevaluasi konsistensi skor melibatkan analisis
variasi dalam skor masing-masing peserta tes di seluruh replikasi prosedur pengujian.
Tes diberikan dan kemudian, periode singkat era di mana ujian peserta berdiri pada
variabel yang diukur. tidak akan diharapkan untuk berubah, tes (atau ujian yang
berbeda tetapi setara) adalah admin tered kedua kalinya; Diasumsikan bahwa
administrasi pertama tidak memiliki pengaruh pada administrasi kedua. Mengingat
bahwa atribut yang diukur diasumsikan tetap sama untuk masing-masing peserta tes
atas dua administrasi dan bahwa administrasi tes tidak tergantung satu sama lain,
lebih banyak variasi di kedua administrasi menunjukkan lebih banyak kesalahan
dalam nilai tes dan ada reliabili yang lebih rendah / presisi.

Dampak kesalahan pengukuran tersebut dapat diringkas dalam beberapa cara, tetapi
pada dasarnya, dalam pengukuran pendidikan dan psikologis, itu
dikonseptualisasikan dalam hal standar deviasi dalam skor untuk seseorang daripada
replikasi prosedur pengujian. Dalam kebanyakan konteks pengujian , tidak mungkin
untuk mereplikasi prosedur pengujian kembali, dan ada tidak mungkin untuk
memperkirakan kesalahan standar untuk skor setiap orang melalui pengukuran
berulang. Alih-alih, dengan menggunakan asumsi berbasis model, kesalahan rata-rata
pengukuran diperkirakan pada beberapa populasi, dan rata-rata ini disebut sebagai
kesalahan standar pengukuran jumlah penduduk (SEM). SEM adalah indikator
kurangnya konsistensi dalam skor yang dihasilkan. dengan prosedur pengujian r
beberapa populasi. SEM yang relatif besar menunjukkan reliabilitas / pre-cision yang
relatif rendah. Syarat dan kondisi pengukuran tingkat skor adalah kesalahan
pengukuran pada level skor tersebut.

Mengatakan bahwa skor mencakup kesalahan menyiratkan bahwa ada nilai bebas
kesalahan hipotetis yang menunjukkan variabel yang dinilai. Dalam teori uji klasik,
nilai bebas kesalahan ini disebut sebagai skor sejati seseorang dalam prosedur
pengujian. Konsep ini dikonseptualisasikan sebagai skor rata-rata hipotetis lebih dari
satu set replikasi prosedur pengujian yang tidak terbatas. Dalam istilah statistik, skor
sejati seseorang adalah parameter yang tidak diketahui, atau konstan, dan skor yang
diamati r orang tersebut adalah acak
variabel yang berfluktuasi di sekitar skor sebenarnya r orang tersebut.

Teori bility umum menyediakan kerangka kerja yang berbeda untuk memperkirakan
keandalan / presisi. Sementara teori tes klasik mengasumsikan distribusi tunggal
untuk kesalahan dalam skor peserta tes, teori generalisasi berusaha untuk
mengevaluasi kontribusi dari sumber sumber teror (misalnya, item, kesempatan,
penilai) untuk kesalahan keseluruhan. Skor alam semesta setiap orang didefinisikan
sebagai nilai yang diharapkan atas alam semesta dari semua kemungkinan replikasi
dari prosedur pengujian r pengambil tes. Skor semesta dari teori generalisasi
memainkan peran yang mirip dengan peran skor sejati dalam teori tes klasik.

Item response theory (IRT) membahas masalah dasar keandalan / ketepatan

menggunakan fungsi informasi, yang menunjukkan ketepatan yang mana kinerja
tugas / item yang diamati dapat digunakan untuk memperkirakan nilai dari pengambil
tes jangkauan sifat laten. Dengan menggunakan IRT, indeks yang dianalogikan
dengan koefisien reliabilitas tradisional dapat diperkirakan dari informasi barang dan
distribusi sifat laten dalam beberapa populasi.

Dalam praktiknya, keandalan / ketepatan skor biasanya dievaluasi dalam hal berbagai
koefisien, termasuk koefisien keandalan, koefisien kelaikan gen, dan informasi
informasi IRT, tergantung pada fokus analisis dan model pengukuran yang
digunakan. Koefisien cenderung memiliki nilai yang tinggi ketika kemampuan vari
yang terkait dengan kesalahan kecil dibandingkan dengan variasi yang diamati dalam
skor (atau perbedaan skor) untuk diperkirakan.

Implikasi untuk Validitas

Meskipun reliabilitas / presisi dibahas di sini sebagai karakteristik independen dari

nilai tes, harus diakui bahwa tingkat keandalan / ketepatan skor memiliki implikasi
untuk validi. Reliabili / ketepatan data pada akhirnya menghasilkan generalisasi atau
ketergantungan skor dan / atau konsistensi klasifikasi individu yang diperoleh dari
skor. Sejauh itu skor tidak konsisten di seluruh replikasi prosedur pengujian (yaitu,
sejauh bahwa (hal. 34) mereka mencerminkan kesalahan pengukuran yang acak),
potensi mereka r prediksi kriteria yang akurat, untukagnagnagnediediagnosis yang
menguntungkan, dan pengambilan keputusan yangdisesuaikan terbatas.

Spesifikasi untuk Replikasi Prosedur Pengujian

Seperti yang ditunjukkan sebelumnya, gagasan umum keandalan / presisi

didefinisikan dalam hal konsistensi atas replikasi prosedur pengujian. Keandalan /
pre-cision tinggi jika skor r setiap orang konsisten terhadap replikasi prosedur
pengujian dan rendah jika skor tidak konsisten atas replikasi. Oleh karena itu, dalam
mengevaluasi keandalan / pre-cision, penting untuk menjadi jelas tentang apa yang
merupakan replikasi dari prosedur pengujian.

Replikasi melibatkan administrasi independen dari prosedur pengujian, sehingga

atribut yang diukur tidak diharapkan untuk berubah. Misalnya, dalam menilai atribut
yang tidak diharapkan berubah selama periode waktu yang panjang (misalnya, dalam
mengukur suatu sifat), skor yang dihasilkan pada dua hari berturut-turut
(menggunakan formulir tes yang berbeda jika sesuai) akan dianggap replikasi. Untuk
variabel keadaan (misalnya, suasana hati atau kelaparan), di mana perubahan yang
cukup cepat adalah umum, skor yang dihasilkan pada dua hari berturut-turut tidak
akan dianggap sebagai replikasi; skor yang diperoleh pada setiap kesempatan akan
ditafsirkan dalam hal nilai variabel keadaan pada kesempatan itu. Untuk banyak tes
pengetahuan atau keterampilan, administrasi bentuk-bentuk alternatif tes dengan
sampel item yang berbeda akan dianggap sebagai replikasi tes; r instrumen survei dan
beberapa tindakan per sonali, diharapkan bahwa pertanyaan yang sama akan
digunakan setiap kali tes dilakukan, dan setiap perubahan substansial dalam penulisan
akan merupakan tes yang berbeda rm.

Tes terstandarisasi menghadirkan bahan uji yang sama atau sangat mirip dengan
semua peserta tes, menjaga kepatuhan terhadap prosedur yang ditentukan dalam
administrasi tes, dan menerapkan aturan penilaian yang ditentukan yang dapat
diterapkan dengan tingkat konsistensi yang tinggi. Mengelola pertanyaan yang sama
atau pertanyaan yang biasanya diskalakan untuk semua peserta tes dalam kondisi
yang sama mempromosikan keadilan dan memfasilitasi perbandingan skor di seluruh
individu. Kondisi pengamatan yang tetap atau standar untuk prosedur pengujian tetap
sama di seluruh replikasi. Namun, beberapa aspek dari prosedur pengujian standar
apa pun akan diizinkan bervariasi. Waktu dan tempat pengujian, serta orang-orang
yang melaksanakan tes, pada umumnya diizinkan untuk bervariasi sampai batas
tertentu. Tugas-tugas khusus yang termasuk dalam tes dapat diizinkan untuk
bervariasi (seperti sampel dari domain konten umum), dan orang-orang yang menilai
hasilnya dapat bervariasi pada beberapa set pencetak skor yang memenuhi syarat.

Semua rms (atau rm paralel) dari pengujian standar yang dirancang untuk memiliki
distribusi umum yang sama dari konten dan format barang (seperti yang dijelaskan,
misalnya, dalam spesifikasi uji rinci), prosedur administrasi yang sama, dan
setidaknya sekitar nilai rata-rata yang sama dan standar deviasi pada beberapa
populasi atau populasi tertentu. Rms internasional dari suatu tes dianggap dapat
dipertukarkan, dalam arti bahwa mereka dibangun dengan spesifikasi yang sama, dan
ditafsirkan sebagai ukuran dari konstruk yang sama.

Dalam teori uji klasik, uji paralel sejajar diasumsikan untuk mengukur konstruk yang
sama dan untuk menghasilkan hutan yang telah berubah dan memenuhi standar
penyimpangan dalam populasi yang diminati dan memiliki korelasi yang sama
dengan semua variabel lainnya. Koefisien reliabilitas klasik didefinisikan dalam hal
korelasi antara skor dan paralel ketat rms dari tes, tetapi diperkirakan dalam hal
korelasi antara rms alternatif

dari tes yang mungkin tidak sepenuhnya paralel. Pendekatan yang berbeda untuk
estimasi kemampuan / presisi dapat diimplementasikan agar sesuai dengan desi
pengumpulan-data yang berbeda dan interetasi yang berbeda dan penggunaan skor.
Dalam beberapa kasus, mungkin layak untuk memperkirakan variabilitas lebih dari
replikasi secara langsung (misalnya, dengan memiliki sejumlah penilai yang
berkualitas mengevaluasi sampel uji per rmances masing-masing peserta tes). Dalam
kasus lain, mungkin perlu menggunakan lebih sedikit estimasi langsung dari
koefisien reliabilitas. Misalnya, perkiraan konsistensi intern dari keandalan (mis.,
Splithalves coeficient, -20, coeficient alpha) menggunakan sejauh mana persetujuan
antara bagian yang berbeda dari satu tes untuk memperkirakan reliabili yang terkait
dengan rm-ke-rm (hal. 35) variabilitas. Untuk metode split-half, skor pada dua jam
paralel lebih atau kurang dari tes (misalnya, item nomor ganjil dan item genap)
berkorelasi, dan hasil setengah-tes koefisien reliabili yang dihasilkan secara statistik
disesuaikan untuk memperkirakan kemampuan yang andal untuk tes sepanjang-ll.
Namun, ketika tes dirancang untuk mencerminkan tingkat pekerjaan, estimasi
konsistensi internal keandalan (terutama dengan metode genap-genap) cenderung
menghasilkan perkiraan peningkatan reliabilitas r tes yang sangat cepat.

Dalam beberapa kasus, mungkin beralasan untuk mengasumsikan bahwa sumber

variabilitas potensial cenderung diabaikan atau bahwa pengguna akan dapat
menyimpulkan reliabilitas yang setara dari jenis bukti lainnya. Sebagai contoh, jika
skor tes digunakan terutama untuk memprediksi beberapa skor kriteria dan tes
melakukan pekerjaan yang dapat diterima dalam memprediksi kriteria, dapat
disimpulkan bahwa skor tes dapat diandalkan / cukup tepat untuk penggunaan yang
dimaksudkan.

Definisi apa yang merupakan uji standar atau prosedur pengukuran telah meluas
secara signifikan selama beberapa dekade terakhir. Berbagai jenis penilaian kinerja,
simulasi, dan penilaian berbasis por telah dikembangkan untuk memberikan ukuran
konstruksi yang mungkin sulit untuk dinilai. Setiap langkah menuju fleksibilitas yang
lebih besar dalam prosedur penilaian memperbesar cakupan variasi yang
diperbolehkan dalam replikasi prosedur pengujian, dan karenanya cenderung
meningkatkan kesalahan pengukuran. Namun, beberapa pengorbanan ini dalam
keandalan / presisi dapat mengurangi konstruk yang tidak relevan atau membangun
yang tidak terwakili dan dengan demikian meningkatkan validitas interpretasi skor
yang dimaksud. Misalnya, penilaian kinerja yang bergantung pada peringkat
tanggapan yang diperluas cenderung memiliki keandalan yang lebih rendah daripada
penilaian yang lebih terstruktur (misalnya, tes pilihan ganda atau jawaban singkat),
tetapi terkadang dapat memberikan ukuran yang lebih langsung dari atribut yang
menarik.

Kesalahan pengukuran acak dipandang sebagai fluktuasi nilai yang tidak dapat
diprediksi. Mereka secara konseptual dibedakan dari kesalahan sistematis, yang
mungkin juga mempengaruhi kinerja individu atau kelompok tetapi secara konsisten
daripada secara acak. Misalnya, kunci jawaban yang salah akan berkontribusi
kesalahan sistematis, seperti perbedaan dalam kesulitan formulir uji yang belum
disamakan atau dihubungkan secara memadai; ex aminees yang mengambil satu
bentuk dapat menerima skor rata-rata yang lebih tinggi daripada jika mereka telah
mengambil rm lainnya. Kesalahan sistematis seperti itu umumnya tidak akan
dimasukkan dalam kesalahan pengukuran standar, dan mereka tidak dianggap
berkontribusi terhadap kurangnya keandalan / presisi. . Sebaliknya, kesalahan
sistematis merupakan ctors yang tidak relevan dengan konstruk yang mengurangi
validitas tetapi tidak reliabilitas / presisi.

Sumber-sumber kesalahan acak yang penting dapat dikelompokkan dalam dua

kategori besar: sumber-sumber yang berakar di dalam peserta tes dan yang di luar
mereka. Fluktuasi dalam tingkat motivasi, minat, atau perhatian seorang aminee dan
penerapan keterampilan yang tidak konsisten jelas merupakan sumber internal yang
dapat menyebabkan kesalahan acak. Variasi dalam kondisi pengujian (misalnya,
waktu, tingkat gangguan) dan variasi dalam penilaian karena to scorer subjektivitas
adalah contoh-contoh sumber eksternal yang dapat menyebabkan ran dom error.
Pentingnya sumber variasi tertentu tergantung pada kondisi spesifik di mana langkah-
langkah diambil, bagaimana kinerja dinilai, dan interpretasi yang diperoleh dari skor .

Beberapa perubahan dalam skor om satu kesempatan ke yang lain tidak dianggap
sebagai kesalahan (acak atau sys tematic), karena mereka menghasilkan, sebagian,
dari perubahan dalam konstruk yang diukur (misalnya, karena pembelajaran atau
pematangan yang telah terjadi antara awal dan langkah terakhir). Dalam kasus seperti
itu, perubahan kinerja akan menjadi fenomena yang menarik dan tidak akan dianggap
sebagai kesalahan pengukuran.

Kesalahan pengukuran mengurangi kegunaan skor tes. Ini membatasi sejauh mana
hasil tes dapat digeneralisasi di luar rincian replikasi prosedur pengujian yang
diberikan. Ini mengurangi kepercayaan diri yang dapat ditempatkan dalam hasil dari
setiap pengukuran tunggal dan ada keandalan / ketepatan skor. Karena kesalahan
pengukuran dom tidak dapat diprediksi, mereka tidak dapat dihapus dari skor yang
diamati. Namun, besarnya agregat mereka dapat diringkas dalam beberapa cara,
seperti yang dibahas di bawah ini, dan mereka dapat dikendalikan sampai batas
tertentu (misalnya, dengan standardisasi atau dengan rata-rata lebih dari beberapa
skor). (hal.36) Kesalahan pengukuran standar, dengan demikian, memberikan
indikasi tingkat kesalahan acak yang diharapkan atas poin skor dan replikasi untuk
populasi tertentu. Dalam banyak kasus, berguna untuk memiliki perkiraan kesalahan
standar untuk peserta ujian individu (atau untuk peserta ujian dengan skor dalam
rentang skor tertentu). Kesalahan standar bersyarat ini sulit untuk diperkirakan secara
langsung, tetapi dapat diperkirakan secara tidak langsung. Misalnya, fungsi informasi
pengujian berdasarkan model IRT dapat digunakan untuk memperkirakan kesalahan
standar r nilai yang berbeda dari parameter kemampuan laten dan / atau r skor yang
diamati berbeda. Dalam menggunakan salah satu dari estimasi mod berbasis
kesalahan standar bersyarat ini, penting bahwa asumsi model konsisten dengan data.

Mengevaluasi Keandalan / Presisi

Pendekatan ideal untuk evolusi reliabili / presisi akan membutuhkan banyak replikasi
independen dari prosedur pengujian pada sampel besar peserta tes. Kisaran yang
berbeda diperbolehkan dalam replikasi prosedur pengujian dan usulan interpretasi
dari skor memberikan suatu pekerjaan. r dalam menilai keandalan / presisi.

Untuk sebagian besar program pengujian, skor diharapkan untuk menggeneralisasi

atas bentuk-bentuk alternatif tes, oksi (dalam beberapa periode), konteks pengujian,
dan penilai (jika penilaian diperlukan dalam penilaian). Sejauh dampak dari salah
satu sumber variabilitas ini diharapkan menjadi substansial, variabilitas harus
diperkirakan dalam beberapa cara. Sumber varians yang berbeda tidak perlu
diestimasikan secara terpisah. Keseluruhan reliabilitas / pre-cision, diberikan varians
error karena pengambilan sampel rms, kesempatan, dan pembagi, dapat diperkirakan
melalui studi uji-retest yang melibatkan rms berbeda yang diberikan pada kesempatan
yang berbeda. dan dicetak oleh penilai yang berbeda.

Interpretasi analisis reliabilitas / presisi tergantung pada populasi yang diuji.

Misalnya, koefisien reliabilitas atau generalisasi

skor om yang diperoleh dari sampel yang representatif secara nasional dapat berbeda
secara signifikan dengan yang diperoleh dari sampel yang lebih homogen yang
diambil dari satu jenis kelamin, satu kelompok etnis, atau satu komunitas. Oleh
karena itu, sejauh memungkinkan (mis., Jika ukuran sampel cukup besar), keandalan /
ketelitian harus diperkirakan secara terpisah untuk semua subkelompok yang relevan
(mis., Didefinisikan dalam hal ras / etnis, jenis kelamin, kecakapan bahasa) dalam
populasi. (Juga lihat c h a hal. 3, "Keadilan dalam Pengujian.")

Koefisien reliabilitas / kemampuan generalisasi

Dalam tes klasik theo, konsistensi skor tes dievaluasi terutama dalam hal koefisien
reliabili, didefinisikan dalam hal korelasi antara skor yang diperoleh dari replikasi
prosedur pengujian pada sampel peserta tes. Tiga kategori luas koefisien reliabili
diakui: (a) koefisien yang diperoleh dari administrasi perusahaan alternatif dalam sesi
pengujian independen (koefisien bentuk alternatif); (b) koefisien yang diperoleh
dengan inistrasi dengan bentuk yang sama pada kesempatan terpisah (koefisien uji-
ulang); dan (c) koefisien berdasarkan hubungan / interaksi antara skor yang
diturunkan dari item individual atau himpunan bagian item dalam tes, semua data
yang diperoleh dari satu administrasi (koefisien internal-konsisten). Selain itu, di
mana skor tes melibatkan penilaian tingkat tinggi, indeks konsistensi pencetak gol
terbanyak. Dalam perawatan formal teori uji clasical, reliabilitas dapat ditentukan
sebagai rasio varian skor-sejati dengan varian skor yang diamati, tetapi diperkirakan
dalam hal koefisien reliabilitas dari jenis-jenis yang disebutkan di atas.

Dalam teori generalisasi, analisis kemampuan yang berbeda ini diperlakukan sebagai
kasus-kasus khusus dari varians kesalahan pencitraan hutan yang sedang berjalan
yang lebih umum dalam hal komponen varians yang terkait dengan sumber kesalahan
yang berbeda. Koefisien generalizabili didefinisikan sebagai rasio varian skor
semesta terhadap varian skor yang diamati. Tidak seperti pendekatan tradisional
untuk studi reliabilitas, teori eralizability gen mendorong peneliti untuk menentukan
dan memperkirakan komponen varians skor sejati, varians skor kesalahan, dan
varians skor yang diamati, dan untuk menghitung koefisien berdasarkan estimasi ini.
estimasi biasanya dilakukan dengan penerapan teknik analisis varian. The Separate
Numerical Estimates Of The Components of variance(e.g.,variance components r
items (hal.37)