Halaman 1

Teori Generalisasi

Bab ini memperkenalkan teori generalisasi — teori statistik tentang ketergantungan

pengukuran. Dalam bab ini, logika yang mendasari generalisasi diperkenalkan
diikuti dengan penerapan praktis dari teknik tersebut. Penekanan ditempatkan pada keunggulan
teori generalisasi tages menyediakan untuk memeriksa pengukuran tunggal dan multifaset
masalah.

8.1 PENDAHULUAN

Dalam Bab 7, keandalan diperkenalkan dalam kerangka teori uji klasik (CTT).
kerja. Dalam CTT, skor sejati seseorang diwakili oleh skor pengamatannya yaitu a
perwakilan pengukuran tunggal dari banyak skor yang mungkin didasarkan pada infi-
nite jumlah pengukuran berulang. Pendekatan CTT untuk estimasi reliabilitas adalah
berdasarkan variasi skor pengamatan orang (atau peserta ujian) ( X i ) yang dipartisi
menjadi komponen true ( T i ) dan error ( E i ). Komponen sebenarnya adalah karena perbedaan yang benar
antara orang-orang, dan bagian kesalahan adalah agregat variasi karena sistemik dan ran-
sumber kesalahan dom. Dalam teori generalisasi, skor yang diamati seseorang, skor sebenarnya,
dan skor kesalahan masing-masing dinyatakan sebagai X pi , I pi , dan E pi , di mana p mewakili orang
(peserta ujian) dan i mewakili item. Untuk setiap orang ( p ) dan item ( i ), X pi adalah variabel acak
dapat dinyatakan sebagai harapan atas replikasi (yaitu, rata-rata jangka panjang selama banyak)
pengukuran berulang). Berdasarkan rata-rata jangka panjang, skor sejati seseorang diwakili
dikirim oleh variabel acak.
Menggabungkan sumber kesalahan sistemik dan acak dalam CTT kurang ideal karena
kami kehilangan informasi penting tentang sumber kesalahan sistematis dan/atau acak dan
dampak masing-masing memiliki presisi pengukuran. Misalnya, variasi (perbedaan)
dalam tanggapan item muncul dari (1) kesulitan item, (2) kinerja orang, dan (3) the

257

Halaman 2

258 METODE PSIKOLOGI

interaksi antara orang dan hal-hal yang dikacaukan oleh sumber-sumber lain dari sistematika dan
kesalahan acak. Teori tes klasik tidak memberikan cara sistematis untuk menangani kompleksitas ini.
ikatan. Contoh lain di mana CTT tidak memadai adalah ketika pengamat menilai peserta ujian
kinerja mereka pada suatu tugas. Biasanya, jenis pengukuran ini melibatkan beberapa
ers pada satu tugas atau beberapa tugas. Sebagai contoh, pertimbangkan situasi di mana tes
item yang digunakan untuk menilai tingkat kinerja pada tanggapan tertulis atau dibangun menggunakan
skala penilaian berbasis kualitas. Dalam hal ini, kualitas tanggapan tertulislah yang
sedang dinilai. CTT tidak menyediakan kerangka kerja untuk memisahkan berbagai Teks
sumber
asli
kesalahan yang ditangkap dalam ( E i ). Teori generalisasi memperluas CTT (Cronbach et al., 1972;
As an example, consider the situation where test
Brennan, 2010) dengan menyediakan kerangka kerja untuk meningkatkan presisi pengukuran dengan estimasi
mengawinkan berbagai sumber kesalahan yang unik untuk pengujian atau kondisi pengukuran
Sumbangkantertentu.
terjemahan yang lebih baik
Teori generalisasi mudah diperluas ke skenario pengukuran yang kompleks di mana CTT
tidak memadai. Sepanjang bab ini kegunaan teori generalisasi diilustrasikan
 dinilai melalui contoh.

8.2 TUJUAN TEORI GENERALIZABILITAS

Tujuan utama dari teori generalisasi adalah untuk menyediakan kerangka kerja untuk meningkatkan
yang diandalkan pengukuran. Ketergantungan pengukuran ditingkatkan dengan menggunakan
informasi yang diperoleh dari studi generalisasi (G-studi) untuk mengurangi atau menghilangkan
sumber kesalahan yang tidak diinginkan dalam prosedur pengukuran di masa depan. Informasi yang diperoleh dari
studi-G digunakan untuk memandu keputusan atau studi-D. Sebenarnya, tujuan studi-D adalah untuk
membuat keputusan berbasis sampel berdasarkan peningkatan ketergantungan pengukuran
daripada menggeneralisasi ke populasi. Misalnya, perhatikan dua contoh berikut
di mana kondisi yang berbeda (alias aspek dalam bahasa teori generalisasi) dari
proses pengukuran yang menarik. Pertama, kami ingin memastikan bahwa tingkat kesulitan
item tes berada dalam kisaran tertentu (yaitu, item tidak terlalu sulit dan
tidak terlalu mudah). Kedua, kami mungkin ingin memastikan bahwa peringkat kualitas tulisan memenuhi
tingkat keandalan yang diinginkan (alias ketergantungan dalam teori generalisasi) saat menggunakan
beberapa penilai. Misalnya, kita mungkin ingin tahu berapa banyak penilai yang diperlukan untuk
memperoleh tingkat keandalan yang dapat diterima dalam peringkat.
Dalam keputusan atau studi-D, kondisi pengukuran dianggap sebagai sampel acak.
ple dari alam semesta kondisi yang digunakan dalam studi generalisasi bahwa
mendahuluinya. Ketergantungan dalam teori generalisasi dapat dianalogikan dengan keandalan dalam CTT. Di dalam
studi generalisasi, ketergantungan pengukuran dinyatakan sebagai generalisasi
koefisien (koefisien G) dan identik dengan estimasi koefisien reliabilitas
alpha ( α ) di CTT -under keadaan pengukuran tertentu . Misalnya, dalam situasi-
tion di mana sampel orang menanggapi satu set item tes pada satu kesempatan, berlaku-
ing analisis teori generalisasi dapat menghasilkan hasil yang sama dengan koefisien alpha
( Α ). Jenis analisis teori generalisasi dan lainnya dijelaskan sebagai berikut:
bagian.

halaman 3

Teori Generalisasi 259

8.3 FASE PENGUKURAN DAN SKOR ALAM SEMESTA

Teori generalisasi menyediakan kerangka kerja yang fleksibel untuk berbagai pengukuran dan
Kondisi desain studi-D. Misalnya, tujuan pengukuran dalam tertentu
studi mungkin sederhana, sedang, atau kompleks. Dalam studi generalisasi (yaitu, G-studi),
yang kondisi sedang dipelajari adalah disebut aspek . Sebagai contoh, item pada tes merupakan
yang item yang facet ; orang atau peserta ujian mewakili segi orang . Sisi lain umumnya
yang digunakan dalam studi generalisasi adalah aspek pengamat atau penilai , di mana pengamat menilai orang
pada tugas (misalnya, kualitas tanggapan tertulis untuk pertanyaan esai). Generalisasi sederhana-
studi kemampuan (yaitu, desain satu sisi) mungkin hanya mencakup item dan orang sebagai fokus
pengukuran (misalnya, desain item x orang). Dalam desain ini, satu segi adalah item;
semua orang menanggapi semua item (simbol x mewakili "disilangkan dengan").
Skenario yang lebih kompleks dapat mencakup item, orang, dan pengamat/penilai (yaitu, a
desain dua sisi), dengan pengamat menilai beberapa aspek kinerja peserta ujian selama
pengujian seperti (1) kualitas tanggapan tertulis terhadap pertanyaan esai atau (2) tingkatnya
kinerja berdasarkan penerapan strategi kognitif. Studi ini menghasilkan seseorang
x item x desain penilai (simbol x mewakili "disilangkan dengan", artinya semua orang
menanggapi semua item dan dinilai oleh semua penilai ). Dalam contoh ini, kedua aspek tersebut diwakili
dikirim oleh item dan penilai.
Desain dua sisi yang lebih kompleks dapat mencakup item, orang, penilai, dan
kesempatan sebagai aspek pengukuran (yaitu, membuat orang x item x penilai: desain acara).
Dalam desain yang lebih kompleks ini, faset kesempatan bersarang di dalam faset penilai (yaitu, setiap
pengamat menilai kinerja pada lebih dari satu kesempatan atau titik waktu; simbol “:” rep-
membenci fakta bahwa kesempatan bersarang di dalam penilai).
Contoh-contoh ini tidak menguras desain yang mungkin tersedia dalam generalisasi the-
ori; melainkan, mereka hanya memberikan contoh desain yang umum digunakan.
Dalam teori generalisasi, skor tes atau peringkat kinerja seseorang adalah sampel dari
semesta skor yang sangat besar yang mewakili atau mengindeks kemampuan sejati seseorang, nyatakan
pengetahuan, atau kinerja. Dalam teori generalisasi, skor rata-rata seseorang melebihi
jumlah kesempatan pengukuran yang secara teoritis tak terbatas adalah skor semestanya
(analog dengan skor sebenarnya dalam CTT). Seperti yang Anda bayangkan, masalah kritis dalam generalisasi
studi adalah akurasi generalisasi dari sampel ke alam semesta . Sebuah alam semesta pada umumnya-
teori izability mungkin multifaset, terdiri dari lebih dari satu segi pengukuran,
kesempatan pengujian, formulir pengujian, dan pengamat/penilai. Fleksibilitas teori generalisasi
terletak pada kemampuannya untuk menyediakan kerangka kerja untuk menangkap dan mengisolasi berbagai
sumber variasi yang disebabkan oleh prosedur pengukuran. Langkah antisipasi-
ing kondisi yang relevan dari pengukuran dan sumber varians adalah fokus dari a
G-studi. Berbekal hasil studi-G, studi-D dapat direncanakan sedemikian rupa sehingga
memberikan serangkaian hasil yang sangat informatif untuk sampel tertentu. Besarnya
variasi dalam setiap segi (yaitu, dikenal sebagai komponen varians) diperkirakan menggunakan
prosedur analisis varians (ANOVA). Analisis varians disajikan dalam lebih
 rinci nanti di bab ini.

halaman 4

260 METODE PSIKHOMETRIK

Bagian selanjutnya menyajikan cara teori generalisasi memperluas CTT dan

memperkenalkan jenis keputusan berbasis skor yang tersedia saat menggunakan generalisasi
teori dan dua jenis studi G: studi generalisasi (G) dan keputusan (D).

8.4 BAGAIMANA TEORI GENERALIZABILITAS MEMPERLUAS

TEORI UJI KLASIK

Teori generalisasi memperluas CTT dalam empat cara. Pertama, prosedur memperkirakan ukurannya
dari setiap sumber kesalahan yang disebabkan oleh aspek pengukuran tertentu dalam satu analisis.
Dengan mengidentifikasi sumber kesalahan tertentu, keandalan atau ketergantungan pengukuran dapat
dioptimalkan menggunakan informasi ini (misalnya, keandalan skor dalam teori generalisasi
diberi label koefisien G). Kedua, teori generalisasi memperkirakan varians com-
komponen yang mengukur besarnya kesalahan dari setiap sumber. Ketiga, generalisasi
teori menyediakan kerangka kerja untuk menurunkan keputusan relatif dan absolut. Keputusan relatif
termasuk membandingkan skor atau kinerja satu orang dengan orang lain (misalnya, seperti dalam kemampuan)
dan tes prestasi). Keputusan mutlak berfokus pada tingkat kinerja individu.
terlepas dari kinerja rekan-rekannya. Misalnya, keputusan mutlak
menerapkan standar (yaitu, skor cutoff) untuk mengklasifikasikan penguasaan dan non-penguasaan, seperti pada:
ujian sertifikasi dan lisensi atau pengujian pencapaian di mana tingkat tertentu
penguasaan diperlukan sebelum maju ke tingkat yang lebih menantang. Keempat, generalisasi-
teori kemampuan mencakup strategi analitik dua bagian; G-studi dan D-studi. Tujuan
melakukan studi-G adalah merencanakan studi-D yang akan memiliki generalisasi yang memadai untuk
alam semesta yang menarik . Untuk tujuan ini, semua sumber kesalahan pengukuran yang relevan diidentifikasi
fied dalam G-studi. Dengan menggunakan informasi ini, studi-D dirancang dengan cara yang memaksimalkan
kualitas dan efisiensi pengukuran dan akan secara akurat menggeneralisasi ke target
semesta. Akhirnya, studi-G dan studi-D menampilkan (1) desain bersarang atau bersilangan
dan (2) dapat mencakup aspek pengukuran yang acak atau tetap, atau keduanya, dalam satu
analisis. Bab ini berfokus terutama pada desain silang yang diilustrasikan dengan contoh.
Selain itu, deskripsi aspek acak dan tetap diberikan dengan contoh kapan
masing-masing sesuai.

8.5 TEORI UMUM DAN ANALISIS VARIANSI

Inti dari teori generalisasi adalah komponen varians. Sebuah komponen varians
menangkap sumber variasi dalam sejumlah orang yang diamati dan merupakan unit fundamental
analisis dalam G-studi. Misalnya, kami ingin menghitung jumlahnya secara akurat
variabilitas dalam satu set skor (atau peringkat kinerja) jika pengukuran kami akan digunakan-
ful untuk menggambarkan perbedaan antara atribut psikologis seseorang. Analisis
varians (ANOVA) adalah model statistik berdasarkan kasus khusus dari linear umum
model yang paling sering digunakan untuk menganalisis data dalam studi eksperimental di mana peneliti
tertarik untuk menentukan pengaruh oleh suatu faktor atau perlakuan (misalnya, efek dari suatu

halaman 5

Teori Generalisasi 261

intervensi) pada variabel hasil (tergantung) (misalnya, pencapaian atau keberhasilan membaca
dalam mengobati penyakit medis).
Pada contoh sebelumnya tentang prestasi membaca, setiap mata pelajaran memiliki prestasi membaca.
skor ment (variabel dependen atau hasil) dan variabel independen adalah
perlakuan (satu kelompok menerima perlakuan dan satu kelompok tidak). Misalnya, di
ANOVA variasi dalam skor membaca dapat dipartisi oleh faktor (yaitu, independen)
variabel) seperti kelompok belajar dan jenis kelamin. Selain itu, mungkin ada independen lain
variabel seperti status sosial ekonomi, dengan tingkat klasifikasi seperti rendah, sedang,
dan tinggi. ANOVA dapat digunakan untuk mempartisi skor mata pelajaran menjadi efek untuk
penyok (faktor) variabel, interaksi, dan kesalahan. Juga, ANOVA dapat mencakup faktor tunggal,
dua faktor, dan desain studi yang lebih tinggi. Dalam studi G dan D, kondisi pengukuran atau
aspek adalah faktor dalam terminologi ANOVA .
Teori generalisasi terdiri dari kerangka analitik umum yang meliputi:
elemen CTT dan mekanika statistik ANOVA. Gambar 8.1 mengilustrasikan kon-
hubungan konseptual antara CTT dan teori generalisasi.
 Varians dalam skor yang diamati dari orang mungkin karena (1) kesulitan item ( i ), (2) per-
anak ( p ) faktor kinerja atau perilaku, dan (3) pengaruh penilai ( r ) terhadap penilaian seseorang
skor. Sumber variasi dalam teori generalisasi diklasifikasikan ke dalam segi (yaitu, faktor
tor di ANOVA). Dalam kasus yang paling sederhana, desain satu sisi dalam generalisasi the-
ory termasuk satu sumber kesalahan pengukuran dan terdiri dari pengukuran yang diperoleh
dari sampel pengamatan yang dapat diterima dari alam semesta dari semua pengamatan yang mungkin. Di dalam

G-studi

D-studi

gambar 8.1. Prekursor dan kerangka konseptual teori generalisasi. Dari Brennan
(2010, hal. 5). Hak Cipta 2010 oleh Springer. Dicetak ulang dengan izin.

halaman 6

262 METODE PSIKOLOGI

G-studi, alam semesta pengamatan yang dapat diterima mengacu pada pengukuran (dan variasinya
ance) diperoleh khusus untuk item, penilai, dan aspek orang. Ingatlah bahwa dalam studi-G yang kita inginkan
untuk mengantisipasi semua kondisi pengukuran khusus untuk alam semesta yang dapat diterima
pengamatan sehingga kami dapat menggunakan informasi ini dalam merencanakan dan melakukan studi-D.
Misalnya, dalam desain satu sisi, komponen varians untuk orang diekspresikan dengan
2 2
simbol P , untuk soal tes I σ dan untuk sisa atau kesalahan sebagai PI, E σ .2 Varian sisa-
komponen ance menjelaskan interaksi orang dan item ditambah kesalahan acak dari
pengukuran. Dengan menggunakan komponen varian yang baru saja dijelaskan, kita dapat mengidentifikasi sumber
dan ukuran kesalahan, dan kesalahan total dapat diperkirakan mengarah ke estimasi G (gen-
koefisien eralisabilitas).
Sebuah segi didefinisikan sebagai seperangkat kondisi pengukuran yang serupa (Brennan, 2010). Di dalam
Aspek item, orang, dan penilai G-studi umumnya digunakan (walaupun yang lain mungkin
mungkin, seperti bentuk tes atau kesempatan aspek pengukuran). Generalisasi dari hasil
dari hasil G-studi di bawah skenario seperti (1) segi item di mana ada gen-
eralisasi dari satu set item ke satu set item dari semesta item; (2) formulir tes
segi di mana ada generalisasi dari satu bentuk uji ke satu set bentuk dari alam semesta
bentuk, dan (3) aspek kesempatan pengukuran di mana ada generalisasi dari satu
kesempatan ke yang lain dari alam semesta kesempatan (misalnya, hari, minggu, atau bulan).
Teori generalisasi juga fleksibel karena banyak desain studi yang mungkin,
tergantung pada tujuan G-studi. Misalnya, desain pengukuran mungkin
(1) silang (yaitu, semua orang menanggapi semua pertanyaan tes), (2) bersarang (misalnya, setiap orang
putra dinilai oleh tiga penilai dan penilai menilai setiap orang pada dua kesempatan terpisah),
atau (3) sebagian bersarang (misalnya, penilai yang berbeda menilai orang yang berbeda pada dua yang terpisah
kesempatan). Selain itu, aspek mungkin dari varietas acak atau tetap. Jika suatu segi con-
sidered random , kondisi yang terdiri dari segi tersebut mewakili alam semesta dari
semua kondisi aspek yang mungkin . Secara khusus, suatu segi dianggap acak ketika (1) ukurannya
sampel secara substansial lebih kecil dari ukuran alam semesta dan (2) sampel
baik diambil secara acak atau dianggap dapat ditukar dengan sampel lainnya
dengan ukuran yang sama diambil dari alam semesta yang sama (Brennan, 2010; Shavelson & Webb,
1991, hal. 11).
Implikasi dari melakukan studi-G terkait dengan alam semesta generalisasi
adalah bahwa kondisi segi yang digunakan untuk memperkirakan koefisien generalisasi harus
mewakili alam semesta kondisi sehingga ketika merencanakan studi-D kita akan
memiliki keyakinan bahwa kondisi sisi tetap memang salah satu subset dari kondisi yang mungkin
tion. Dalam kasus segi-segi tetap, istilah tetap berarti bahwa kita hanya tertarik pada
komponen varians karakteristik spesifik dari aspek tertentu (yaitu, kami akan
tidak menggeneralisasi di luar karakteristik segi). Generalisasi aspek campuran
studi teori mencakup aspek acak dan tetap dalam satu studi. Dalam generalisasi
teori, ANOVA digunakan untuk mempartisi skor subjek menjadi (1) efek skor semesta
(untuk objek pengukuran—biasanya orangnya), (2) efek untuk setiap segi
(misalnya, item), (3) interaksi antar aspek (misalnya, interaksi orang x item),
dan (4) komponen residual atau kesalahan yang mencerminkan kesalahan tidak sistematis atau acak yang tersisa
tidak dapat dijelaskan.
halaman 7

Teori Generalisasi 263

8.6 LANGKAH UMUM DALAM MELAKUKAN UMUM

ANALISIS TEORI

Langkah-langkah umum berikut dapat digunakan untuk merencanakan dan melakukan generalisasi (G) dan:
keputusan (D) studi.

1. Tentukan tujuan analisis, termasuk keputusan berbasis skor yang akan dibuat
dibuat (misalnya, relatif atau absolut) jika berlaku.
2. Tentukan semesta pengamatan yang dapat diterima.

3. Pilih desain G-study yang akan memberikan komponen varians skor yang diamati
perkiraan untuk menggeneralisasi ke studi-D.
4. Tentukan aspek atau kondisi pengukuran yang acak dan tetap relatif terhadap
tujuan dari studi-D.
5. Kumpulkan data dan lakukan analisis G-study menggunakan ANOVA.

6. Hitung komponen varians dan koefisien generalisasi (G) untuk

studi G.
7. Hitung proporsi varians untuk setiap aspek (kondisi pengukuran) ke
memberikan ukuran efek.
8. Jika berlaku (misalnya, untuk keputusan relatif atau absolut) hitung kesalahan standar
pengukuran (SEM) untuk studi-G yang dapat digunakan untuk memperoleh kepercayaan
interval untuk skor dalam studi-D.

8.7 MODEL STATISTIK UNTUK TEORI GENERALIZABILITAS

Ingat bahwa unit dasar analisis dalam teori generalisasi adalah varians com-
ponen. Persamaan linier umum (Persamaan 8.1; Brennan, 2010; Crocker & Algina, 1986,
P. 162) dapat digunakan untuk memperkirakan komponen varians untuk analisis teori generalisasi
kak. Perhatikan bahwa Persamaan 8.1 dan 8.2 merupakan model aditif linier. Ini nyaman
karena menggunakan model aditif linier bagian individu variasi dari orang, item,
dan penilai dapat dijumlahkan untuk membuat ukuran variasi total. Untuk memahami komposisi-
Jika simbol-simbol dalam Persamaan 8.1 dan 8.2 mewakili, kita beralih ke Tabel 8.1 dan 8.2. Meja
8.1 mengilustrasikan bagaimana skor deviasi dan varians diturunkan untuk satu variabel. Tabel 8.2
memberikan tanggapan item dan statistik ringkasan yang dipilih untuk contoh kami untuk 20 orang
menanggapi tes memori jangka pendek 10 item 2 dari memori pendengaran dalam data GfGc .
Selanjutnya, komponen varians harus diperkirakan, dan oleh karena itu kita membutuhkan deviasi
skor tion untuk orang-orang dari grand mean (Persamaan 8.2; Brennan, 2010; Crocker &
Algina, 1986, hal. 162).
Menggunakan Persamaan 8.2, kita dapat memperoleh efek untuk orang dan item dan residual (kesalahan
komponen) yang menangkap kesalahan pengukuran (gabungan acak dan sistematis).
Selanjutnya, kami meninjau bagaimana varians diturunkan untuk membantu pemahaman komponen varians.

halaman 8

264 METODE PSIKOLOGI

persamaan 8.1. Persamaan linier umum untuk teori generalisasi

analisis

X pi = μ + ( μ p - μ ) + ( μ i - μ ) + e pi

• X pi = skor untuk seseorang pada suatu item (atau peringkat).

• μ = rata-rata untuk orang lebih dari nilai semesta.
•μp = mean untuk orang atas item.
•μi = rata-rata untuk item (atau peringkat) atas orang; juga dikenal
sebagai grand mean .
• e pi = sisa atau kesalahan pengukuran berdasarkan orang
dan item.
 persamaan 8.2. Skor penyimpangan untuk seseorang

X pi - μ = ( μ p - μ ) + ( μ i - μ ) + e pi

• X pi = skor untuk seseorang pada item.

•μ = rata-rata untuk orang-orang di atas skor alam semesta.
• μ p - μ = orang berpengaruh.
• μ i - μ = item (atau rater) efek.
• e pi = sisa atau kesalahan pengukuran berdasarkan orang
dan barang atau orang dan penilai; termasuk
korelasi antara penilai ditambah kesalahan acak.

Varians dari satu set skor (lihat Bab 2 untuk review) diperoleh dengan (1) menurunkan
rata-rata untuk satu set atau distribusi skor, (2) menghitung deviasi masing-masing orang
skor dari mean (yaitu, menurunkan skor deviasi), (3) mengkuadratkan skor deviasi,
dan (4) menghitung rata-rata deviasi kuadrat. Tabel 8.1 mengilustrasikan urutan-
bagian penting untuk memperkirakan varians menggunakan skor total (jumlah) pada memori jangka pendek
tes 2 untuk 20 orang yang dipilih secara acak yang mewakili alam semesta orang dalam jangka pendek
tes memori 2. Sampel 20 orang dianggap dapat ditukar dengan ran-
sampel yang diambil secara domly berukuran 20 dari semesta skor ini. Oleh karena itu, segi orangnya
dianggap acak . Aspek item dalam desain 1 (diilustrasikan di bagian berikutnya) telah diperbaiki
(yaitu, kami hanya tertarik pada bagaimana set item tertentu ini berfungsi dengan acak kami
sampel orang). Poin penting untuk dicatat di sini adalah bahwa orang dan barang bisa menjadi
acak jika kami juga tertarik untuk menggeneralisasi ke set item yang lebih besar dari kemungkinan uni-
ayat item mengukur memori jangka pendek.

halaman 9

Teori Generalisasi 265

tabel 8.1. perhitungan varians untuk data sampel pada tabel 8.2

Skor ( X ) Berarti (μ) Penyimpangan kuadrat

3 13.35 –10.35 107.1225

5 13.35 –8.35 69.7225
5 13.35 –8.35 69.7225
9 13.35 –4.35 18.9225
9 13.35 –4.35 18.9225
11 13.35 -2.35 5.5225
11 13.35 -2.35 5.5225
12 13.35 -1,35 1.8225
12 13.35 -1,35 1.8225
13 13.35 –0,35 0,1225
13 13.35 –0,35 0,1225
14 13.35 0,65 0,4225
14 13.35 0,65 0,4225
16 13.35 2.65 7.0225
16 13.35 2.65 7.0225
17 13.35 3.65 13.3225
20 13.35 6.65 44.2225
22 13.35 8.65 74.8225
22 13.35 8.65 74.8225
23 13.35 9.65 93.1225

Sum ( Σ X ) = 267 SS = Σ ( X - X ) 2 = 614,55

GRAND MEAN (;) x μ = 13.35 Varians = s 2 = 30,72
Simpangan baku = s = 5,54

Catatan . Penyebut untuk varians sampel acak ini didasarkan pada n = 20, bukan n – 1 = 19.
Simbol s adalah untuk sampel. Simbol σ adalah untuk penduduk dan digunakan di seluruh ini
2 2

bab untuk mewakili varians. Simbol s adalah simpangan baku untuk sampel, dan
simbol σ adalah deviasi standar untuk populasi.

Dengan pemahaman tentang bagaimana varians diturunkan menggunakan skor deviasi, kita:
dalam posisi untuk memperkirakan komponen varians yang diperlukan untuk digunakan dalam contoh pertama kami
analisis teori generalisasi. Secara khusus, kami membutuhkan perkiraan dari variabel berikut
komponen ance berdasarkan data pada Tabel 8.2.
Bagian berikutnya menggambarkan analisis teori generalisasi pertama kami.

• P= 2varians skor semesta seseorang.

2
• saya
Σ = varians sarana item, μ i .
2
• EI= varians
| e pi untuk item i .
2 2
• E = rata-rata untuk semua item, EI . |
2
• XI= varians
| dari X pi untuk item i .

Catatan . Simbol "^" disertakan di atas varians untuk menunjukkan bahwa itu
adalah perkiraan berdasarkan sampel daripada nilai populasi.
halaman 10

266 METODE PSIKOLOGI

tabel 8.2. Skor item dan statistik pada tes Memori jangka pendek 2

item

Orang Orang
Orang 1 2 3 4 5 6 7 8 9 10 berarti perbedaan

1 3 0 0 0 0 0 0 0 0 0 0,3 0,90
2 3 1 1 0 0 0 0 0 0 0 0,5 0,94
3 3 2 0 0 0 0 0 0 0 0 0,5 1.17
4 3 3 3 0 0 0 0 0 0 0 0.9 2.10
5 3 3 3 0 0 0 0 0 0 0 0.9 2.10
6 3 3 2 1 1 0 1 0 0 0 1.1 1.43
7 3 3 2 1 1 0 1 0 0 0 1.1 1.43
8 3 3 3 1 1 0 1 0 0 0 1.2 1.73
9 3 3 3 1 1 0 1 0 0 0 1.2 1.73
10 3 3 3 1 1 1 1 0 0 0 1.3 1.57
11 3 3 3 1 1 1 1 0 0 0 1.3 1.57
12 3 3 2 2 2 0 2 0 0 0 1.4 1.60
13 3 3 2 2 2 0 2 0 0 0 1.4 1.60
14 3 3 3 2 2 1 2 0 0 0 1.6 1.60
15 3 3 3 2 2 1 2 0 0 0 1.6 1.60
16 3 3 3 2 2 2 2 0 0 0 1.7 1.57
17 3 3 3 3 3 2 3 0 0 0 2 2.00
18 3 3 3 3 3 1 3 1 1 1 2.2 1.07
19 3 3 3 3 3 1 3 3 0 0 2.2 1.73
20 3 3 3 3 3 3 3 2 0 0 2.3 1.57
Barang berarti 3 2.7 2.4 1.4 1.4 0,65 1.4 0,3 0,05 0,05 1.34
Varian barang 0 0.64 0.99 1.19 1.19 0.77 1.19 0.64 0.05 0.05

8.8 DESAIN 1: analisis Orang-per-Item satu sisi

Dalam Desain 1, kami menggunakan uji memori jangka pendek 2 dari data GfGc kami yang mengukur audio
komponen memori. Kisaran skor mentah yang mungkin adalah 0 hingga 3 poin yang mungkin
untuk setiap item. Tabel 8.2 memberikan sampel acak 20 orang dari uni-
ayat orang; data ini akan digunakan untuk mengilustrasikan Desain 1, dan segi orangnya adalah
acak. Dalam Desain 1 (dan di sebagian besar G-studi), skor orang adalah objek pengukuran.
kepastian. Dalam contoh ini dan untuk desain lain di seluruh bab ini, kami menggunakan
skor rata-rata di 10 item untuk 20 orang sebagai lawan dari jumlah atau skor total
terutama untuk kemudahan dalam menjelaskan cara kerja analisis teori generalisasi.
Selain itu, menggunakan skor rata-rata dan varians konsisten dengan ANOVA. Desain 1
dikenal sebagai desain silang karena semua orang menanggapi semua item. Dalam Desain 1, kami
berasumsi bahwa 10 item pada tes memori jangka pendek telah dikembangkan sebagai satu
himpunan perwakilan dari alam semesta item yang mungkin mengukur aspek memori ini,
seperti yang dikemukakan oleh teori umum kecerdasan. Aspek item dalam contoh ini adalah con-
sidered tetap (yaitu, kami hanya tertarik pada bagaimana 10 item berfungsi untuk acak kami
sampel orang).

halaman 11

Teori Generalisasi 267

Kembali ke segi orangnya, jika kita mau mengasumsikan bahwa skor pada Tabel 8.2
mencerminkan skor alam semesta secara akurat, kami memiliki skor alam semesta untuk setiap orang. Sejak gol
dalam teori generalisasi adalah untuk memperkirakan skor semesta untuk orang, kami menggunakan orang
skor yang diamati sebagai perwakilan dari skor semesta mereka (yaitu, harapan yang diamati
skor sama dengan skor sebenarnya). Berdasarkan asumsi ini, sampel kami yang terdiri dari 20 orang dianggap
dapat ditukar dengan sampel acak lainnya dari alam semesta. Pada akhirnya, kami ingin
untuk mengetahui seberapa akurat perkiraan skor kami dari alam semesta target.
Untuk menghitung komponen varians menggunakan data pada Tabel 8.2, kita dapat menggunakan:
rata-rata perkiraan kuadrat dari ANOVA. Sebelum melanjutkan ke ANOVA, Tabel 8.3
menggambarkan bagaimana struktur data untuk analisis ANOVA dalam contoh ini. Menggunakan ini
informasi, Anda harus menduplikasi hasil yang disajikan di sini untuk memahami prosesnya
dari awal sampai akhir. Tata letak pada Tabel 8.3 adalah untuk dua item pertama hanya dari data
pada Tabel 8.2. Tata letak data pada Tabel 8.3 adalah untuk analisis satu sisi ( p × i ). Perhatikan bahwa
dataset lengkap untuk contoh analisis akan mencakup 200 baris (20 orang × 10 item),
dengan skor yang sesuai yang diberikan untuk setiap orang dan baris item.
Selanjutnya, kita dapat melakukan ANOVA di SPSS untuk memperkirakan komponen varians menggunakan
program SPSS di bawah ini.

Sintaks SPSS untuk memperkirakan komponen varians yang digunakan dalam G-study
 Skor UNIANOVA BERDASARKAN item orang
/METODE=SSTYPE(1)
/INTERCEPT=TERMASUK
/EMMEANS=TABEL(SELURUH)
/EMMEANS=TABEL(orang)
/EMMEANS=TABEL(item)
/EMMEANS=TABLES(orang*item)
/CETAK=DESKRIPTIF
/KRITERIA=ALPHA(.05)
/DESIGN=orang barang orang*barang.

Output SPSS yang dihasilkan disajikan pada Tabel 8.4.

Cara lain untuk memahami bagaimana komponen varians bekerja bersama dan
secara terpisah adalah dengan diagram Venn (misalnya, komponen varians pada Tabel 8.5 dari
hasil ANOVA dapat divisualisasikan menggunakan diagram Venn seperti pada Gambar 8.2).
Pada Gambar 8.2 perhatikan bagaimana bagian unik dari total variasi dalam orang dan item
dipartisi sebagai (1) estimasi varians P = 2.285 hanya dapat diatribusikan kepada orang , (2) the
estimasi varians yang disebabkan oleh orang dan item , PI, E σ 2 = 0,389, dan (3) estimasi varians
= 2I1,16 (perhatikan bahwa ukuran elips pada Gambar 8.2
mate hanya dapat diatribusikan ke item
tidak untuk skala). Akhirnya, dalam ANOVA varians "bagian" ini dapat dijumlahkan untuk diperhitungkan
varians total.
Hasil pada Tabel 8.4 dan 8.5 mengungkapkan sejauh mana setiap aspek mempengaruhi short-
memori jangka dengan ukuran komponen varians. Namun, menafsirkan variasi
komponen ance sulit karena tergantung pada ukuran efek dan skala

halaman 12

268 METODE PSIKHOMETRIK

tabel 8.3. tata letak data untuk satu sisi

( p × i ) Analisis teori generalisasi

Orang Skor Barang

1 3 1
2 3 1
3 3 1
4 3 1
5 3 1
6 3 1
7 3 1
8 3 1
9 3 1
10 3 1
11 3 1
12 3 1
13 3 1
14 3 1
15 3 1
16 3 1
17 3 1
18 3 1
19 3 1
20 3 1
1 0 2
2 1 2
3 2 2
4 3 2
5 3 2
6 3 2
7 3 2
8 3 2
9 3 2
10 3 2
11 3 2
12 3 2
13 3 2
14 3 2
15 3 2
16 3 2
17 3 2
18 3 2
19 3 2
20 3 2
halaman 13

Teori Generalisasi 269

tabel 8.4. keluaran anova univariat

ANOVA
Sumber Tipe I Jumlah df Rata-rata Persegi
dari kotak
Model yang Dikoreksi 340.555 199 1.711
Mencegat 356.445 1 356.445
Orang ( p ) 61.455 19 3.234
Item ( saya ) 212.505 9 23.612
orang * item ( pxi ; Res ) 66,595 171 .389
Total 697.000 200
Total yang Dikoreksi 340.555 199
Catatan . Kuadrat Rata-rata diperoleh dengan membagi Jumlah Kuadrat dengan derajat kebebasan.

tabel 8.5. rumus anova dan notasi untuk G-study p × i design

2
Memengaruhi df SS NONA σ

2 - PI ( )
MS (P)MS
P np–1 SS ( hal ) MS ( hal ) σ( ) P = = .285
n Saya
2 I MS- PI ( )
MS ()
Saya ni-1 SS ( saya ) MS ( saya ) =
σ() Saya = 1,16
nP
2
pi , e ( n p – 1)( n i – 1) SS ( pi, e ) MS ( pi , e ) = PI E( , )
σ( , ) PI E MS = .389

SS (P) = Σ - NPINX
2 2
n Saya P x P

SSI( N) = Σ P
2 2
x
Saya Saya - NNX
PI

=Σ Σ - Σn AKU Px - Σn +
2 2 2 2
SS (PI, )E P x
saya PI P P IIx NNX
PI

Catatan . Diadaptasi dari Brennan (2010, hal. 26). Hak Cipta 2010 oleh Springer. Diadaptasi dengan izin. p , orang; saya , item;
pi , interaksi orang per item; df , derajat kebebasan; SS , jumlah deviasi kuadrat dari mean; MS , rata-rata kuadrat
deviasi yang diturunkan sebagai SS dibagi dengan derajat kebebasan; 2 Σ , varians komponen estimasi untuk efek tertentu; e ,
sisa untuk orang dan barang.

2 2
σˆ P2 σ pi ,e σ Saya

Gambar 8.2. Komponen varians dalam desain satu sisi. Segmen gambar tidak untuk skala.

halaman 14

270 METODE PSIKHOMETRIK

pengukuran . Untuk memudahkan interpretasi, setiap komponen varians (1) dibandingkan dengan
komponen varians dari komponen varians lainnya dalam analisis dan (2) rasio
komponen varians diinterpretasikan sebagai proporsi total varians dalam analisis.
Misalnya, dengan menggunakan hasil pada Tabel 8.4, kita dapat memperoleh kontribusi relatif dari masing-masing
komponen varians terhadap variasi total. Dalam banyak, jika bukan sebagian besar, pengukuran atau pengujian
situasi, efek orang adalah kepentingan utama (yaitu, objek pengukuran) karena
kami ingin tahu apakah (a) tes menangkap variabilitas di antara peserta ujian (yaitu, perbedaan individu
referensi) dalam hal kinerja skor mereka dan (b) ukuran komponen varians.
Keputusan semacam itu relatif karena minat kami adalah untuk mengetahui bagaimana orang atau peserta ujian
diberi peringkat relatif satu sama lain (misalnya, mempelajari perbedaan individu di antara orang-orang)
seperti dalam tes kecerdasan). Pada Tabel 8.6, komponen varians untuk orang adalah 0,285,
komponen varian terkecil. Komponen varians untuk orang diturunkan
menggunakan Persamaan 8.3 (Brennan, 2010, hal. 27) dan perkiraan kuadrat rata-rata yang disediakan dalam
Tabel 8.4.
Kami menghitung komponen varians untuk item menggunakan Persamaan 8.4 (Brennan, 2010,
P. 27).
Cara lain dalam SPSS untuk mendapatkan estimasi komponen varians dalam Persamaan
8.3 dan 8.4 adalah dengan menggunakan sintaks berikut.

Sintaks SPSS untuk memperkirakan komponen varians menggunakan prosedur komponen varians
 Skor VARCOMP BERDASARKAN item orang
/RANDOM=item orang
/METODE=MINQUE(1)
/DESAIN
/INTERCEPT=TERMASUKKAN.

Catatan. Dalam perintah METODE, opsi ANOVA dengan jumlah kuadrat yang diinginkan
(dalam tanda kurung) juga dapat digunakan.

tabel 8.6. komponen varian

untuk Orang × Item desain acak
Perkiraan Varians

Komponen Memperkirakan

Var (orang) .285

Var(item) 1.161

Var(orang * item) .389

Var(Kesalahan) .000 a
Variabel Dependen: skor
Metode: Estimasi Tak Bias Kuadrat Norma Minimum (Bobot =
1 untuk Efek Acak dan Residual)
A. Perkiraan ini disetel ke nol karena berlebihan.

halaman 15

Teori Generalisasi 271

persamaan 8.3. Komponen varians untuk orang yang menggunakan mean

kotak

P ULANG
S 3.23 .389
=ˆ 2P = = .285
n Saya 10

• Pσ 2 = komponen varians untuk orang.

• MS p = kuadrat rata-rata untuk orang.
• MS Re s = mean kuadrat residual.
•ni = jumlah barang

persamaan 8.4. Komponen varians untuk item

MS MS- -
23,61 ,389
=ˆ 2Saya Saya
= = 1.16
nP 20

2
σ
• saya = komponen varians untuk item.
• MS saya = kuadrat rata-rata untuk item.
• MS Re s = rata-rata sisa kuadrat.
•np = jumlah orang

8,9 Proporsi varian untuk p × i desain

Menggunakan Persamaan 8.5, kita dapat memperoleh proporsi varians untuk efek orang. NS
proporsi varians memberikan informasi tentang seberapa banyak setiap aspek menjelaskan dalam
analisis. Menggunakan proporsi varians menguntungkan karena merupakan ukuran
ukuran efek dinyatakan dalam unit yang sebanding di seluruh studi (atau desain yang berbeda).
Dengan menggunakan estimasi dari Tabel 8.4 atau 8.6, kita dapat memperoleh proporsi nilai varians
sebagai berikut.
Kami melihat dari Persamaan 8.5 bahwa efek orang menyumbang sekitar 16%
dari variabilitas dalam skor memori. Dalam contoh kami ukuran sampel hanya 20 orang
(sangat kecil); variabilitas orang mungkin jauh lebih besar dengan peningkatan, lebih realistis
ukuran sampel.
halaman 16

272 METODE PSIKOLOGI

persamaan 8.5. Proporsi varians untuk orang

Sˆ 2P .285 .285
= = = .16
sˆ +s +s
2
P ˆ 2Saya ˆ 2RE S + .389+1.83
.285 1.16

Selanjutnya, dalam Persamaan 8.6 kita menghitung proporsi varians untuk efek item.
Kami melihat dari Persamaan 8.6 bahwa efek item menyumbang sekitar 63% dari
variabilitas dalam skor memori (yaitu, perbedaan antara item besar). Nah, dari informasi ini
mation kami menyimpulkan bahwa efek item relatif besar (yaitu, item bervariasi secara substansial)
berdasarkan tingkat kesulitannya). Selanjutnya, kami menurunkan varians residual dalam Persamaan 8.7.
Komponen varians residual adalah sekitar sepertiga ukuran (21%) relatif terhadap
komponen varians item (63%). Juga, komponen varians untuk orang (16%) adalah
relatif kecil terhadap komponen varians item. Komponen varians besar untuk item
menunjukkan bahwa item tidak diskriminatif sama dan karena itu kesulitan yang tidak sama
lintas orang . Pada Tabel 8.2 (hal. 266), kita melihat bahwa kisaran rata-rata item untuk orang adalah
0,05 hingga 2,7 (kisaran = 2,65). Juga, kita melihat bahwa kisaran rata-rata orang adalah 0,3 hingga 2,3 (kisaran =
2.0), lebih kecil dari rentang item. Ini sebagian menjelaskan mengapa varians item
komponen lebih besar dari komponen varians orang.
Statistik terakhir yang dihitung dalam analisis teori generalisasi adalah
koefisien generalisasi (yaitu, koefisien G). Dalam kondisi tertentu, G

persamaan 8.6. Proporsi varians untuk item

Sˆ 2Saya 1.16 1.16

= = = .63
sˆ 2P+s +s
ˆ 2Saya ˆ 2RE S + .389+1.83
.285 1.16

persamaan 8.7. Proporsi varians untuk residual

Sˆ 2RES .389 .389

= = = .21
2
sˆ +s +s
P ˆ 2
Saya ˆ 2
RE S
+ .389+1.83
.285 1.16

halaman 17

Teori Generalisasi 273

koefisien ini identik dengan koefisien reliabilitas dalam CTT. Misalnya, dalam
desain silang satu sisi ketika aspek pengukuran ( misalnya, item dalam contoh kami)
tetap dan setiap orang memiliki satu respons item untuk setiap item, koefisien G adalah
analog dengan koefisien reliabilitas yang diturunkan dalam CTT. Dalam hal ini, koefisien G
mewakili seberapa dapat diandalkan atau dapat diandalkan skor pengamatan seseorang relatif terhadap
skor semestanya dan juga relatif terhadap orang lain (yaitu, fokusnya adalah pada individu
perbedaan di antara orang-orang).

8.10 KOEFISIEN UMUM DAN KEANDALAN CTT

Dalam CTT, di bawah asumsi tes paralel yang ketat , ingatlah bahwa item berarti dan variasi
ances sama untuk dua tes paralel. Dalam bahasa teori generalisasi, hasilnya
asumsi ini berarti bahwa efek item atau komponen varians adalah nol. Karena
efek item adalah nol di bawah asumsi CTT yang sangat paralel, analisis memutuskan untuk
perbedaan individu di antara orang-orang. Akhirnya, karena item dianggap sama
kesulitan, di sisi kanan penyebut dalam Persamaan 8.8 kesalahan (.389) adalah
dibagi atau dirata-ratakan dengan jumlah item.

Persamaan 8.8. Koefisien generalisasi untuk satu segi p × i

desain
 σˆ 2P .285 .285 .285
= ' XX = = = = .88
σˆ 2RE S .389 .285 +
.0389 .323
+ˆ 2P .285 +
n kan
Saya
10

• j ρxx = koefisien generalisasi untuk keputusan relatif

di antara orang-orang.
• Pσ
2
= komponen varians untuk orang.
• 2 σ RE S = komponen varians dari residual.
N j = jumlah item ( I
• saya N j = residu dibagi dengan
jumlah item).

Catatan . Orang yang disilangkan dengan desain item menghasilkan koefisien yang setara
alpha kuno (atau KR 20 untuk item dikotomis) perkiraan keandalan sebagai
yang didasarkan pada CTT yang diperkenalkan di Bab 7. Fokus dari ini
desain adalah pada perbedaan individu (keputusan relatif).

halaman 18

274 METODE PSIKOLOGI

Dalam Persamaan 8.8 kita melihat bahwa dengan menggunakan komponen varians yang diestimasi dari
prosedur komponen ance tetapi membagi kesalahan dengan jumlah item, kami sampai di
hasil yang sama bahwa Anda akan memperoleh menghitung koefisien alpha ( α ) reliabilitas
untuk 20-item dataset ini (yaitu, α = 0,88, Anda dapat memverifikasi hasil ini untuk diri sendiri dalam SPSS).
Selanjutnya, kita beralih ke desain yang berbeda di mana kondisi pengukuran adalah peringkat
kinerja . Misalnya, dalam Desain 2 pengamat menilai kinerja orang yang diuji
item di mana kinerja dapat dinilai pada skala berdasarkan gradasi kualitas.

8.11 DESAIN 2: DESAIN LINTAS FACET TUNGGAL

DENGAN GANDA RATER

Dalam Desain 2, contoh desain penelitian sekali lagi melibatkan melakukan studi-G dan menggunakan
hasil untuk merencanakan studi-D. Desain 2 sangat serbaguna karena kita dapat menggunakan komposisi varians
Estimasi dari ANOVA untuk merencanakan berbagai skenario studi-D di mana peringkat digunakan.
Dalam studi-D, penilai berbeda dari yang digunakan dalam studi-G. Jadi, pertanyaannya adalah: “Bagaimana
dapat digeneralisasikan adalah hasil dari studi-G kami sehubungan dengan perencanaan studi-D kami? ” Kita
contoh untuk desain 2 didasarkan pada penilaian kinerja orang pada item dari subtes 2 pada
komponen pendengaran dari memori jangka pendek. Untuk kejelasan dan kemudahan penjelasan, kami menggunakan
satu item untuk menggambarkan analisis. Pada Tabel 8.7 ada tiga yang berbeda pengamat (penilai)
memberikan peringkat pada masing-masing dari 20 orang untuk item nomor satu. Perhatikan bahwa ini adalah silang
desain karena semua orang dinilai oleh semua penilai. Peringkat didasarkan pada skala 10 poin
dengan 1 = rendah hingga 10 = tinggi. ANOVA digunakan untuk memperkirakan statistik yang diperlukan untuk estimasi
ing komponen varians dalam G- dan D-studi.
Komponen varians yang kita butuhkan dari data pada Tabel 8.7 untuk analisis ini adalah:

2
• P= varians skor semesta seseorang.
2
• R Σ = varians sarana penilai, μ r .
2
• ER= varians
| e pr untuk penilai r .
2
• E = rata-rata dari semua penilai, ER . 2
|
2
• XR= varians
| dari X pr untuk penilai r .

Catatan . Simbol "^" disertakan di atas varians untuk menunjukkan bahwa itu adalah
perkiraan daripada nilai populasi.

Program SPSS berikut menyediakan statistik kuadrat rata-rata yang kita butuhkan untuk perhitungan
ing komponen varians. Teknik yang digunakan adalah pengukuran berulang dua faktor
Model ANOVA dengan faktor penilai dalam (karena pengukuran berulang didasarkan pada
peringkat pada 1 item untuk 20 orang dari tiga penilai berbeda) dan faktor antar-mata pelajaran
(orang). Misalnya, setiap orang menandakan satu tingkat faktor orang dan memungkinkan kita
untuk memperkirakan efek antara orang untuk peringkat. Setiap penilai mewakili satu tingkat
faktor penilai; dengan setiap kombinasi penilai dan orang yang terkandung dalam setiap sel di

halaman 19
 Teori Generalisasi 275

tabel 8.7. desain 2 data: satu segi dengan 20 Orang dan tiga penilai

Orang Barang Penilai 1 Penilai 2 Penilai 3 X pI

1 1 2 3 2 2.33
2 1 7 5 7 6.33

3 1 3 3 2 2.67
4 1 4 2 6 4.00
5 1 4 3 5 4.00
6 1 5 4 7 5.33
7 1 7 2 6 5.00

8 1 8 2 3 4.33
9 1 8 4 2 4.67
10 1 5 6 4 5.00

11 1 6 6 7 6.33
12 1 8 5 5 6.00
13 1 7 3 6 5.33
14 1 4 3 4 3.67
15 1 5 4 3 4.00

16 1 6 4 4 4.67
17 1 4 3 6 4.33
18 1 5 3 7 5.00

19 1 5 2 5 4.00
20 1 6 2 4 4.00 Nilai rata-rata untuk tiga penilai untuk setiap orang

Rata - rata ( X Pi ) 5,45 3.45 4.75 4.55 ( X pI )

Rata-rata peringkat untuk 20 orang untuk masing-masing Rata-rata besar untuk peringkat
penilai dan orang

matriks datanya. Mengingat desain ANOVA ini, hanya ada satu skor untuk setiap orang penilai
kombinasi. Tabel 8.8a–8.8b memberikan hasil analisis SPSS.

Program SPSS untuk pengukuran berulang ANOVA untuk desain orang x penilai

Penilai GLM_1 penilai_2 penilai_3 MENURUT orang

/WSFACTOR=penilai 3 Polinomial
/METODE=SSTYPE(3)
/EMMEANS=TABEL(SELURUH)
/EMMEANS=TABEL(orang)
/EMMEANS=TABEL(penilai)
/EMMEANS=TABEL(orang*penilai)
/KRITERIA=ALPHA(.05)
/WSDESIGN=penilai
/DESAIN=orang.

halaman 20

276 METODE PSIKOLOGI

tabel 8.8a. berulang Mengukur keluaran anova untuk desain Person × penilai
Tes Efek Dalam Subjek
Ukur: MEASURE_1

Sumber Tipe III Jumlah df Rata-rata Persegi F Tanda tangan.

kotak

Asumsi kebulatan
5.233 2 2.617 . .
. .
penilai
. .
. .
Asumsi kebulatan 20.100 38 .529 . .
penilai * orang
. .
(Sisa) . .
. .
Catatan . Bagian dari output telah dihilangkan untuk kemudahan interpretasi.

tabel 8.8b. berulang Mengukur keluaran anova untuk desain Person × penilai
Tes Efek Antar-Subjek

Ukur: MEASURE_1
Variabel Transformasi: Rata-rata

Sumber Jumlah Kuadrat Tipe III df Rata-rata Persegi F Tanda tangan.

Mencegat 1118.017 1 1118.017 . .

orang 95.650 19 5.034 . .

Kesalahan .000 0 .

Selanjutnya, komponen varians dihitung menggunakan kuadrat rata-rata dari ANOVA

hasil. Estimasi komponen varians untuk orang disediakan dalam Persamaan 8.9, dan
perkiraan untuk penilai disediakan dalam Persamaan 8.10.
Estimasi komponen varians untuk kesalahan atau residual diberikan dalam Persamaan 8.11.
Untuk mengilustrasikan bagaimana koefisien generalisasi yang diperoleh dalam studi-G kami dapat digunakan
dalam studi-D, mari kita asumsikan bahwa penilai yang digunakan dalam studi-G kami mewakili
 penilai di alam semesta generalisasi . Di bawah asumsi ini, perkiraan terbaik kami adalah

persamaan 8.9. Komponen varians untuk orang

NONA NONA
s= = = =

persamaan 8.10. Komponen varians untuk penilai

- -
Sˆ 2RATER = RATER SISA
= = = 1.04
nP 20 20

halaman 21

Teori Generalisasi 277

persamaan 8.11. Proporsi varians untuk residual

2
s E= SISA =

rata-rata varians skor yang diamati untuk semua penilai di alam semesta. Rata-rata skor bervariasi
ance ditangkap dalam jumlah P + 2. Karena
2
E kami bersedia berasumsi bahwa penilai kami

mewakili alam semesta penilai, kita dapat memperkirakan koefisien generalisasi

kemampuan dalam Persamaan 8.12 dari data sampel kami. Poin penting di sini adalah bahwa penilai tidak
biasanya diambil sampelnya secara acak dari semua penilai yang mungkin di alam semesta generalisasi , memimpin
untuk satu kesulitan dengan desain ini.
Nilai 0,90 menunjukkan bahwa penilai sangat andal dalam penilaian mereka. Menggunakan
informasi ini, kami dapat merencanakan studi-D dengan cara yang memastikan keandalan penilai akan
memadai dengan mengubah jumlah penilai. Misalnya, jika jumlah penilai adalah
dikurangi menjadi dua dalam studi-D, komponen varians untuk orang berubah menjadi 2,25.
Menggunakan komponen varians baru untuk orang-orang dalam Persamaan 8.13 menghasilkan generalisasi
koefisien 0,81 (yang masih cukup tinggi).
Selanjutnya, kita beralih ke proporsi varians seperti yang diilustrasikan dalam Persamaan 8.14 sebagai cara
untuk memahami besarnya efek.
Dalam studi teori G, proporsi varians memberikan ukuran ukuran efek
yang sebanding di seluruh studi. Proporsi varians dilaporkan untuk masing-masing
segi dalam sebuah penelitian. Misalnya, proporsi varians untuk orang disediakan dalam
Persamaan 8.14.
Persamaan 8.14 menunjukkan bahwa efek orang menyumbang sekitar 61% dari
variabilitas dalam skor penilaian di antara orang-orang. Selanjutnya, dalam Persamaan 8.15 kita menghitung pro-
porsi varians untuk efek penilai.
Kami melihat dari Persamaan 8.15 bahwa efek penilai menyumbang sekitar 32% dari
variabilitas dalam peringkat kinerja skor memori. Dari informasi ini kami menyimpulkan

persamaan 8.12. Koefisien generalisasi untuk data peringkat

Sˆ 2P 5.03 5.03
Rˆ 2RATER* = = = = 0,90
sˆ + s ˆ 2E
2
P
+ 5.56
5.03.53

Catatan . Tanda bintang (*) menandakan bahwa koefisien G dapat digunakan

untuk studi-D dengan orang-orang yang bersilangan dengan penilai (yaitu, ukuran-
kondisi ment). Notasi dari Crocker dan Algina (1986,
P. 167).

halaman 22

278 METODE PSIKHOMETRIK

 persamaan 8.13. Koefisien generalisasi yang direvisi untuk data peringkat
dengan dua penilai

ˆ 2P 2.25 2.25
ρˆ 2RATER* = = = = .81
ˆ 2P ˆ 2E 2.25 .53 2.78

Catatan . Tanda bintang (*) menandakan bahwa koefisien G dapat digunakan

untuk studi-D dengan orang-orang yang disilangkan dengan jumlah rata-rata penilai
(yaitu, kondisi pengukuran).

persamaan 8.14. Proporsi varians untuk orang

Sˆ 2P 5.03 5.03
= = = .61
2
sˆ +s +s
P
ˆ 2
R
ˆ 2SISA +
5.03 2.62.53 +
8.18

persamaan 8.15. Proporsi varians untuk penilai

Sˆ 2R 2.62 2.62
= = = .32
sˆ 2P+s +s
ˆ 2R ˆ 2SISA +
5.03 2.62.53 +
8.18

bahwa efek penilai relatif kecil (yaitu, penilai memperhitungkan atau menangkap sejumlah kecil
variabilitas di antara penilai). Cara lain untuk menafsirkan temuan ini adalah bahwa penilai
relatif sama atau konsisten dalam penilaian mereka.

8.12 DESAIN 3: DESAIN SINGGLE-facet dengan penilai yang sama

pada banyak kesempatan

Dalam Desain 3, kami membahas studi-G di mana peringkat dirata-ratakan, sebuah strategi yang digunakan untuk mengurangi
varians kesalahan dalam kondisi pengukuran. Kami dapat membuat rata-rata di atas penilai karena
yang pengamat yang sama sedang melakukan penilaian pada setiap kesempatan untuk orang (yaitu, penilai yang
tidak berbeda untuk orang). Rata-rata atas penilai melibatkan membagi kesalahan yang sesuai
komponen dengan jumlah penilai. Misalnya, dalam Persamaan 8.16 varians kesalahan

halaman 23

Teori Generalisasi 279

persamaan 8.16. Koefisien generalisasi untuk rata-rata data rating

melebihi penilai

2
ˆP 5.03 5.03
ρˆ 2 = = = = .96
2 ˆ 2e .53 5.03 .17
ˆ P
5.03
n RATER 3

Catatan . Tanda bintang (*) menandakan bahwa koefisien G dapat digunakan

untuk studi-D dengan orang-orang yang disilangkan dengan jumlah rata-rata
penilai (yaitu, kondisi pengukuran). Notasi kapital untuk
RATERS menandakan bahwa varians kesalahan dibagi 3, angka
penilai dalam studi-D. Simbol N j RATERS menandakan jumlah
peringkat untuk membentuk rata-rata. Notasi dari Crocker dan Algina
(1986, hal. 167).

komponen dibagi 3 (yaitu, .53/3). Dalam contoh data kami, perubahan diwujudkan dalam G
koefisien dengan rata-rata di atas penilai adalah dari 0,90 hingga 0,96 (Persamaan 8.16).
Ada peningkatan substansial dalam koefisien G (yaitu, dari 0,90 dalam Desain 2 menjadi 0,96
dalam Desain 3), memberi tahu kami bahwa jika hal itu wajar untuk dilakukan, rata-rata di atas penilai adalah
strategi yang sangat baik.
 8.13 DESAIN 4: DESAIN SINGGLE-facet nested DENGAN BERBAGAI penilai

Dalam Desain 3, kami mengilustrasikan situasi di mana setiap orang dinilai oleh penilai yang sama
pada beberapa kesempatan. Dalam Desain 4, setiap orang memiliki tiga peringkat (pada tiga kesempatan),
tetapi setiap orang dinilai oleh penilai yang berbeda . Misalnya, ini dapat terjadi jika:
kumpulan besar penilai tersedia untuk digunakan dalam studi-G. Dalam skenario ini, penilai bersarang
dalam orang . Secara simbolis, efek bersarang ini dinyatakan sebagai r : p atau r ( p ). Dalam desain ini,
perbedaan di antara orang-orang dipengaruhi oleh (1) perbedaan penilai ditambah (2) skor semesta
perbedaan untuk orang dan (3) varians kesalahan. Untuk menangkap varians ini, yang diamati
2 2
varians skor untuk desain ini adalah P + RATER
+σ ,2Edi mana simbol komponen varians
sama seperti pada Desain 2. Menggunakan informasi kuadrat rata-rata yang sama pada Persamaan 8.9,
8.10, dan 8.11, kami menemukan bahwa koefisien G untuk Desain 3 diberikan dalam Persamaan 8.17.
Kami melihat bahwa ada pengurangan substansial dalam koefisien G dari 0,90 (Desain 2) atau
0,96 (Desain 3) hingga 0,70 (Desain 4). Mengetahui informasi ini tentang pengurangan
Koefisien G ke tingkat yang tidak dapat diterima, kita dapat merencanakannya dengan menggunakan Desain 2 atau 3
bukan Desain 4.

halaman 24

280 METODE PSIKHOMETRIK

persamaan 8.17. Koefisien generalisasi untuk Desain 4

σˆ 2P 1.5 1.5
ρˆ 2RATER = = = = .70
2 2
+ˆ P ˆ RATER
+σˆ 2SISA +
1,5 0,104,53 +2,13

Catatan . Tidak ada tanda bintang (*) yang dimasukkan dalam persamaan setelah “penilai”, yang menandakan-
bahwa ini adalah studi-D dan kondisi pengukuran peringkat
bersarang di dalam orang .

8.14 DESAIN 5: DESAIN SINGLE-FACET DENGAN BERBAGAI PERINGKAT PEMERINTAH

pada dua kesempatan

Dalam Desain 4, skenario diilustrasikan di mana penilai yang berbeda menilai setiap orang dan
setiap orang dinilai pada dua kesempatan. Strategi kami dalam Desain 5 dengan banyak penilai dan
kesempatan pengukuran adalah rata-rata di atas peringkat. Koefisien G untuk Desain 5 adalah
disediakan dalam Persamaan 8.18.
Tabel 8.9 merangkum rumus untuk empat koefisien G berdasarkan desain
tercakup dalam poin ini (tidak termasuk Desain 5, yang merupakan modifikasi dari Desain 4).

persamaan 8.18. Koefisien generalisasi untuk Desain 5

S 2P 5.03
Rˆ 2 = =
S 2 +
(.104.53)
s 2P+ s RATER +
2
5.03 +
KESALAHAN

¢
n RATER 3

5.03 5.03 5.03

= = = = .96
.634 + 5.24
5.03.21
5.03 +
3

Catatan . Kata RATER dengan huruf kapital menandakan bahwa

kondisi kepastian, peringkat, dirata-ratakan di atas penilai. sim-
Nj
bol RATER menandakan jumlah peringkat untuk membentuk rata-rata.
Notasi dari Crocker dan Algina (1986, p. 167).

halaman 25

Teori Generalisasi 281

tabel 8.9. Koefisien generalisasi untuk empat desain studi-d segi tunggal
 Jumlah pengukuran Skor yang diamati Generalisasi
Desain Keterangan kondisi perbedaan koefisien

σ P2
1 p × i ( bersilang ) 1 σ P2 + σ 2E ρ Saya
2
* =
σ P2 + σ 2E
2
σ P
σ E2 ρ 2* =
2 p × i ( bersilang ) n j saya σ P2 + 2
σ 2
E
n kan
Saya
σ P +
n ¢Saya
2
2
σ P
3 saya : p ( bersarang ) 1 σ 2P + σ 2Saya+ σ 2E * =
ρ Saya
2 2 2
σ P +σ Saya+σ E

2
σ P
σ2 + σ2 ρ 2Saya
* =
4 saya : p ( bersarang ) n j saya σ P2 + ( Saya E ) 2 (σ
2
Saya+ σ E2 )
n kan
Saya σ P +
¢
n Saya

Catatan . Diadaptasi dari Crocker dan Algina (2006). Hak Cipta 2006 oleh South-Western, bagian dari Cengage Learning, Inc.
Diadaptasi dengan izin. www.cengage.com/permissions . Disilang , semua orang menanggapi semua pertanyaan atau dinilai oleh semua
penilai; bersarang , kondisi pengukuran bersarang di dalam orang (misalnya, kondisi mungkin jumlah penilai atau kejadian
peringkat peringkat; n , jumlah penilai [atau item tes] dalam studi-G; ' N i , jumlah penilai dalam D-studi; Saya , skor adalah
i

rata-rata di atas penilai). Perhatikan bahwa satu-satunya perbedaan antara I P dan aku P itu di I P 2kesalahan dibagi dengan
2 2 2
E
* * *

jumlah penilai dalam studi-D.

8.15 kesalahan standar Pengukuran: desain 1-5

Dalam studi-D, kesalahan standar pengukuran ( SEM ) digunakan dengan cara yang sama seperti sebelumnya.
dikirim dalam CTT. Ingat bahwa SEM memberikan ringkasan tunggal kesalahan pengukuran dengan
di mana kita dapat membangun interval kepercayaan di sekitar skor yang diamati. Ingat juga bahwa
yang diamati ( X pi ) skor bagi seseorang didasarkan pada harapan orang tersebut benar ( T pi )
skor pada item (atau peringkat); dan bahwa proses ini diterapkan pada semua orang dalam sampel.
Akhirnya, skor kesalahan untuk seseorang adalah ( E pi ). Mengingat informasi ini tentang skor yang diamati
( X pi ) mewakili skor sebenarnya ( T pi ), interval kepercayaan didasarkan pada skor sebenarnya seseorang.
Secara simbolis, selang kepercayaan untuk skor seseorang adalah X pi ± ( SEM ). Menggunakan nota-
tion, kita dapat membuat interval kepercayaan untuk setiap skor yang diamati dalam studi-D. Untuk membangun
interval kepercayaan, kita membutuhkan varians kesalahan untuk desain yang digunakan dalam studi-D.
Misalnya, dalam Desain 1 di mana orang dan item tes disilangkan, residu atau kesalahan
varians adalah 0,389. Untuk kembali ke satuan simpangan baku, kita ambil akar kuadrat dari
varians menghasilkan σ = 0,623.

8.16 desain dua sisi

Bab ini diakhiri dengan contoh desain dua sisi. Banyak masalah pengukuran
lem melibatkan skenario yang lebih kompleks daripada yang disajikan di bagian sebelumnya tentang
desain satu sisi. Untuk mengatasi peningkatan pengukuran dan/atau kompleksitas desain, kami dapat
gunakan studi G dua sisi untuk memperkirakan komponen varians yang diperlukan. Dua contoh

halaman 26

282 METODE PSIKHOMETRIK

tabel 8.10. desain dua sisi

Pengamat/Penilai

1 2 3

Bekerja Bekerja Bekerja Orang

Orang Visual pendengaran memori Auditori Visual memori Auditori Visual Penyimpanan berarti

1 3 3 2 2 3 3 3 4 1 2.67
2 1 3 3 3 1 2 4 5 3 2.78
3 2 7 2 3 3 5 5 7 3 4.11
4 5 7 6 2 5 5 7 6 6 5.44
5 7 8 9 3 7 6 5 7 8 6.67
3.6 5.6 4.4 2.6 3.8 4.2 4.8 5.8 4.2 4.33
Nilai rata-rata untuk 5 orang untuk setiap penilai dan setiap subtes maksud besar

disediakan untuk mengilustrasikan desain teori G dua sisi. Dalam contoh pertama kami, kami menggunakan lima per-
anak dari data GfGc untuk mengilustrasikan bagaimana menerapkan studi G dua sisi. Secara khusus, kami
fokusnya adalah pada memori jangka pendek sebagai konstruksi minat yang luas. Dalam contoh pertama kami,
memori jangka pendek terdiri dari subtes pendengaran, visual, dan memori kerja. Lanjut,
peringkat oleh tiga pengamat pada pendengaran, visual, dan memori kerja berfungsi sebagai out-
datang langkah-langkah yang menarik. Peringkat menandakan kualitas (dinyatakan sebagai akurasi) dari respon
dan didasarkan pada skala 1–10 dengan 1 = memori jangka pendek tingkat rendah dan 10 = tinggi
tingkat memori jangka pendek pada masing-masing item (1-3). Dalam situasi ini kita memiliki dua
aspek pengukuran: aspek item (atau dalam hal ini tes ) dan aspek pengamat (penilai) .
Dalam contoh ini, orang adalah objek pengukuran dan dimasukkan sebagai acak
memengaruhi. Desain disilangkan karena kelima orang dinilai oleh ketiga pengamat pada
tiga subtes memori. Pertanyaan penelitian utama yang menarik untuk analisis ini adalah:
apakah orang-orang tersebut memperoleh peringkat rata-rata yang berbeda yang dirata-ratakan di seluruh subtes dan penilai. Di dalam
ANOVA, efek utama untuk orang mencerminkan perbedaan di antara rata-rata orang.
Tabel 8.10 mengilustrasikan struktur desain dan (1) sarana orang, (2) sarana penilai,
 dan (3) grand mean untuk orang-orang untuk contoh dua segi ini.
Tata letak file data yang sesuai untuk analisis SPSS ANOVA diilustrasikan pada Tabel
8.11.
Selanjutnya, sintaks SPSS disediakan yang menghasilkan hasil ANOVA yang diperlukan untuk menurunkan
kuadrat rata-rata untuk memperkirakan koefisien generalisasi untuk generalisasi dua sisi
analisis teori ity. Tabel 8.12 memberikan hasil ANOVA untuk desain dua sisi.

Sintaks SPSS ANOVA untuk analisis teori generalisasi dua sisi

Skor UNIANOVA OLEH penilai item orang

/METODE=SSTYPE(1)
/INTERCEPT=KECUALI
/EMMEANS=TABEL(SELURUH)
/EMMEANS=TABEL(orang)
/EMMEANS=TABEL(item)

halaman 27

Teori Generalisasi 283

tabel 8.11. tata letak data: desain dua sisi

Orang Barang Penilai Skor

1 1 1 3
2 1 1 1
3 1 1 2
4 1 1 5
5 1 1 7
1 2 1 3
2 2 1 3
3 2 1 7
4 2 1 7
5 2 1 8
1 3 1 2
2 3 1 3
3 3 1 2
4 3 1 6
5 3 1 9
1 1 2 2
2 1 2 3
3 1 2 3
4 1 2 2
5 1 2 3
1 2 2 3
2 2 2 1
3 2 2 3
4 2 2 5
5 2 2 7
1 3 2 3
2 3 2 2
3 3 2 5
4 3 2 5
5 3 2 6
1 1 3 3
2 1 3 4
3 1 3 5
4 1 3 7
5 1 3 5
1 2 3 4
2 2 3 5
3 2 3 7
4 2 3 6
5 2 3 7
1 3 3 1
2 3 3 3
3 3 3 3
4 3 3 6
5 3 3 8

halaman 28

284 METODE PSIKHOMETRIK

/EMMEANS=TABEL(penilai)
/EMMEANS=TABLES(orang*item)
/EMMEANS=TABEL(orang*penilai)
 /EMMEANS=TABLES(item*rater)
/EMMEANS=TABEL(orang*item*penilai)
/CETAK=DESKRIPTIF
/KRITERIA=ALPHA(.05)
/DESIGN=orang item penilai item*orang orang*penilai item*penilai.

Tabel 8.13 memberikan efek utama dan interaksi dua arah untuk desain dua sisi kami.
Selanjutnya, persamaan untuk menghitung komponen varians disajikan pada Tabel
8.14 dan 8.15.
Tabel 8.16 memberikan interpretasi untuk hasil pada Tabel 8.13 dan 8.15.

tabel 8.12. hasil anova desain dua sisi

Tes Efek Antar-Subjek

Variabel Dependen: skor

Sumber Tipe I Jumlah Kuadrat df Rata-rata Persegi F Tanda tangan.

Model 1021.133 sebuah 29 35.211 21.780 .000

orang 952.333 5 190.467 117.814 .000

barang 14.800 2 7.400 4.577 .027

penilai 15.600 2 7.800 4.825 .023

orang * barang 14,533 8 1.817 1.124 .399

orang * penilai 15.067 8 1,883 1.165 .376

barang * penilai 8.800 4 2.200 1.361 .291

Kesalahan 25.867 16 1.617

Total 1047.000 45

A. R Kuadrat = .975 (R Kuadrat Disesuaikan = .931)

tabel 8.13. Rata-rata peringkat: Efek utama dan Interaksi

Efek utama

Orang Berarti Penilai Rata-rata Barang Berarti

1 2.7 1 4.5 Auditori 3.7

2 2.8 2 3.5 Visual 5.1
3 4.1 3 4.9 Bekerja 4.3
4 5.4
5 6.7

Interaksi dua arah

Orang × penilai Orang × barang Penilai × item

Orang 1 2 3 Orang Auditory Visual Working Penilai Auditory Visual Working

1 2.7 2.7 2.7 1 2.7 3.3 2.0 1 3.6 5.6 4.4

2 2.3 2.0 4.0 2 2.7 3.0 2.7 2 2.6 3.8 4.2
3 3.7 3.7 5.0 3 3.3 5.7 3.3 3 4.8 5.8 4.2
4 6.0 4.0 6.3 4 4.7 6.0 5.7
5 8.0 5.3 6.7 5 5.0 7.3 7.7

halaman 29

Teori Generalisasi 285

tabel 8.14. persamaan untuk memperkirakan komponen varians

dalam Orang × penilai × Model Item

Memengaruhi Persamaan

Orang 2
- - +
P
NN
RI

Subtes 2
- - +
σ Saya
=
NN
PR

Penilai R
- PR
- RI
+
2
R
=
NN
PI

Orang × subtes PI
-
σ 2PI =
nR

Orang × penilai PR - NONA

NONA
σ PR
2
=
n Saya

Subtes × penilai NONA

RI
- NONA
σ RI2 =
nP
Sisa σ
2
RES = RES

tabel 8.15. estimasi komponen varians dalam Orang × penilai × Model Item

Memengaruhi komponen varians % varians

Orang - 1,82 -1,62

190,47 1,88 + .890
σ P2 = = 20.93
3*3
Subtes - 2.2 -1.62 +
7.4 1.82 .014
σ Saya
2
= = .33
5*3

Penilai - 2.2 1.62

7.8 1.88 - + .015
σ R2 = = .36
5*3
 Orang × subtes σ PI2 = 1.82 1.62
- = .06 .002
3
Orang × penilai -
1.88 1.62 .004
σ PR
2
= = .09
3
Subtes × penilai -
2.2 1.62 .005
σ RI2 = = .12
5
Sisa σ RES
2
= 1.62 .068

Total 23.51 1.00

halaman 30

286 METODE PSIKHOMETRIK

tabel 8.16. Interpretasi komponen varians dalam Orang × penilai × Item

Model

Memengaruhi Penafsiran Contoh

Orang Orang menunjukkan peringkat rata-rata yang berbeda Orang 3 menerima peringkat rata-rata yang lebih tinggi
dirata-ratakan di seluruh penilai dan item. daripada orang 2.

Barang Item (subtes) diberikan berbeda Item 2 memiliki peringkat rata-rata lebih tinggi daripada
rata-rata peringkat di antara orang-orang barang 1.
dan item.

Penilai Penilai memberikan peringkat rata-rata yang berbeda Penilai 3 memberikan peringkat rata-rata yang lebih tinggi
rata-rata di seluruh orang dan item. dari penilai 2.

Orang × barang Orang diberi peringkat berbeda di seluruh Pada subtes 1 orang X dinilai lebih tinggi
item relatif terhadap peringkat mereka rata-rata dari orang Y, tetapi pada item 2 orang X
lintas penilai. dinilai lebih rendah dari orang Y.

Orang × penilai Orang diberi peringkat berbeda di seluruh Penilai 1 menilai orang X lebih tinggi dari
penilai relatif terhadap peringkat mereka rata-rata rater 2 rate orang Y, tapi rater 2 rate
di seluruh item. orang X lebih rendah dari orang Y.

Barang × penilai Item (subtes) diberi peringkat berbeda Penilai 1 menilai item 1 (Auditory
oleh penilai relatif terhadap peringkat rata-rata memori) lebih tinggi dari item 2 (Visual
lintas orang. memori), tetapi penilai 2 menilai item 1
(Memori pendengaran) lebih rendah dari item 2
(memori visual).

Sisa Varians dalam peringkat tidak ditangkap dengan apapun

dari efek di atas.

8.17 RINGKASAN dan KESIMPULAN

Bab ini menyajikan teori generalisasi—sebuah teori statistik tentang ketergantungan

kemampuan pengukuran yang berguna untuk mempelajari berbagai masalah pengukuran yang kompleks.
Dalam bab ini, logika yang mendasari generalisasi diperkenalkan diikuti oleh praktik
aplikasi kal teknik di bawah desain pengukuran satu sisi dan dua sisi.
Teori generalisasi dibahas sebagai cara untuk memperluas dan memperbaiki
model teori tes klasik untuk situasi di mana pengukuran dipengaruhi oleh multiple
aspek atau kondisi. Keandalan skor menurut teori generalisasi adalah
dibahas dalam kaitannya dengan model CTT, dan keuntungan memperkirakan keandalan skor
dalam teori generalisasi disorot. Akhirnya, penekanan ditempatkan pada keunggulan
teori generalisasi tages menyediakan untuk memeriksa pengukuran tunggal dan multifaset
masalah.