TUGAS MATA KULIAH

TEORI GENERALIZABILITY

Resume
Elements of Generalizability Theory

Dosen Pengampu:
Prof. Kumaidi, Ph.D

Oleh:
MARIANA
(17701261005)

PROGRAM STUDI PENELITIAN DAN EVALUASI PENDIDIKAN

PROGRAM PASCASARJANA
UNIVERSITAS NEGERI YOGYAKARTA
2017
 RESUME
BAB 1
ELEMENTS OF GENERALIZABILITY

Perspektif tentang Kerangka Teori Generalisasi

Teori Generalisasi digunakan pada berbagai macam isi/masalah pada

cara-cara yang sistematis. Namun untuk isu selain psikometri, hanya diperlakukan
sebagian saja, atau bahkan tidak sama sekali, karena kekuatan dari teori G
adalah dari konsep dan statistik yang kompleks. Cronbach et al(1972)
menyebutnya dengan studi G dan Ruang Lingkupnya universes of admissible
observation, universes of generalization.
Kata observation mungkin dapat menyesatkan pemahaman tanpa adanya
examinee, karena tidak mungkin ada hasil observasi, sampai ada hasil evaluasi
dari rater terhadap respon dari examinee pada item. Meskipun demikian, dalam
teoriG, kata Universe adalah digunakan dalam kondisi pengukuran (item,
raters, dalam skenario), sementara untuk kata population digunakan untuk objek
pengukuran (orang atau penguji, dalam skenario). Juga kata facet tidak biasa
digunakan pada rater pada objek pengukuran.
Dalam desain teori G terdapat tujuh sumber varian yang dapat diestimasi
secara independen dengan menggunakan data dalam teori G. sumber varian ini
disebut dengan G study variance components (Komponen varian studi G), yaitu:
a) Interaksi satu arah yaitu person (p), item (i), raters ( r ),
b) Interaksi dua arah yaitu persons dan item (pi), persons dan raters (pr),
item dan raters (ir); dan
c) Interaksi tiga arah yaitu persons, item dan raters (pir).
Penduga yang tidak bias dari komponen varian ini biasanya mudah diperoleh dari
kuadrat rata-rata dalam analisis varian untuk studi G ( p x i x r). Hal ini biasannya
disebut dengan kuadrat rata-rata yang juga dapat digunakan untuk memperoh nilai
F dan menunjukkan signifikansi statistik dari uji F yang diperoleh dari estimasi
komponen varian. Walaupun dalam teori G, statistic F dan uji F tidak digunakan.
Hal inilah yang membedakan antara analisis teori G dengan analisis varian. Dari
perspektif teori G estimasi komponen varian adalah hasil empiris yang paling
penting.
Dalam mengestimasi komponen varian studi G harus tersimpan dalam
pikiran bahwa dia diestimasikan dari varian actual (parameter) yang dihubungkan
dengan kondisi tunggal (items dan raters) dalam univers pada observasi yang
diterima dan pada single person dalam populasi.

Pertimbangan studi D dan Cakupan dari Generalization

Ini sangat penting sekali karena untuk mengenali bahwa yang diharapkan
dari studi G adalah untuk mendapatkan estimasi dari sekumpulan komponen
varian dengan univers dari admissible observation. Estimasi ini akan lebih baik
(dalam hal kestabilan) seandainya mereka berdasarkan pada studi G dengan
menggunakan sampel yang besar pada kondisi dari facets. Yang lebih penting
lagi, estimasi ini dapat digunakan untuk merancang prosedur pengukuran yang
efisien dalam penggunaan operasional atau untuk memberikan informasi dalam
pemilihan keputusan yang substantive tentang obyek pengukuran, dalam beragam
studi D (keputusan).
Pada umumnya D menekankan pada estimasi, penggunaan, dan
interpretasi dari komponen varian untuk pengambilan keputusan dengan prosedur-
prosedur pengukuran yang lebih spesifik.

Univers of Generalizability
Mungkin yang paling penting dari bahan pertimbangan studi D adalah
spesifikasi univers dari generalisasi, yang merupakan univers dari tiap-tiap
pengambil keputusan untuk menggeneralisir pada studi D sebagai kekhasan
prosedur pengukuran. Suatu univers generalisasi terdiri dari seluruh kondisi
gabungan pengamatan yang dapat diterima atau sebuah gabungan generalisasi
yang terdiri dari sebuah himpunan bagian dari kondisi gabungan pengamatan yang
dapat diterima. Lebih jauh lagi sebuah gabungan pengamatan tertentu yang dapat
diterima sering kali menyediakan suatu dasar pertimbangan dari berbagai
kemungkinan gabungan-gabungan generalisasi. Namun bagaimanapun,
permintaan yang logis adalah bahwa tidak ada gabungan generalisasi yang
didefinisikan lebih luas dari pada induk gagungan observasi pengamatan yang
dapat diterima. untuk menghargai pentingnya gabungan generalisasi ini, maka
perlu mempertimbangkan beberapa isu yang tercakup dalam rancangan studi D
yang spesifik.

Ukuran Sampel Studi D

Sejumlah kondisi dari facet disampel untuk tujuan studi G tidak perlu
sama dengan yang digunakan dalam studi D dengan prosedur pengukuran yang
sebenarnya yang digunakan untuk membuat keputusan tentang objek pengukuran.
Ukuran sampel studi D ditandai dengan suatu yang terbaik untuk membedakannya
dari ukuran sampel studi G. Sebagai contoh, ukuran sampel studi D untuk item
dan rater masing-masing dinotasikan sebagai ni dan n'r.

Struktur Desain studi D

Spesifikasi ukuran sampel studi D hanya salah satu aspek untuk
mendefinisikan desain studi D, melainkan juga harus menentukan bentuk atau
struktur desain. Sebagai contoh, dalam suatu studi memutuskan bahwa semua
peserta ujian akan mengambil set yang sama ni item, dan masing-masing n'r rater
akan menilai setiap item. Deskripsi verbal studi D menggunakan desain p x I x R
dan huruf besar digunakan untuk menentukan facet dalam representasi notasi dari
desain studi D, untuk menghindari kebingungan desain studi G dan studi D. Lebih
penting lagi, dalam teori generalisasi, huruf besar membawa konotasi dari nilai
rata-rata semua himpunan kondisi (item dan rater) dan untuk kepentingan studi D
berfokus pada nilai rata-rata semua himpunan kondisi dari semesta generalisasi.
Jika menggunakan desain studi D p x I x R, maka desain studi D nya
memiliki struktur yang sama dengan studi G nya. Misalnya, bisa diputuskan
bahwa semua peserta ujian akan menanggapi semua item, tetapi setiap rater akan
mengevaluasi tanggapan dari peserta ujian untuk himpunan item yang berbeda.
Desain tersebut dikatakan melibatkan bersarangnya item dalam rater, dan
dilambangkan px (I: R), ":" dibaca "bersarang dalam".
Kaitan studi D dan Univers generalisasi
Univers generalisasi berguna untuk mempertimbangkan cara seorang
investigator kemungkinan meniru studi D. Untuk menentukan semesta
generalisasi, bisa mengajukan pertanyaan berikut: "Jika Anda meniru prosedur
pengukuran yang menggunakan desain studi D p x I x R, maka apakah akan
menggunakan sampel yang berbeda dari ni item dan n'r rater setiap kali, atau,
katakanlah, sampel item yang berbeda tapi dengan rater yang sama? "Jika
jawabannya akan menggunakan sampel yang berbeda dari item dan penilai, maka
replikasi prosedur pengukurannya menjangkau semesta yang sama dengan
universe of admissible observations. Jika menggunakan akan himpunan rater yang
sama, maka replikasi pengukurannya akan menjangkau univers yang lebih kecil
dari universe pengamatan yang diterima.

Model Randoms, model campuran, dan univers generalisasi yang berbeda

Dalam metodologi analisis varians, terdapat gagasan paralel terhadap
replikasi prosedur pengukuran. Ketika sampel yang berbeda dari rater dan item
hendak digunakan, melalui replikasi, model dijelaskan dalam terminologi analisis
varians sebagai random. Sebaliknya, jika menggunakan sampel item yang berbeda
tetapi dengan rater yang sama, model ini digambarkan sebagai campuran dengan
facet item yang acak dan facet rater yang fix . Dalam berpikir facet random dan
fix, pertimbangan krusial adalah apakah seorang investigator ingin
menggeneralisasi dari sampel kondisi facet terhadap satu himpunan yang lebih
besar dari kondisi untuk facet yang sama. Jika demikian, biasanya tepat untuk
menggambarkan facet sebagai acak, sebaliknya jika tidak, maka facet adalah fixed
atau tetap.
Mengingat univers pengamatan yang diterima, maka akan terdapat banyak
kemungkinan semesta generalisasi. Misalkan terdapat dua investigator,
investigator pertama memutuskan untuk mengembangkan prosedur pengukuran
menggunakan desain studi D p x I
x R, dengan rater dan item yang diperlakukan sebagai acak. Dengan menggunakan
estimasi komponen varians studi G investigator pertama untuk universe of
admissible observations, investigator kedua mungkin memutuskan untuk
mengembangkan prosedur pengukuran yang berbeda dengan memperlakukan item
sebagai random dan rater sebagai tetap (fixed). Tidak masalah desain studi D yang
digunakan investagator kedua, jelas bahwa investigator pertama dan kedua akan
tertarik pada semesta generalisasi yang berbeda. Teori generalisasi tidak sekadar
memberikan kemungkinan-kemungkinan menekankan perspektif bahwa
prosedur pengukuran yang berbeda dapat berhubungan dengan semesta
generalisasi yang berbeda, dan peneliti yang berbeda mungkin tertarik semesta
yang berbeda.

Obyek pengukuran
Dalam sebagian besar aplikasi teori generalalisasi, peserta ujian atau orang
merupakan objek pengukuran. Kadang-kadang beberapa kumpulan kondisi yang
lain memainkan peran objek pengukuran. Sebagai contoh, dalam studi evaluasi,
kelas sering menjadi obyek pengukuran dengan orangnya dan facet lain yang
merupakan univers generalisasi.

Skor Universe
Apapun obyek pengukuran yang digunakan, skor universe semesta
didefinisikan untuk masing-masing dalam populasinya. Skor universe dapat
dilihat sebagai nilai rata-rata untuk sebuah objek pengukuran atas semua kondisi
semesta generalisasi. Dengan demikian, skor universe adalah nilai "ideal" untuk
sebuah objek pengukuran, skor universe sangat erat kaitannya dengan konsep nilai
sebenarnya (true score) dalam teori tes klasik.
Varians skor universe atas semua obyek pengukuran dalam populasi disebut
varians skor universe, dan mirip dengan varians nilai yang sebenarnya dalam teori
klasik. Dalam aplikasi teori klasik tertentu, hanya ada satu varians skor yang
sebenarnya. Sebaliknya, dalam teori generalisasi, varians skor universe tergantung
pada semesta generalisasi yang didefinisikan investigator. Besarnya varians skor
universe akan berbeda untuk semesta generalisasi yang berbeda, dan pernyataan
serupa berlaku untuk varians error dan koefisien reliabilitas tertentu, yang disebut
koefisien generalisasi. Untuk mengestimasi kuantitas ini, digunakan komponen
varians estimasi dari studi G.

Estimasi komponen varians studi D

Langkah pertama adalah untuk mendapatkan estimasi komponen varians
studi D untuk desain tertentu dan ukuran sampel. Untuk desain p x I x R dengan
item dan rater random, misalkan investigator pertama ingin mempertimbangkan
menggunakan ukuran sampel ni = 6 dan n'r = 2. Jika demikian, maka
diperkirakan efek random komponen varians studi D menjadi:
2 () = 0.3, 2 () = 0.04, 2 () = 0 .05
2 () = 0.06, 2 () = 0.25, 2 () = 0.02
dan 2 () = 0.08 (1.1.2)

estimasi pada Persaman 1.1.1. Kemudian, untuk mendapatkan hasil dalam

persamaan 1.1.2
hanya membagi 2 () dengan n'i = 6 jika memuat i tetapi bukan r, dengan nr
= 2 jika memuat r tapi bukan i, dan dengan ninr = 12 jika memuat i dan r.
Hasil estimasi komponen varians dalam persamaan 1.1.2 adalah untuk skor
rata-rata atas sampel random dari ni = 6 item dan n'r = 2 rater dari semesta
generalisasi, dan setiap sampel item dan rater tersebut dikatakan secara paralel
random dengan sampel lainnya. Himpunan kondisi-kondisi yang paralel secara
random tidak perlu memiliki sifat paralel klasik dari nilai rata-rata yang sama,
varians yang sama, dan interkorelasi yang sama.
Estimasi komponen varians 2 () = 0.30 di atas, sangat penting karena
merupakan estimasi skor varians universe ketika item dan rater keduanya random.
Komponen varians lainnya berkontribusi terhadap satu atau lebih jenis varians
error yang berbeda.

Varians error absolut (mutlak)

 Varians error "mutlak". Ini adalah varian dari perbedaan antara amatan
peserta ujian dan skor universe. Estimasi 2 () diperoleh dengan menjumlahkan
semua komponen varians estimasi pada persamaan 1.1.2 kecuali 2 (). Untuk
data ini, 2 () = 0,50, yang lebih besar dari varian skor universe, 2 () = 0.30,
menunjukkan bahwa skor amatan peserta ujian berdasarkan pada hanya enam item
dan dua rater akan memuat sejumlah error yang relatif besar. Hasil ini mungkin
menyebabkan investigator untuk mempertimbangkan menambahkan ukuran
sampel item dan / atau rater.

Varians error relatif.

Tipe lain dari varians error dilambangkan 2 () dan kadang-kadang
disebut varians error "relatif", karena besarnya tergantung pada perbedaan antara
amatan peserta ujian dan skor univers relatif terhadap rata-rata populasi untuk
skor amatan dan universe. Estimasi dari
2 () diperoleh dengan menjumlahkan komponen varians interaksi dalam
persamaan 1.1.2 yang berisi objek dari index pengukuran Untuk data 2 ()= 0.39
ini, lebih kecil dari 2 ()= 0,50, karena 2 () menggabungkan beberapa
estimasi komponen varians yang berkontribusi terhadap 2 ().

Koefisien generalisasi
Untuk mempertimbangkan besarnya 2 () mungkin hanya
membandingkannya dengan varians skor universe 2 () . atau, menduga
koefisien reliabilitas seperti yang disebut koefisien generalisasi. Penduga
Koefisien generalisasi adalah 2 = 2 ()/[ 2 () + 2 ()] = 0.43. Untuk data
investigator pertama, berdasarkan efek random desain studi D p x I x R desain
dengan enam item dan dua rater. Jika menilai 2 () = 0.43 menjadi agak
membingngkan, maka perlu serius mempertimbangkan untuk meningkatkan n'i
dan / atau n'r. Melakukan hal ini akan memberikan nilai yang lebih tinggi untuk
2 . Pendekatan ini untuk meningkatkan besarnya estimasi koefisien generalisasi
melalui peningkatan ukuran sampel mengingatkan pada Formula Spearman-
Brown untuk perubahan panjang tes dalam teori klasik. Namun, dalam teori
generalisasi formula Spearman-Brown tidak selalu berlaku, dan prosedur dalam
teori generalisasi untuk menguji efek ukuran sampel yang berbeda telah
diterapkan lebih luas.
Sepanjang skenario di atas, telah diasumsikan bahwa Smith ingin
menggeneralisasi ke alam semesta yang lebih besar dari item dan penilai daripada
yang benar-benar digunakan dalam studi D-nya yaitu, telah diasumsikan bahwa
item dan penilai yang acak. Misalkan, bagaimanapun, bahwa Smith telah
memutuskan untuk menggeneralisasi lebih sampel item hanya-yaitu, ia
memutuskan untuk tetap penilai tetap pada n'r = 2. Jika demikian, komponen
varians diperkirakan Persamaan 1.1.2 masih bisa digunakan untuk memperkirakan
alam semesta skor varians, varians kesalahan, dan koefisien generalisasi. Proses
melakukannya agak lebih sulit, namun. Untuk saat ini kami hanya menunjukkan
bahwa menggunakan ukuran sampel yang sama, tetapi membatasi semesta
generalisasi untuk satu set tetap penilai, menyebabkan peningkatan nilai semesta
varians, penurunan varians kesalahan dan peningkatan koefisien generalisasi.

Kesimpulan

Ringkasnya adalah sebuah studi G dilakukan untuk mengestimasi komponen

varians yang berhubungan dengan univers pengamatan yang diterima. Estimasi
komponen-komponen varians kemudian dapat digunakan untuk menduga hasil
untuk berbagai desain studi D dan univers generalisasi. Untuk setiap studi D, kita
harus menentukan obyek pengukuran, menentukan univers generalisasi, dan
mengidentifikasi ukuran sampel dan struktur desain studi D. Jumlah khas yang
diperkirakan untuk ditentukan desain studi D dan univers generalisasi termasuk
komponen varians studi D, skor univers varians, varians kesalahan, dan koefisien
generalisasi. Biasanya, besaran jumlah ini akan bervariasi untuk generalisasi
univers yang berbeda dan untuk desain yang berbeda dalam hal ukuran dan / atau
struktur sampel.