Anda di halaman 1dari 7

TUGAS MATA KULIAH

TEORI GENERALIZABILITY
Resume

Element of Generalizability Theory


Dosen Pengampu:Prof. Kumaidi Ph.D.

Oleh:
Christina Pernatun Kismoyo
S3-PEP

PROGRAM STUDI PENELITIAN DAN EVALUASI PENDIDIKAN


PROGRAM PASCASARJANA
UNIVERSITAS NEGERI YOGYAKARTA
2016

RESUME
Bab 1
Element of Generalizability Theory
Perspektif tentang Kerangka Teori Generalisasi
Dalam teori G, sumber variasi yang disebut sebagai aspek. Aspek mirip dengan
"faktor" yang digunakan dalam analisis varians, dan mungkin termasuk orang, penilai, item /
bentuk, waktu, dan pengaturan di antara kemungkinan lain. aspek ini merupakan sumber
potensial dari kesalahan dan tujuan teori generalisasi adalah untuk menghitung jumlah
kesalahan yang disebabkan oleh setiap aspek dan interaksi aspek. Kegunaan data yang
diperoleh dari studi G adalah krusial bergantung pada desain penelitian. Oleh karena itu,
peneliti harus hati-hati mempertimbangkan cara-cara di mana ia / dia berharap untuk
menggeneralisasi hasil tertentu. Apakah penting untuk generalisasi dari satu pengaturan untuk
jumlah yang lebih besar dari pengaturan? Dari satu penilai untuk jumlah yang lebih besar dari
penilai? Dari satu set item untuk satu set yang lebih besar dari item? Jawaban atas
pertanyaan-pertanyaan ini akan bervariasi dari satu peneliti ke depan, dan akan mendorong
desain studi G dengan cara yang berbeda.
Teori generalizabilitas atau teori G memberikan suatu kerangka kerja untuk
mengkonseptualisasi, menginvestigasi, dan mendesain pengamatan yang reliabel. Menurut
Allen & Yan (1979), teori generalizabilitas secara eksplisit mempertimbangkan sumbersumber varians sistematik yang berbeda dalam pengukuran dan menggambarkan caracara
mengestimasi banyak varians yang disumbangkan oleh sumber-sumber ini. Teori
generalizabilitas melihat teori tes klasik (true-score theory) terlalu menyederhanakan
permasalahan. Hal ini disebabkan skor tampak hanya diteorikan merupakan penjumlahan dari
skor yang sebenarnya (true-score) dan kesalahan pengukuran (error of measurement)
sehingga dalam konsep reliabilitas kesalahan baku sistematik yang muncul tidak dapat
terdeteksi dengan baik.
Teori Generalisasi digunakan pada berbagai macam isu/masalah pada cara-cara yang
sistematis. Namun untuk isu selain psikometri, hanya diperlakukan sebagian saja, atau
bahkan tidak sama sekali, karena power dari teori G adalah dari konsep dan statistik yang
kompleks.Cronbach et al (1972) menyebutnya dengan universes of admissible observation,
universes of generalization. Penelitian dan bidang-bidang yang dapat diterima dalam
observasi. Teori G tidak menganggap bahwa beberapa univers dapat didefinisikan sebagai
item dan rater facets yang dapat diterima oleh investigator.
Hasil dari studi G juga dapat digunakan untuk menginformasikan keputusan, atau D,
studi. Dalam sebuah studi D, kita dapat mengajukan pertanyaan hipotetis "apa yang akan
terjadi jika aspek yang berbeda dari penelitian ini diubah?" Sebagai contoh, sebuah
perusahaan minuman ringan mungkin tertarik dalam menilai kualitas sebuah produk baru
melalui penggunaan rating konsumen skala. Dengan menggunakan studi D, akan ada
kemungkinan untuk memperkirakan bagaimana konsistensi peringkat kualitas akan berubah
jika konsumen ditanya 10 pertanyaan bukannya 2, atau jika 1.000 konsumen dinilai minuman
ringan bukannya 100. dengan menggunakan studi D simulasi, itu adalah Oleh karena itu
mungkin untuk mengkaji bagaimana koefisien generalisasi (mirip dengan koefisien
reliabilitas dalam teori tes klasik) akan berubah di bawah situasi yang berbeda, dan akibatnya
2

menentukan kondisi ideal di mana pengukuran kami akan menjadi yang paling dapat
diandalkan.
Kata observation mungkin dapat menyesatkan pemahaman dengan tanpa adanya
examinee, karena tidak mungkin ada hasil observasi, sampai ada hasil valuasi dari rater
terhadap respon dari examinee pada item. Meskipun demikian, dalam teori G, kata
Universe adalah digunakan dalam kondisi pengukuran (item, raters, dalam skenario),
sementara untuk kata population digunakan untuk objek pengukuran (orang atau penguji,
dalam skenario). Juga kata facet tidak biasa digunakan pada rater pada objek pengukuran.
Dalam desain teori G (p x i x r) terdapat tujuh varian yang dapat diestimasi secara
independen dengan menggunakan data dalam teori G. Sumber varian ini disebut dengan G
study variance components. Yaitu:
Satu arah interaksi

Dua arah interaksi

Tiga arah interaksi

a. Person

=p

d. Persons & Item

= pi

b. Item

=i

e. Persons & Raters

= pr

c. Raters

=r

f. Items & Raters

= ir

g.Persons, Items, & Raters


= pir

Dalam merefleksikan teori G dalam varian komponen harus tersimpan dalam pikiran
bahwa dia di estimasikan dari varian yang aktual (parameter) yang dihubungkan dengan
single kondisi (items dan raters) dalam univers pada observasi yang diterima dan pada single
person dalam populasi.
Studi Konsiderasi dan keseluruhan dari Generalization.
Ini sangat penting sekali karena untuk mengenali bahwa yang diharapkan dari teori
G adalah untuk mendapatkan estimasi dari sekumpulan varian komponen dengan univers
dari admissible observation. Estimasi ini akan lebih baik (dalam hal kestabilan) seandainya
mereka berdasarkan pada G studi dengan menggunakan sampel yang besar pada kondisi
dari facets. Yang lebih penting lagi, estimasi ini dapat digunakan untuk mendesain prosedur
pengukuran yang efisien dalam penggunaan operasional atau untuk memberikan informasi
dalam pemilihan keputusan yang substantif tentang obyek pengukuran, dalam beragam D
(Decision) study.
Pada umumnya D studi menekankan pada estimasi, penggunaan, dan interpretasi
dari komponen varian untuk pengambilan keputusan dengan spesifik prosedur pengukuran
yang baik.
Univers of Generalizability.
Konon yang paling penting dari bahan pertimbangan D studi adalah spesifikasi
univers dari generalisasi, yang merupakan univers dari tiap-tiap pengambil keputusan untuk
menggenaralisir pada D studi sebagai kekhasan prosedur pengukuran.
3

Ukuran sampel studi D.


Sejumlah kondisi dari facet disampel untuk tujuan studi G tidak perlu sama dengan
yang digunakan dalam studi D dengan prosedur pengukuran yang sebenarnya yang
digunakan untuk membuat keputusan tentang objek pengukuran. Ukuran sampel studi D
ditandai dengan suatu yang terbaik untuk membedakannya dari ukuran sampel studi G.
Sebagai contoh, ukuran sampel studi D untuk item dan rater masing-masing dinotasikan
sebagai ni dan n'r.
Struktur desain studi D.
Spesifikasi ukuran sampel studi D hanya salah satu aspek untuk mendefinisikan
desain studi D, melainkan juga harus menentukan bentuk atau struktur desain. Sebagai
contoh, dalam suatu studi memutuskan bahwa semua peserta ujian akan mengambil set yang
sama ni item, dan masing-masing n'r rater akan menilai setiap item. Deskripsi verbal studi D
menggunakan desain p x I x R dan huruf besar digunakan untuk menentukan facet dalam
representasi notasi dari desain studi D, untuk menghindari kebingungan desain studi G dan
studi D. Lebih penting lagi, dalam teori generalisasi, huruf besar membawa konotasi dari nilai
rata-rata semua himpunan kondisi (item dan rater) dan, untuk kepentingan studi D berfokus
pada nilai rata-rata semua himpunan kondisi dari semesta generalisasi.
Jika menggunakan desain studi D p x I x R, maka desain studi Dnya memiliki struktur yang
sama dengan studi G nya. Misalnya, bisa diputuskan bahwa semua peserta ujian akan
menanggapi semua item, tetapi setiap rater akan mengevaluasi tanggapan dari peserta ujian
untuk himpunan item yang berbeda. Desain tersebut dikatakan melibatkan bersarangnya item
dalam rater, dan dilambangkan px (I: R), ":" dibaca "bersarang dalam".
Berkaitan dengan studi D dan semesta generalisasi.
Semesta generalisasi berguna untuk mempertimbangkan cara seorang investigator
kemungkinan meniru studi D. Untuk menentukan semesta generalisasi, bisa mengajukan
pertanyaan berikut: "Jika Anda meniru prosedur pengukuran yang menggunakan desain studi
D p x I x R, maka apakah akan menggunakan sampel yang berbeda dari n i item dan n'r rater
setiap kali, atau, katakanlah, sampel item yang berbeda tapi dengan rater yang sama? "Jika
jawabannya akan menggunakan sampel yang berbeda dari item dan penilai, maka replikasi
prosedur pengukurannya menjangkau semesta yang sama dengan universe of admissible
observations. Jika menggunakan akan himpunan rater yang sama, maka replikasi
pengukurannya akan menjangkau semesta yang lebih kecil dari universe of admissible
observations.
Model Randoms, model campuran, dan semesta generalisasi yang berbeda.
Dalam metodologi analisis varians, terdapat gagasan paralel terhadap replikasi prosedur
pengukuran. Ketika sampel yang berbeda dari rater dan item hendak digunakan, melalui
replikasi, model dijelaskan dalam terminologi analisis varians sebagai random. Sebaliknya,
jika menggunakan sampel item yang berbeda tetapi dengan rater yang sama, model ini
digambarkan sebagai campuran dengan facet item yang acak dan facet rater yang fix .
Dalam berpikir facet random dan fix, pertimbangan krusial adalah apakah seorang
investigator ingin menggeneralisasi dari sampel kondisi facet terhadap satu himpunan yang
lebih besar dari kondisi untuk facet yang sama. Jika demikian, biasanya tepat untuk
menggambarkan facet sebagai acak, sebaliknya jika tidak, maka facet adalah fixed atau tetap.
Mengingat universe of admissible observations, maka akan terdapat banyak
kemungkinan semesta generalisasi. Misalkan terdapat dua investigator, investigator pertama
memutuskan untuk mengembangkan prosedur pengukuran menggunakan desain studi D p x I
4

x R, dengan rater dan item yang diperlakukan sebagai acak. Dengan menggunakan estimasi
komponen varians studi G investigator pertama untuk universe of admissible observations,
investigator kedua mungkin memutuskan untuk mengembangkan prosedur pengukuran yang
berbeda dengan memperlakukan item sebagai random dan rater sebagai tetap (fixed). Tidak
masalah desain studi D yang digunakan investagator kedua, jelas bahwa investigator pertama
dan kedua akan tertarik pada semesta generalisasi yang berbeda. Teori generalisasi tidak
sekadar memberikan kemungkinan-kemungkinan menekankan perspektif bahwa prosedur
pengukuran yang berbeda dapat berhubungan dengan semesta generalisasi yang berbeda, dan
peneliti yang berbeda mungkin tertarik semesta yang berbeda.
Obyek pengukuran.
Dalam sebagian besar aplikasi teori generalizability, peserta ujian atau orang
merupakan objek pengukuran. Kadang-kadang beberapa kumpulan kondisi yang lain
memainkan peran objek pengukuran. Sebagai contoh, dalam studi evaluasi, kelas sering
menjadi obyek pengukuran dengan orangnya dan facet lain yang merupakan semesta
generalisasi.
Skor Universe.
Apapun obyek pengukuran yang digunakan, skor universe semesta didefinisikan untuk
masing-masing dalam populasinya. Skor universe dapat dilihat sebagai nilai rata-rata untuk
sebuah objek pengukuran atas semua kondisi semesta generalisasi. Dengan demikian, skor
universe adalah nilai "ideal" untuk sebuah objek pengukuran, skor universe sangat erat
kaitannya dengan konsep nilai sebenarnya (true score) dalam teori tes klasik.
Varians skor universe atas semua obyek pengukuran dalam populasi disebut varians
skor universe, dan mirip dengan varians nilai yang sebenarnya dalam teori klasik. Dalam
aplikasi teori klasik tertentu, hanya ada satu varians skor yang sebenarnya. Sebaliknya, dalam
teori generalisasi, varians skor universe tergantung pada semesta generalisasi yang
didefinisikan investigator. Besarnya varians skor universe akan berbeda untuk semesta
generalisasi yang berbeda, dan pernyataan serupa berlaku untuk varians error dan koefisien
reliabilitas tertentu, yang disebut koefisien generalisasi. Untuk mengestimasi kuantitas ini,
digunakan komponen varians estimasi dari studi G.
Perkiraan komponen varians studi D
Langkah pertama adalah untuk mendapatkan estimasi komponen varians studi D
untuk desain tertentu dan ukuran sampel. Untuk desain p x I x R dengan item dan rater
random, misalkan investigator pertama ingin mempertimbangkan menggunakan ukuran
sampel ni = 6 dan n'r = 2. Jika demikian, maka diperkirakan efek random komponen varians
studi D menjadi:

2( p ) = .30 , 2( I ) = .04, 2( R) = .05,

2( pI ) = .06, 2( pR ) = .25, 2( IR) = .02

2( pIR) = 0.08

(1.1.2)

Memperoleh estimasi-estimasi ini agak sederhana. Misalkan 2( ) menjadi salah satu


estimasi pada Persaman 1.1.1. Kemudian, untuk mendapatkan hasil dalam persamaan 1.1.2

hanya membagi 2( ) dengan n 'i = 6 jika memuat i tetapi bukan r, dengan nr = 2 jika
memuat r tapi bukan i, dan dengan ninr = 12 jika memuat i dan r.
Hasil estimasi komponen varians dalam persamaan 1.1.2 adalah untuk skor rata-rata
atas sampel random dari ni = 6 item dan n'r = 2 rater dari semesta generalisasi, dan setiap
sampel item dan rater tersebut dikatakan secara paralel random dengan sampel lainnya.
Himpunan kondisi-kondisi yang paralel secara random tidak perlu memiliki sifat paralel
klasik dari nilai rata-rata yang sama, varians yang sama, dan interkorelasi yang sama.

Estimasi komponen varians 2( p) = .30, di atas, sangat penting karena merupakan


estimasi skor varians universe ketika item dan rater keduanya random. Komponen varians
lainnya berkontribusi terhadap satu atau lebih jenis varians error yang berbeda.
Varians error absolut (mutlak).

Salah satu jenis varians error dilambangkan 2( ) dan kadang-kadang disebut


varians error "mutlak". Ini adalah varian dari perbedaan antara amatan peserta ujian dan skor

universe. Estimasi 2( ) diperoleh dengan menjumlahkan semua komponen varians estimasi

pada persamaan 1.1.2 kecuali 2( p ) . Untuk data ini, 2( ) = 0,50, yang lebih besar dari

varian skor universe, 2( p ) = .30, menunjukkan bahwa skor amatan peserta ujian
berdasarkan pada hanya enam item dan dua rater akan memuat sejumlah error yang relatif
besar. Hasil ini mungkin menyebabkan investigator untuk mempertimbangkan menambahkan
ukuran sampel item dan / atau rater.
Varians error relatif.

Tipe lain dari varians error dilambangkan 2( ) dan kadang-kadang varians error
"relatif", karena besarnya tergantung pada perbedaan antara amatan peserta ujian dan skor
semesta relatif terhadap rata-rata populasi untuk skor amatan dan universe. Estimasi dari

2( ) diperoleh dengan menjumlahkan komponen varians interaksi dalam persamaan 1.1.2

yang berisi objek dari index pengukuran Untuk data 2( ) = .39 ini, lebih kecil dari 2( ) =

0,50, karena 2( ) menggabungkan hanya beberapa estimasi komponen varians yang

berkontribusi terhadap 2( ) .
Koefisien generalisasi

Untuk mempertimbangkan besarnya 2( ) mungkin hanya membandingkannya

dengan varians skor universe 2( p ) . Atau, memperkirakan koefisien reliabilitas seperti

2
yang disebut koefisien generalisasi. Koefisien generalisasi diperkirakan adalah E = ( p) /

[ ( p) + ( ) ] = .43 untuk data investigator pertama, berdasarkan efek random desain


6

studi D p x I x R desain dengan enam item dan dua rater. Jika menilai 2( p ) = .43 menjadi
kebingungan kecil, maka
mungkin sungguh-sungguh mempertimbangkan untuk
meningkatkan n'i dan / atau n'r. Melakukan hal ini akan memberikan nilai yang lebih tinggi

2
untuk E . Pendekatan ini untuk meningkatkan besarnya estimasi koefisien generalisasi
melalui peningkatan ukuran sampel mengingatkan pada Formula Spearman-Brown untuk
perubahan panjang tes dalam teori klasik. Namun, dalam teori generalisasi, Formula
Spearman-Brown Formula tidak selalu berlaku, dan prosedur dalam teori generalisasi untuk
menguji efek ukuran sampel yang berbeda telah diterapkan lebih luas.

Sepanjang skenario di atas, telah diasumsikan bahwa Smith ingin menggeneralisasi ke


alam semesta yang lebih besar dari item dan penilai daripada yang benar-benar digunakan
dalam studi D-nya yaitu, telah diasumsikan bahwa item dan penilai yang acak. Misalkan,
bagaimanapun, bahwa Smith telah memutuskan untuk menggeneralisasi lebih sampel item
hanya-yaitu, ia memutuskan untuk tetap penilai tetap pada n'r = 2. Jika demikian, komponen
varians diperkirakan Persamaan 1.1.2 masih bisa digunakan untuk memperkirakan alam
semesta skor varians, varians kesalahan, dan koefisien generalisasi. Proses melakukannya
agak lebih sulit, namun. Untuk saat ini kami hanya menunjukkan bahwa menggunakan
ukuran sampel yang sama, tetapi membatasi semesta generalisasi untuk satu set tetap penilai,
menyebabkan peningkatan nilai semesta varians, penurunan varians kesalahan dan
peningkatan koefisien generalisasi.
Kesimpulan
Singkatnya, sebuah studi G dilakukan untuk memperkirakan komponen varians yang
berhubungan dengan alam semesta pengamatan diterima. Komponen-komponen varians
estimasi kemudian dapat digunakan untuk memperkirakan hasil untuk berbagai desain studi
D dan alam semesta generalisasi. Untuk setiap studi D, kita harus menentukan obyek
pengukuran, menentukan semesta generalisasi, dan mengidentifikasi ukuran sampel dan
struktur desain studi D. Jumlah khas yang diperkirakan untuk ditentukan desain studi D dan
alam semesta generalisasi termasuk D komponen desain studi varians, skor semesta varians,
varians kesalahan, dan koefisien generalisasi. Biasanya, besaran jumlah ini akan bervariasi
untuk alam semesta yang berbeda generalisasi dan untuk desain yang berbeda dalam hal
ukuran dan / atau struktur sampel.

Anda mungkin juga menyukai