Peneliti menggunakan 3 pendekatan khusus yang dipertimbangkan dalam jurnal ini, dan membahas

metode evaluasi untuk perbandingan model.

Pendekatan pertama, disebut sebagai Skor Rata-rata, berfokus pada skor rata-rata peserta ujian dalam
administrasi individual dan merupakan pendekatan satu tahap. Pendekatan kedua, disebut residu rata-rata,
memiliki dua tahap. Ini dimulai dengan menggabungkan data peserta ujian dari administrasi yang berbeda
bersama-sama dan menerapkan regresi harmonik untuk mempelajari variasi dalam skor peserta ujian
karena perbedaan variabel demografis peserta ujian. Pendekatan ketiga, bernama Rata-rata tertimbang,
juga merupakan analisis dua tahap.
Pendekatan 1: Skor Rata-rata

Variabel respon model ini adalah rata-rata sampel dari skor individu (atau skor rata-rata) untuk setiap
administrasi . Pertimbangkan T administrasi dari penilaian yang diberikan kepada N = T

∑❑
t =1

Nt total peserta ujian, dengan N t adalah jumlah peserta ujian dalam administrasi t , 1 ≤ t ≤ T.
Data dari administrasi T digabungkan untuk membentuk populasi sasaran penilaian. Administrasi t, 1 ≤ t
≤ T Prediktor termasuk variable yang menggambarkan musim dalam data dan variabel yang mencirikan
perubahan dalam distribusi regional peserta ujian, meskipun mungkin masuk akal untuk memasukkan
prediktor tambahan ke dalam regresi harmonik untuk menangkap pola yang berbeda dalam skor rata-rata
dan untuk menggambarkan perubahan dalam distribusi demografi peserta ujian karena sumber lain.
Skor Rata-Rata (Pendekatan 1) hanya membutuhkan data agregat. Itu bisa menjadi keuntungan
bagi peneliti tanpa akses ke informasi tingkat individu. Juga, program pengujian mungkin memiliki
ringkasan statistik nilai ujian dan variabel demografis yang terkait dengan kecakapan yang tersedia untuk
kemudahan pemantauan, sehingga penerapan pendekatan ini pada dasarnya tidak memerlukan biaya
dalam persiapan data.

Pendekatan 2: Residu Rata-Rata

Pendekatan ini memiliki dua tahap. Pada tahap pertama, peserta ujian dari semua administrasi T
digabungkan dan dianalisis sekaligus, menggunakan model regresi harmonik untuk mempelajari
hubungan antara skor peserta ujian Y tn, 1 ≤ n ≤ Nt , dan prediktor seperti peserta ujian variabel demografis
Xtn dan komponen harmonik. Model regresi harmonik tingkat peserta ujian (Model 2e) dengan komponen
harmonik K pertama dapat dinyatakan sebagai:

Pada tahap kedua, mean residual r t , 1 t T , diperlakukan sebagai variabel respons dalam model tingkat
administrasi berikut:
Pendekatan 3: Rata-rata Tertimbang

Seperti Average Residual (Pendekatan 2), pendekatan ini juga memiliki dua tahap. Pada tahap pertama,
distribusi demografi peserta ujian disesuaikan dengan menggunakan MDIA yang memperoleh sampel
tertimbang peserta ujian untuk setiap administrasi dengan karakteristik sampel yang lebih mirip dengan
populasi sasaran penilaian.

Pada tahap pertama dengan menggunakan algoritma Newton-Raphson, t dapat dicari dengan
menyelesaikan persamaan dari kendala (b)

Setelah sampel tertimbang tersedia untuk setiap pemberian, pada tahap 2, skor rata-rata tertimbang
dihitung dan dimodelkan dengan regresi harmonik = 1 dengan komponen harmonik K
pertama,

Dibandingkan dengan Skor Rata-Rata (Pendekatan 1), pendekatan dua tahap—yaitu, Residual Rata-Rata
(Pendekatan 2) dan Rata-rata Tertimbang (Pendekatan 3)—memiliki keuntungan yang sama dengan
penyesuaian distribusi demografis peserta ujian. dilengkapi dengan data tingkat peserta ujian, sehingga
dimungkinkan untuk mempertimbangkan sejumlah besar variabel demografis dalam penyesuaian. Perlu
dicatat bahwa MDIA mencoba untuk mencocokkan distribusi demografi peserta ujian dalam suatu
administrasi dengan distribusi demografis populasi target melalui pembobotan. Ini mungkin tidak bekerja
dengan baik jika ada subkelompok demografis dengan proporsi yang sangat kecil (atau bahkan proporsi
nol) dalam suatu administrasi relatif terhadap proporsi mereka dalam populasi sasaran. Jadi, alih-alih
menggunakan subkelompok demografis tersebut secara langsung di MDIA, mereka harus digabungkan
dengan subkelompok lain yang serupa dalam kinerja pengujian untuk penyesuaian.