UJIAN TENGAH SEMESTER

(UTS)

TUGAS MATA KULIAH ADAPTIVE TES

DOSEN: Dr. Riyan Arthur, M.Pd

Oleh:
MISWANTO
No.Reg: 9913922006

S3 PENELITIAN DAN EVALUASI PENDIDIKAN

PROGRAM PASCA SARJANA UNIVERSITAS NEGERI JAKARTA
2022
1. Pendahuluan

CAT atau Computer Adaptive Test adalah suatu metode penilaian secara teknologi di
mana komputer menyeleksi dan menyajikan butir soal menurut perkiraan tingkat kemampuan
peserta tes. Estimasi tingkat kemampuan peserta tes pada tes adaptif lebih akurat karena
setiap peserta hanya diberi butir soal yang sesuai dengan kemampuannya, dengan kata lain
kesalahan pengukuran (measurement error) akan lebih kecil.

Berdasarkan Gambar di atas proses adaptive testing dimulai dengan memilih butir
soal atau kelompok butir soal pertama dari bank soal. Biasanya butir soal pertama dipilih
disesuaikan dengan tingkat kemampuan awal optimal dari populasi peserta tes atau dipilih
dengan tingkat kemampuan setara dengan tingkat kemampuan awal peserta sedang.
Setelah butir soal atau kelompok butir soal dipilih, selanjutnya butir soal diberikan kepada
peserta tes. Setelah peserta tes merespon (benar atau salah) butir soal atau kelompok butir
soal pertama, kemudian tingkat kemampuan peserta diperbarui atau diestimasi kembali.
Selanjutnya, berdasarkan estimasi tingkat kemampuan terbaru, butir soal atau kelompok
butir soal yang lain dipilih kembali dari bank soal. Kemudian butir soal atau kelompok butir
soal yang lain diberikan lagi kepada peserta tes, begitu seterusnya proses ini berlangsung
dan diberhentikan setelah sebanyak butir soal yang ditentukan sudah diberikan atau
setelah presisi estimasi tingkat kemampuan atau tingkat kesalahan baku pengukuran yang
diinginkan telah dicapai.
Dalam mengaplikasikan sebuah tes ke dalam CAT perlu diperhatikan beberapa
komponen. Menurut Wainer (1990) secara umum sistem CAT memiliki empat komponen,
yaitu: bank soal, prosedur pemilihan butir soal, pendugaan kemampuan, dan aturan
pemberhentian; sedangkan dua komponen CAT yang sering diperhatikan pada sistem CAT
adalah keseimbangan konten dan kontrol butir soal yang sering muncul (item exposure).
Menurut Green, Bock, & Humphyers. (1984) dan Kingsbury & Zara (1989) untuk
mengembangkan CAT memerlukan evaluasi pada enam komponen berikut: 1) model Item
Response Theory (IRT) 2) bank soal 3) pemilihan butir soal awal 4) metode pendugaan
tingkat kemampuan 5) prosedur pemilihan butir soal 6) aturan pemberhentian.
Selanjutnya berikut ini disampaikan kajian beberpa literatur jurnal yang berhubungan
dengan Computer Adaptive Tess.
Tabel Kajian Jurnal Terkait Adaptive Test
No Judul/sumber
Pemilihan Butir Soal Pada Rancangan Tes Adaptif
Berdasarkan Efficiency Balanced Information
Agus Santoso Jurnal Pendidikan, Volume 15, Nomor 1,
Maret 2014, 31-41
A flexible online platform for computerized adaptive testing
Stefan Oppl1,3* , Florian Reisinger1 , Alexander Eckmaier1
and Christoph Helm2
International Journal of Educational Technology in Higher
Education (2017) 14:2
Development and Validation of a Computer Adaptive
EFL Test
Lianzhen He & Shangchao Min To cite this article: Lianzhen
He & Shangchao Min (2016): Development and Validation of
a Computer Adaptive EFL Test, Language Assessment
Quarterly, DOI: 10.1080/15434303.2016.1162793
Development and Validation of an Item Bank for Drug
Dependence Measurement Using Computer Adaptive
Testing
Siyang Liu, Dongbo Tu, and Yan Cai
2020 Taylor & Francis Group, LLC
Hasil
Hasil penelitian menyimpulkan bahwa algoritma rancangan tes
adaptif dengan kriteria EBI menghasilkan performa hasil
estimasi kemampuan peserta yang lebih akurat dibandingkan
kriteria Informasi Maksimum. Hal ini ditunjukkan oleh nilai bias
dan simpangan baku pengukuran yang lebih kecil
dibandingkan kriteria Informasi Maksimum. Kelebihan lain dari
penerapan kriteria EBI Maksimum adalah kebermanfaatan
bank soal lebih optimal karena butir-butir soal dengan tingkat
daya beda rendah juga dimunculkan khususnya pada awal tes
pemberhentian tes menggunakan kesalahan baku estimasi
(standard error of estimation=SEE) sebesar 0,3.
Engine test berbantuan fasilitas online.
mengembangkan tes EFL adaptif komputer (CALT)
yang menilai kemampuan mendengarkan dan membaca
peserta tes dalam bahasa Inggris dengan
item dikotomis dan testlet politomus
Tes model Drug Dependence CAT (DD-CAT) berhasil
menyeleksi 56 item dengan konfigurasi kualitas item
unidimensional mencakup semua gejala kriteria diagnostik
untuk ketergantungan narkoba.
Peluang riset
Karena metode Informasi Maksimum
sangat dipengaruhi oleh nilai daya beda,
maka butir soal yang dipilih sangat
dipengaruhi oleh daya beda butir tanpa
menghiraukan kesesuaian dengan tingkat
estimasi kemampuan setiap individu
peserta tes khususnya di awal tes.
Peluang risetnya adalah estimasi butir
berdasarkan informasi tes awal peserta tes.
Engine test dengan server lokal.
Riset ini terbatas pada jenis tes dikotomi,
bisa dikembangkan jenis politomi untuk
kemampuan writing atau CALT writing.
Tes model Drug Dependence CAT (DD-
CAT) dapat dikembangkan pada tes
kesembuhan pada pasien orang dengan
ketergantungan obat non narkoba
Stopping Rules for Computer Adaptive Testing When
Item Banks Have Nonuniform Information
Scott B. Morris Department of Psychology, Illinois Institute of
Technology, USA
International Journal of Testing, 2019 Copyright #
International Test Commission ISSN: 1530-5058 print /
1532-7574 online
Pengembangan Computerized Adaptive Testing (Cat)
Dengan Algoritma Logika Fuzzy
Haryanto
Jurnal Penelitian dan Evaluasi Pendidikan Tahun 15, Nomor
1, 2011
Development of a computerized adaptive test to assess
entrepreneurial personality
Á Postigo, M Cuesta, I Pedrosa, J Muñiz, 2020
Metode predicted standard error reduction (PSER) sebagai Dapat dikembangkan Stopping Rules for
metode stopping rules Computer Adaptive Testing dengan model
yang diprediksi menghentikan PSER pada item tes ujian masuk perguruan
CAT bahkan jika ambang SE belum tercapai dan dapat tinggi karena jumlah item sedikit sehingga
menghindari pemberian item yang lebih banyak. Dengan waktu yang dibutuhkan juga sedikit.
menerapkan
parameter algoritma PSER, seorang praktisi dapat
menentukan trade off yang diinginkan agar akurat dan efisien.
Untuk Fungsi pad aplikasi PROMIS, dari simulasi
menunjukkan bahwa aturan penghentian PSER dengan hipo
0,015 dan hiper 0,025
membedakan aturan penghentian lainnya secara keseluruhan
Ketepatan sistem inferensi dalam memilih butir-butir tes yang Mengingat dasar pemilihan butir tes
sesuai dengan respons jawaban siswa diwujudkan pada nilai dilakukan dengan cara menganalisisnya
rata-rata kesalahan/simpang baku 0,093 secara teori dan terlebih dahulu, maka sangat dimungkinkan
0,112 secara fuzzy. Di samping itu, berdasar analisis grafis dan hasil analisis tidak sama dengan tipe butir
analisis korelasi butir-butir tes antara analisis teori dengan hasil tes di dalam bank soal, oleh karena itu perlu
kerja program CAT fuzzy memiliki relasi yang tinggi, dengan dikembangkan riset mengukur Bias
nilai rata-rata r = 0,72. pengukuran di dalam menerapkan CAT
Model CAT dengan algoritma logika fuzzy digunakan untuk yang ada dalam bank soal.
membentuk sistem inferensi yang bagian-bagiannya terdiri
dari: fuzzifikasi, basis pengetahuan, implementasi basis
pengetahuan, dan defuzzifikasi. (2) Sistem inferensi model
CAT dengan algoritma logika fuzzy: (a) Mampu mengelola
basis data bank soal yang digunakan untuk proses pengujian
terkomputerisasi. (b) Mampu memilih secara adaptif butir-butir
tes yang sesuai dengan kemampuan siswa berdasar pada
respons jawaban yang diberikan dalam proses pengujian
terkomputerisasi.
Bank soal pada dasarnya memiliki kecocokan unidimensional CAT telah dikembangkan untuk pengujian
dengan model. CAT menunjukkan akurasi tinggi untuk jiwa kewirausahaan dapat dikembangkan
mengevaluasi berbagai skorθ, menggunakan rata-rata 16 item juga untuk beberapa kecerdasan yang
dengan kesalahan standar yang sangat rendah (M= 0,157). lainya misal jiwa nasionalisme
Bukti validitas untuk CAT diperoleh dengan dua tes tambahan
kepribadian wirausaha dengan korelasi masing-masing .908
dan .657.
A Computerized Adaptive Test for Measuring the
Physics Critical Thinking Skills.
AZ Abidin, E Istiyono, N Fadilah
International Journal of ERIC, 2019
Developing and piloting a computerized adaptive test
for a culturally appropriate measure of adaptive
behavior
M Chen, YH Nah, N Waschl, K Poon, 2022
journals.sagepub.com
Developing and validating a computerized adaptive test
to measure broad and specific factors of internalizing in
a community sample
M Sunderland, P Batterham, N Carragher
2019, journals.sagepub.com
Computer-adaptive testing: Implications for students'
achievement, motivation, engagement, and subjective
test experience.
AJ Martin, G Lazendic, 2018,
Journal of educational psychology
Hasil yang diperoleh: 1) Media CAT dinyatakan sangat layak CAT dapat dikembangkan untuk Mengukur
dan validitas isi 136 butir dinyatakan sah; 2) semua item yang Keterampilan Berpikir berpikir logis,
sesuai dengan model parsial, keandalan item diklasifikasikan analitis, sistematis, kritis, dan kreatif.
sebagai baik, dan indeks kesulitan item baik; 3) hasil CAT-
PhysCriTS setara dengan prestasi akademik siswa.
Berdasarkan hasil penelitian, CAT-PhysCriTS telah memenuhi
persyaratan sebagai alat ukur dengan waktu pengukuran yang
lebih cepat dan komprehensif untuk penilaian skala besar.
Penelitian ini bertujuan untuk mengembangkan (CAT) dari Pengujian dan pengembangan CAT
ukuran perilaku adaptif yang sesuai budaya (yaitu, Skala didalam mengukur tingkat kepuasan
Peringkat Aktivitas dan Partisipasi [APRS]). Dalam Studi 1, masyarakat di dalam layanan rumah sakit.
bank soal yang terdiri dari 310 keterampilan adaptif
dikembangkan dan diujicobakan di antara 56 pengasuh. Dalam
Studi 2, 310 item yang disempurnakan dikalibrasi
menggunakan analisis Rasch di antara 352 pengasuh. Setelah
penghapusan lima item berdasarkan analisis Rasch, 305 item
yang diselesaikan digunakan untuk pengembangan CAT
Penilaian yang sangat efisien untuk menjelaskan komorbiditas CAT ini bisa dikembangkan untuk
antara suasana hati dan gangguan kecemasan (internalisasi) mengukur gangguan komorbiditas lainya
didesain untuk mengidentifikasi individu yang berisiko skizofrenia, gangguan narsistik, demensia,
psikopatologi di masyarakat. Studi ini meneliti CAT skizofrenia
multidimensi (CAT) untuk mengukur tingkat psikopatologi
internalisasi yang luas dan spesifik. Item dari lima bank
(kecemasan umum, depresi, gangguan obsesif-kompulsif,
gangguan panik, gangguan kecemasan sosial) dikalibrasi
bersama menggunakan model teori respons item bifaktor.
Simulasi menunjukkan bahwa algoritma adaptif dapat secara
akurat (rs ≥ 0,90) memperkirakan internalisasi umum dan skor
gangguan spesifik menggunakan rata-rata 44 item
dibandingkan dengan bank 133 item penuh (pengurangan 67%
dalam item). Skor pada CAT menunjukkan validitas konvergen
dan divergen dengan skala keparahan pendek yang divalidasi
sebelumnya dan dapat secara signifikan membedakan kasus
gangguan DSM-5.
Temuan ini (a) mengkonfirmasi bahwa pengujian adaptif
komputer menghasilkan presisi pengukuran pencapaian yang
lebih besar, (b) menyarankan beberapa motivasi dan efek
keterlibatan yang relevan dengan tes positif dari pengujian
adaptif komputer, (c) klaim tandingan bahwa pengujian adaptif
komputer mengurangi motivasi, keterlibatan, dan pengalaman
subjektif siswa yang relevan dengan tes, dan (d) menyarankan
efek pengujian adaptif komputer yang positif untuk siswa yang
lebih tua pada tahap perkembangan ketika mereka biasanya
kurang termotivasi dan Terlibat.
c. kesimpulan

Computerized Adaptive Testing (CAT) merupakan suatu metode penilaian

menggunakan teknologi, dimana komputer menyeleksi dan menyajikan butir soal menurut
perkiraan tingkat kemampuan peserta tes. CAT telah diaplikasikan untuk pengukuran di
bidang pendidikan, kedokteran, musik, dan lain lain. Beberapa tes yang telah
mengaplikasikan sistem CAT antara lain; GMAT (Graduate Management Admission Test),
ASVAB (The Armed Services Vocational Aptitude Battery), ASCP (American Society of
Clinical Pathologies), ETS (Educational Testing Services), PROMIS (Prosecutor’s
Management Information System), TOEFL (Test of English as Foreign Language).
Penggunaan CAT dalam dunia Pendidikan sangat dibutuhkan, oleh karena itu perlu
dikembangkan parameter-parameter pengukuran di dalam penilaian Pendidikan.
 Daftar Pustaka
Hadi, Samsul, Pengembangan Computerized Adaptive Test Berbasis Web, Aswaja
Pressindo, 2013

Santoso, Agus, Computerized Adaptive Testing: Efisiensi Dan Akurasi Penyelenggaraan

Tes, 2018

Haryanto, Pengembangan Computerized Adaptive Testing (Cat) Dengan Algoritma

Logika Fuzzy, Jurnal Penelitian dan Evaluasi Pendidikan Tahun 15, Nomor 1, 2011

AJ Martin, G Lazendic,, Computer-adaptive testing: Implications for students'

achievement, motivation, engagement, and subjective test experience.Journal of
educational psychology, 2018,

M Sunderland, P Batterham, N Carragher, Developing and validating a computerized

adaptive test to measure broad and specific factors of internalizing in a community
sample, journals.sagepub.com, 2019

Stefan Oppl1,3* , Florian Reisinger1 , Alexander Eckmaier1 and Christoph Helm2, A

flexible online platform for computerized adaptive testing , International Journal of
Educational Technology in Higher Education (2017)

Lianzhen He & Shangchao Min , Development and Validation of a Computer Adaptive EFL
Test , Language Assessment Quarterly,

Siyang Liu, Dongbo Tu, and Yan Cai, Development and Validation of an Item Bank for
Drug Dependence Measurement Using Computer Adaptive Testing , Taylor &
Francis Group, LLC, 2020

Scott B. Morris , Stopping Rules for Computer Adaptive Testing When Item Banks Have
Nonuniform Information, International Journal of Testing, 2019

Á Postigo, M Cuesta, I Pedrosa, J Muñiz, Development of a computerized adaptive test

to assess entrepreneurial personality, , 2020

AZ Abidin, E Istiyono, N Fadilah, A Computerized Adaptive Test for Measuring the Physics
Critical Thinking Skills, International Journal of ERIC, 2019

M Chen, YH Nah, N Waschl, K Poon, Developing and piloting a computerized adaptive

test for a culturally appropriate measure of adaptive behavior,
journals.sagepub.com, 2022

M Sunderland, P Batterham, N Carragher, Developing and validating a computerized

adaptive test to measure broad and specific factors of internalizing in a community
sample, journals.sagepub.com, 2019