Tugas Akhir - 2011

IMPLEMENTASI DAN ANALISIS COMPUTERIZED ADAPTIVE TESTING (CAT)

DENGAN ITEM RESPONSE THEORY (IRT)

Adiputra¹, Angelina Prima Kurniati², Erda Guslinar Perdana³

¹Teknik Informatika, Fakultas Teknik Informatika, Universitas Telkom

Abstrak
Dalam dunia akademik, sangat penting bagi seorang pengajar untuk mengetahui kemampuan
peserta didiknya. Dengan mengetahui kemampuan peserta didiknya tersebut, seorang pengajar
dapat mengambil tindakan yang tepat dalam penyelenggaraan pendidikan. Salah satu cara untuk
mengetahui kemampuan peserta didik tersebut adalah dengan melakukan adaptive testing
(pengujian adaptif). Adaptive testing merupakan sebuah metode pengujian dimana setiap peserta
ujian akan diberikan sekumpulan soal yang berbeda sesuai dengan kemampuan masing-masing.
Dengan demikian, tiap-tiap peserta ujian tidak perlu menjawab seluruh soal yang ada. Adaptive
testing dapat diotomasi dengan menggunakan komputer yang disebut Computerized Adaptive
Testing (CAT). Pada tugas akhir ini, dibangun sebuah sistem CAT dan sistem estimasi parameter
soal untuk digunakan pada CAT berbasis IRT dengan model logistik 1 parameter dan model
logistik 2 parameter. Hasil pengujian menunjukkan bahwa CAT memiliki efisiensi dan reliabilitas
yang cukup tinggi.

Kata Kunci : Computerized Adaptive Testing, Item response theory, efisiensi, reliabilitas

Abstract
In educational world, it is important for an educator to know the ability of his students. By
knowing the ability of his students, an educator can take appropriate action in educating his
students. One way to determine the ability of the students is by performing an adaptive testing.
Adaptive testing is a testing method in which examinees will be given different set of questions
according to their abilities. Thus, each of the examinees do not have to answer all the questions
available. Adaptive testing can be automated using computer which is called Computerized
Adaptive Testing (CAT). In this Final Project, a CAT system and a item parameter estimation
system to estimate the item parameter used by the CAT system based on Item Response Theory
with 1 and 2 parameter logistic model is constructed. Test results shows that the CAT system has
high efficiency and reliability.

Keywords : Computerized Adaptive Testing, Item Response Theory, efficiency, reliability

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

Powered by TCPDF (www.tcpdf.org)
 Tugas Akhir - 2011

BAB I
PENDAHULUAN
1.1. Latar Belakang
Dalam kehidupan akademik, sangat penting bagi seorang pengajar untuk
mengetahui kemampuan dari peserta didiknya. Dengan mengetahui kemampuan
yang dimiliki peserta didik, seorang pengajar dapat mengambil tindakan yang
tepat dalam penyelenggaraan pendidikan. Untuk dapat mengetahui kemampuan
peserta didik, dapat dilakukan dengan cara melakukan pengujian. Pengujian dapat
dilakukan dengan dua cara, yaitu pengujian adaptif (Adaptive testing) dan
pengujian konvensional [WEI85].
Pengujian konvensional dilakukan dengan memberikan sejumlah soal
kepada peserta ujian untuk dikerjakan. Soal yang diberikan kepada masing-
masing peserta ujian sama sehingga memberikan peluang kepada peserta ujian
untuk saling bekerja sama mengerjakan soal tersebut. Selain itu dalam pengujian
konvensional, tingkat kesulitan item sangat bergantung pada kemampuan peserta
ujian. Jika peserta ujian memiliki kemampuan yang tinggi, maka soal ujian yang
diberikan akan menjadi mudah untuk dikerjakan, dan begitu pula sebaliknya jika
kemampuan peserta ujian rendah, maka soal ujian yang diberikan akan menjadi
sulit untuk dikerjakan.
Adaptive testing merupakan sebuah metode pengujian dimana setiap peserta
ujian diberikan sekumpulan soal yang berbeda sesuai dengan kemampuan masing-
masing. Berbeda dengan pengujian konvensional yang memberikan kumpulan
soal ujian yang sama kepada seluruh peserta ujian [WEI85]. Dalam adaptive
testing, peserta ujian pada awalnya akan diberikan satu atau lebih soal dengan
tingkat kesulitan tertentu. Jika peserta ujian dapat menjawab soal tersebut dengan
benar, maka akan diberikan soal lain dengan tingkat kesulitan yang lebih tinggi
kepada peserta ujian tersebut. Sebaliknya, jika peserta menjawab soal tersebut
dengan tidak tepat, maka akan diberikan soal dengan tingkat kesulitan yang lebih
rendah. Pengujian dilakukan hingga didapatkan tingkat kemampuan peserta ujian.
Dengan menggunakan adaptive testing, peserta hanya perlu menjawab beberapa
soal saja agar kemampuan peserta ujian dapat diketahui sehingga dapat
menghemat waktu lebih banyak dibandingkan dengan menggunakan teori tes
konvensional [LIN00].
Computerized Adaptive Testing (CAT) merupakan adaptive testing yang
memanfaatkan komputer sebagai infrastrukturnya. Dibandingkan dengan
pengujian paper-based, CAT jauh lebih efisien untuk penggunaan jangka panjang
karena dapat menghemat biaya operasional dan waktu ujian. Untuk membangun
sebuah CAT yang baik, dibutuhkan metode yang tepat untuk melakukan
pembobotan tingkat kesulitan yang tepat pada masing-masing item yang akan

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

 Tugas Akhir - 2011

diujikan. Salah satu metode yang dapat digunakan adalah Item Response Theory
(IRT). IRT merupakan metode yang berguna untuk menganalisis kualitas soal
yang akan diujikan kepada peserta sehingga dapat memberikan soal yang tepat
sesuai dengan kemampuan peserta ujian. Dengan mengimplementasikan IRT pada
CAT, diharapkan hasil pengujian terhadap kemampuan peserta ujian yang
diperoleh memiliki reliabilitas yang tinggi.

1.2. Perumusan Masalah

Berdasarkan latar belakang permasalahan, maka masalah yang akan
dirumuskan adalah bagaimana membangun sebuah sistem yang akan melakukan
pembobotan tingkat kesulitan item menggunakan Item Response Theory (IRT)
dan kemudian melakukan pengujian tingkat kemampuan peserta ujian dengan
menggunakan Computerized Adaptive Testing (CAT).

1.3. Tujuan
Tujuan yang ingin dicapai dalam penelitian ini adalah
1. Mengimplementasikan Item Response Theory (IRT) untuk melakukan
pembobotan terhadap item-item yang akan digunakan pada pengujian.
2. Mengimplementasikan Computerized Adaptive Testing (CAT) untuk
menguji kemampuan peserta ujian dengan menggunakan item-item yang
telah diberi bobot kesulitan sebelumnya dengan menggunakan Item
Response Theory (IRT).
3. Menganalisis reliabilitas hasil pengujian kemampuan peserta tes yang
dihasilkan sistem dengan cara menganalisis nilai Standard Error of
Estimation (SE) yang diperoleh.
4. Menganalisis efisiensi implementasi CAT dengan IRT terhadap jumlah
item yang diujikan kepada peserta tes.

1.4. Batasan Masalah

Dalam implementasi tugas akhir ini dibatasi oleh beberapa hal, sebagai
berikut :
1. Studi kasus yang akan diangkat pada tugas akhir ini adalah CAT dengan
IRT pada ujites skolastik untuk item bilangan.
2. Item yang akan digunakan merupakan soal pilihan ganda dengan 5
pilihan jawaban.
3. Model IRT yang digunakan adalah IRT model logistik dengan 2
parameter yakni dengan parameter tingkat kesulitan dan parameter daya
beda.
4. Metode estimasi parameter item yang digunakan adalah Joint Maximum
Likelihood Estimation (JMLE).
5. Pengujian dan analisis dilakukan dengan melakukan pengujian kepada
beberapa responden secara acak.

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

 Tugas Akhir - 2011

1.5. Metodologi Penyelesaian Masalah

Metodologi penyelesaian masalah yang akan digunakan adalah sebagai
berikut.
a. Studi literatur
Bertujuan untuk mempelajari dasar teori dari literatur-literatur seperti buku,
jurnal, artikel yang terkait dengan Computer Adaptive Testing, Item
Response Theory, dan konsep lainnya yang menunjang pengerjaan tugas
akhir ini.
b. Pengumpulan data
Pada tahap ini, dilakukan pengumpulan data mengenai item-item yang akan
digunakan pada sistem. Data yang dikumpulkan berupa data deskripsi item
dan respon peserta tes terhadap item tersebut.
c. Perancangan sistem
Membangun rancangan sistem yang sesuai dengan deskripsi sistem.
d. Implementasi sistem
Membuat sistem sesuai dengan perancangan yang telah dibuat sebelumnya.
e. Pengujian dan analisa hasil
Melakukan pengujian kepada beberapa responden kemudian akan dilakukan
analisa reliabilitas kemampuan peserta tes hasil pengujian yang dihasilkan
sistem dengan menggunakan nilai SE.
f. Pengambilan kesimpulan dan penulisan laporan
Mengambil kesimpulan berdasarkan hasil yang didapatkan pada saat
pengujian dan analisis hasil serta penyusunan laporan tugas akhir.

1.6. Sistematika Penulisan

Tugas akhir ini ditulis dengan sistematika penulisan sebagai berikut:
1. Bab I Pendahuluan
Bab ini membahas mengenai latar belakang, perumusan masalah, tujuan
dari pembuatan tugas akhir, metodologi yang digunakan dalam
pembuatan tugas akhir, serta sistematika penulisan tugas akhir.
2. Bab II Landasan Teori
Bab ini membahas mengenai teori yang mendukung pelaksanaan tugas
akhir ini. Teori-teori yang mendasari tugas akhir ini yaitu konsep dasar
Item Response Theory (IRT), model-model IRT, estimasi parameter
dalam IRT, dan konsep mengenai Computerized Adaptive Testing (CAT).
3. Bab III Perancangan Sistem
Bab ini membahas mengenai perancangan sistem dengan menggunakan
Data Flow Diagram (DFD) atau Diagram Alir Data (DAD) serta struktur

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

 Tugas Akhir - 2011

basis data yang digunakan dengan menggunakan Entity Relationship

Diagram (ERD).
4. Bab IV Implementasi dan Analisis
Bab ini berisi tentang implementasi sistem yang telah dirancang
sebelumnya, pengujian terhadap sistem yang dibuat dan analisis
performansi sistem.
5. Bab V Kesimpulan dan Saran
Bab ini berisi kesimpulan mengenai tugas akhir ini serta saran-saran
untuk pengembangan lebih lanjut dari tugas akhir ini.

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

Powered by TCPDF (www.tcpdf.org)
 Tugas Akhir - 2011

BAB V
KESIMPULAN DAN SARAN

5.1. Kesimpulan
Dari hasil analisis dan pengujian pada bab sebelumnya, dapat diambil
kesimpulan sebagai berikut:
1. Data yang digunakan lebih cocok menggunakan model Logistik 2
Parameter dikarenakan pada model ini, jumlah item yang simpangan
probabilitas sebenarnya dengan probabilitas hasil model cenderung lebih
sedikit dan lebih kecil dibandingkan dengan model Logistik 1 Parameter.
2. Pengujian dengan menggunakan CAT dapat mengurangi biaya dan waktu
pengujian secara signifikan jika sistem digunakan dalam jangka waktu
yang panjang. Meskipun demikian, dibutuhkan usaha lebih untuk
mempersiapkan item-item yang akan digunakan dalam CAT karena item
yang digunakan harus diujikan terlebih dahulu kepada sejumlah besar
responden.
3. Dengan menggunakan CAT, pengujian dapat dilakukan dengan rata-rata
efisiensi hingga 65% jika dibandingkan dengan menggunakan metode
pengujian dengan jumlah item tetap. Hal ini berdampak pada waktu
pengerjaan tes oleh peserta tes. Dan dengan jumlah item yang lebih
sedikit, peserta tes mengeluarkan energi yang lebih sedikit untuk
mengerjakan item tes sehingga faktor-faktor yang menyebabkan
berkurangnya akurasi pengujian seperti kelelahan dan kehilangan
konsentrasi dapat diminimalisir.

5.2. Saran
1. Estimasi parameter dapat menggunakan prosedur selain JMLE untuk
mengurangi waktu komputasi estimasi parameter item.
2. Sistem CAT dapat diintegrasikan dengan modul e-learning lainnya untuk
menentukan modul yang perlu dipelajari selanjutnya.

38

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

Powered by TCPDF (www.tcpdf.org)
 Tugas Akhir - 2011

DAFTAR PUSTAKA

[BAK01] Baker, Frank B. (2001). The Basics of Item Response Theory. From
http://info.worldbank.org/etools/docs/library/117765/Item%20Response
%20Theory%20-%20F%20Baker.pdf, 20 Oktober 2010
[COS09] Costa, D. R., Karino, C. A., Moura, F.A.S., Andrade, D.F. (2009). A
Comparison of Three Methods of Item Selection for Computerized
Adaptive Testing.In D.J. Weiss (Ed.), Proceedings of the 2009
GMAC Conference on Computerized Adaptive Testing. From
http://www.psych.umn.edu/psylabs/CATCentral/, 05 Mei 2011
[DAV02] Davis, Laurie Laughin (2002). Strategies for Controlling Item
Exposure in Computerized Adaptive Testing with Polytomously
Scored Items. From http://repositories.lib.utexas.edu /bitstream/
handle/2152/1701/davisll47540.pdf?sequence=2, 20 Oktober 2010
[DUN99] Dunkel, Patricia A. (1999). Considerations in Developing and Using
Computer-Adaptive Tests To Assess Second Language Proficiency.
From http://www.cal.org/resources/ digest/digest_pdfs/9907-dunkel-
CAT.pdf, 20 Oktober 2010
[FET08] Fetzer, M., Dainis, A., Lambert, S., & Meade, A. (2008). PreVisor’s
PreViewTM Computer Adaptive Testing (CAT) in an Employment
Context. From http://www.previsor.com/pdf/WPCAT.pdf, 20 Oktober
2010
[HAM83] Hambleton, R.K. (Ed.). (1983). Applications of Item Response
Theory. Vancouver, BC: Educational Research Institute of British
Columbia.
[HAM91] Hambleton, R.K., Swaminathan, H., Rogers, J.H. (1991).
Fundamentals of Item Response Theory. Newbury Park: Sage
Publication.
[KLI05] Kline, Theresa J.B. (2005). Psychological Testing: A Practical
Approach to Design and Evaluation. California: Sage Publication.
[LIN00] Linacre, John Michael (2000). Computer-Adaptive Testing: A
Methodology Whose Time Has Come. From http://www.rasch.org
/memo69.pdf, 20 Oktober 2010
[NAG92] Naga, Dali S. (1992). Pengantar Teori Sekor Pada Pengukuran
Pendidikan. Jakarta : Universitas Gunadarma.
[PHA09] Phankokkruad, M. & Woraratpanya, K. (2009). Web Service
Architecture for Computer-Adaptive Testing on e-Learning. From
http://www.akademik.unsri.ac.id/download/journal/files/waset/v1-1-6-
1.pdf, 20 Oktober 2010

39

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

 Tugas Akhir - 2011

[PON94] Ponsoda, V., Olea, J. & Revuelta, J. (1994). Adtest: A Computer-

Adaptive Test Based On The Maximum In-Formation Principle.
Educational and Psychological Measurement Vol. 54 No. 3, Pall
1994 680-686. From http://www.uam.es/personal_pdi/psicologia/
fjabad/cv/articulos/deotros/adtest.pdf, 20 Oktober 2010
[TAO08] Tao, Y.-H., Wu, Y.-L., & Chang, H.-Y. (2008). A Practical
Computer Adaptive Testing Model for Small-Scale Scenarios.
Educational Technology & Society, 11(3), 259–274. From
http://www.ifets.info/journals/11_3/18.pdf, 20 Oktober 2010
[WEI85] Weiss, David J. (1985). Adaptive Testing by Computer. Journal of
Consulting and Clinical Pathology. Vol. 53, No. 6, 774-789. From
http://www.gl.iit.edu/reserves/ docs/psy511l.pdf, 20 Oktober 2010
[YUC10] Yu, Chong Ho (2010). A Simple Guide to the Item Response Theory
(IRT). From http://www.creative-wisdom.com/computer/sas/IRT.pdf,
20 Oktober 2010

40

Fakultas Teknik Informatika Program Studi S1 Teknik Informatika

Powered by TCPDF (www.tcpdf.org)