Penilaian Kualitas Sistem Elearning Dengan Menggunakan ISO 19796-1

Andharini Dwi Cahyani , Daniel Oranova Siahaan , Sarwosri

Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember
Gedung Teknik Informatika, Kampus ITS, Jl. Raya ITS, Sukolilo, Surabaya 60111
Email : { rein, danielos, sri}@cs.its.ac.id

ABSTRAK
Seiring dengan pesatnya perkembangan penggunaan elearning, maka kebutuhan
akan adanya pengukuran kualitas sistem e-learning menjadi sangat penting. Karena
beragamnya konteks dan tujuan penggunaan sistem e-learning, maka ISO 19796-1 dibuat
secara generik untuk mengakomodasi kebutuhan di bidang standarisasi kualitas e-
learning secara luas. Oleh karenanya, untuk menerapkan ISO ini dibutuhkan usaha
tersendiri untuk mengadaptasikannya sesuai dengan konteks dan tujuan masing masing
organisasi.
Pada penelitian ini, dibuat sistem/aplikasi yang mampu mengukur kualitas sistem
e-learning. Aplikasi yang dibuat juga memberikan fasilitas bagi stakeholder untuk
memberikan bobot prioritas tiap proses dalam penilaian kualitas sistem elearning. Bobot
prioritas tersebut kemudian diolah dengan menggunakan metode AHP (Analytical
Hierarchy Process).
Hasil penelitian menunjukkan aplikasi yang dibuat mampu menilai kualitas sistem
elearning sesuai dengan ISO 19796-1. Selain itu, aplikasi ini juga mampu memberikan
rekomendasi bagi perbaikan sistem. Rekomendasi ini disusun berdasarkan bobot prioritas
yang diberikan oleh stakeholder. Proses yang mendapatkan prioritas tinggi dari
stakeholder sistem elearning namun mendapatkan penilaian yang rendah dari responden
akan muncul sebagai rekomendasi perbaikan sistem.

Kata Kunci : Aplikasi E-Learning, ISO 19796-1, Model Kualitas

1
2
PENDAHULUAN
Perkembangan sistem e-learning, utamanya di institusi pendidikan, semakin pesat
karena kebutuhan baik mahasiswa maupun dosen akan sistem pembelajaran yang lebih
fleksibel. Selain itu, tekanan ekonomi universitas atau institusi pendidikan juga
meningkatkan penggunaan e-learning, karena teknologi e-learning menghemat biaya
yang harus dikeluarkan. Karena itu diperlukan adanya standar dalam penggunaan
elearning, baik standar peningkatan kualitas maupun standar yang bertujuan untuk
interoperability.
Banyaknya standarisasi e-learning memberikan banyak pilihan bagi stakeholder untuk
menentukan standarisasi mana yang akan digunakan. Tidak mudah untuk menentukan
standarisasi mana yang digunakan karena memerlukan pertimbangan yang matang. ISO
sebagai organisasi standar tingkat internasional, yang relatif lebih luas penggunaanya,
juga mengeluarkan standarisasi yang dapat digunakan dalam domain e-learning.
Standarisasi yang dikeluarkan oleh ISO merupakan standarisasi yang generik, sehingga
untuk menggunakannya harus diadaptasikan sesuai dengan keadaaan dan kebutuhan
masing masing.
ISO 19796-1 merupakan guideline untuk membangun sistem e-learning yang
berkualitas. ISO 19796-1 ini dipublikasikan pada bulan Oktober 2005 melalui tim SC36
dan sifatnya lebih spesifik pada Learning, Education and Training, termasuk didalamnya
mencakup e-learning. ISO 19796-1 ini menyediakan RFDQ (Reference Framework for
Description of Quality) untuk peningkatan kualitas sistem elearning. Sebagai standar
referensi, ISO 19796-1 ini menunjukkan skema deskripsi dan model proses yang bisa
digunakan sebagai roadmap untuk membangun sistem e-learning yang komprehensif.
Penelitian sebelumnya mengembangkan penilaian kualitas pada e-learning dan
pendidikan berbasis ISO 19796-1[1]. Berdasarkan definisi yang ada pada pada standar
ISO, maka dibagi tahapan dalam proses adaptasi ISO 19796 kedalam 3 level konsep,
yaitu : kepedulian terhadap kualitas (quality awareness) pada level individu, strategi
untuk meningkatkan kualitas (quality strategy) pada level organisasi dan pengembangan
kualitas (quality development) pada level integrasi dengan stakeholder. Peneliti juga
menekankan perlunya adaptasi dengan kebutuhan stakeholder dalam
mengimplementasikan ISO 19796-1 ini.

3
 Pada tahun yang sama, terdapat penelitian lain yang mengajukan model yang
berbeda untuk mengadaptasi ISO 19796 kedalam sistem e-learning yang telah ada [2].
Berikut gambar fase dalam quality adaptation model.

Gambar 1 Quality Adaptation Model [2]

Peneliti juga mengemukakan key success factor untuk setiap tahapan adaptasi yang
diajukan. Model adaptasi tersebut seperti tergambar pada Gambar 1. Pada gambar
tersebut, terdapat 4 tahapan dalam mengadaptasi ISO 19796-1, yaitu : Context Setting,
Model Adaptation, Implementation and Adoption dan Quality Development.
Penelitian terkini lainnya adalah melakukan implementasi RFDQ yang terdapat dalam
ISO 19796-1 pada Huazhong Normal University [3]. Riset ini dilakukan untuk
melakukan eksplorasi terhadap quality assurance pada platform yang digunakan sistem e-
learning. Analisa kebutuhan (need analysis) dan analisa kerangka kerja (framework
analysis) tentang platform yang akan digunakan diperoleh dengan melakukan wawancara
dan investigasi. Kemudian dilanjutkan dengan mengimplementasikan detail desain
fungsional pada platform.
Pada penelitian ini dilakukan pembuatan aplikasi yang mampu mengukur kualitas
sistem elearning menggunakan ISO 19796-1. Dengan adanya aplikasi penilaian kualitas
sistem elearning tersebut, diharapkan stakeholder sistem elearning mampu mengukur
kualitas sistem elearning yang dimilikinya. Selain itu aplikasi yang dibuat juga
menyediakan fitur pembobotan pada proses yang dinilai, sehingga stakeholder bisa
menentukan prioritas penilaian.

4
ISO 19796-1
ISO 19796 terdiri dari beberapa publikasi. Hubungan dan keterkaitan masing
masing publikasi ISO 19796 dapat dilihat pada Gambar 2.

Gambar 2. Hubungan antar bagian standar ISO 19796 [3]

Pada Gambar 2 disebutkan bahwa standarisasi ISO 19796 yang telah dipublikasikan
adalah part yang diberikan tanda contreng, yaitu Part 1 (Oktober 2005) dan Part 3 (2009).
Sedangkan bagian lain dari ISO 19796 masih dalam proses diskusi dan belum dirilis /
dipublikasikan. ISO 19796 Part 3 merupakan aplikasi dari Reference Process Model yang
ada pada ISO 19796 Part 1. Sedangkan ISO 19796 Part 4 merupakan adaptasi
penggunaan ISO 19796 Part 1. ISO 19796 part 2 adalah integrasi dari ISO 19796 part 1,
part 3 dan part 4.
Dalam penelitian ini, digunakan standarisasi ISO 19796-1. Standar ISO 19796-1
bukan bertujuan untuk sertifikasi, tetapi lebih merupakan sebuah tools yang menyediakan
keseragaman penilaian kualitas, format data agar penilaian kualitas menjadi
interoperable/terstandarisasi, dan menjadi template untuk proses pembuatan,
implementasi dan proses perbaikan kualitas e-learning dalam sebuah organisasi.
Ada 7 kategori pada model proses ISO 19796-1 [4]. Ketujuh kategori tersebut adalah:
NA (Need Analysis), FA (Framework Analysis), CD (Conception/design), DP

5
(Development/production), IM (Implementation), LP (Learning process), dan EO
(Evaluation/optimization).

MODEL PENILAIAN KUALITAS SISTEM E-LEARNING

Model penilaian kualitas sistem elearning yang digunakan pada penelitian ini dapat
dilihat pada Gambar 3. Pada tersebut, terdapat dua aktor yang terlibat dalam aplikasi
penilaian kualitas sistem elearning, yaitu admin dan responden.

Gambar 3. Model penilaian kualitas sistem elearning

Aktivitas user admin adalah melakukan setting data master sebelum pengguna bisa
mengisi kuesioner untuk melakukan penilaian. Setting data awal tersebut meliputi
pengisian identitas elearning, identitas penilaian, dan pengisian bobot prioritas dari
stakeholder untuk tiap proses yang digunakan dalam aplikasi ini. Kemudian aplikasi
melakukan penghitungan bobot prioritas tersebut dengan menggunakan metode AHP
(Analytical Hierarchy Process) hingga menjadi bobot akhir yang digunakan untuk
menentukan urutan prioritas rekomendasi perbaikan sistem.
Aktivitas user responden adalah melakukan penilaian kualitas sistem elearning,
kemudian hasilnya dimasukkan ke dalam kuesioner. Setelah mengisi kuesioner,
responden dapat melihat hasil penilaian yaitu berupa nilai kualitas sistem dan
rekomendasi perbaikan sistem elearning.

6
 Mekanisme perhitungan nilai kualitas sistem adalah mengacu pada model self-
assessment Johnson [4] sebagai berikut :
1. Sistem menghitung bobot penilaian untuk tiap kriteria. Bobot ini digunakan untuk
mengetahui nilai kualitas kriteria. Penghitungan bobot penilaian untuk tiap kriteria
dilakukan secara proporsional / berimbang, sesuai dengan persamaan (1), (2) dan (3).

(1)...............................................Bobot_Nilai_Tiap_Kategori = 100 / Jumlah Kategori

(2)............................Bobot_Nilai_Tiap_Proses = Nilai_Tiap_Kategori/ Jumlah Proses
(3)........................................Bobot_Nilai_Kriteria=Nilai_Tiap_Proses/Jumlah Kriteria

Dengan demikian, skala penilaian nilai total kualitas adalah 0 -100, dimana nilai
kualitas yang semakin besar (kearah 100) menyatakan bahwa kualitas e-learning
semakin bagus. Begitu juga sebaliknya.
2. Melakukan penilaian kualitas sistem e-learning dengan cara menyebarkan kuesioner
kepada responden. Untuk setiap jawaban Ya mendapatkan nilai 1, dan jawaban Tidak
mendapatkan nilai 0.
3. Penilaian user kemudian dimasukkan kedalam sistem, sehingga kemudian sistem
melakukan penghitungan nilai total kualitas dengan melakukan persamaan (4) dan
dilanjutkan dengan persamaan (5).

(4).Nilai_Kualitas_Kriteria = Nilai_Rata_ Kriteria_dari_User * Bobot_Nilai_ Kriteria

(5)..................................................... Nilai_Total_Kualitas = Nilai_Kualitas_ Kriteria

Setelah proses penilaian telah dilakukan oleh sistem, maka langkah selanjutnya
adalah sistem melakukan perhitungan rekomendasi untuk perbaikan sistem elearning.
Berikut ini mekanisme untuk menentukan prioritas rekomendasi:
1. Urutkan nilai kualitas proses, mulai dari yang terendah sampai tertinggi. Ambil 5
proses dengan nilai kualitas proses terendah
2. Urutkan 5 proses terpilih tersebut sesuai dengan bobot prioritas absolut proses, mulai
dari bobot prioritas absolut yang tertinggi sampai terendah.

7
3. Cari kriteria dalam proses sesuai urutannya yang memiliki nilai tidak sempurna.
Untuk mencari nilai sempurna adalah sebagai berikut. Nilai yang diberikan oleh
pengguna untuk tiap kriteria/pertanyaan adalah 0 atau 1. Nilai dari pengguna tersebut
kemudian dirata rata, lalu dikalikan dengan nilai/bobot proporsi berimbang kriteria
tersebut. Dengan demikan, nilai sempurna suatu kriteria sama dengan nilai maksimal
dari pengguna (=1) dikalikan dengan nilai/bobot proporsi berimbang kriteria tersebut.
4. Pemberian rekomendasi berdasarkan kriteria yang memenuhi langkah 3, sedangkan
urutannya sesuai dengan langkah 2.

HASIL DAN PEMBAHASAN

Dari aplikasi yang telah dibuat, maka dilakukan pengujian untuk mengetahui
keberhasilan aplikasi yang dibuat. Skenario uji coba tersebut dilakukan pada kondisi
pembobotan prioritas untuk semua kategori dan proses adalah sama penting (=1).
Pengujian dilakukan dengan menggunakan 2 skenario sebagai berikut :
1. Skenario uji coba 1, dilakukan pengisian dengan kondisi terbaik (best case), yaitu
semua kriteria diisi dengan nilai 1.
2. Skenario uji coba 2, dilakukan pengisian dengan kondisi terburuk (worst case), yaitu
semua kriteria diisi dengan 0.
Hasil pengujian skenario 1 seperti pada Gambar 4. Pada gambar tersebut
menunjukkan bahwa nilai total kualitas sistem yang diperoleh pada kondisi terbaik adalah
100.000003.

Gambar 4. Nilai Total Kualitas Sistem E-learning dengan kondisi terbaik

8
 Adanya pembulatan angka desimal menjadikan nilai pada kondisi terbaik tidak bisa
sempurna menjadi angka 100. Untuk rekomendasi perbaikan sistem dapat dilhat pada
Gambar 5. Tidak ada kategori dan proses yang tampil menjadi rekomendasi perbaikan
sistem elearning karena semua kriteria/pertanyaan memiliki nilai sempurna (=1).

Gambar 5. Nilai Detail Kualitas dan Rekomendasi Perbaikan dengan kondisi terbaik

Hasil pengujian skenario 2 seperti pada Gambar 6. Nilai total kualitas sistem pada
kondisi terburuk adalah 0.000000. Dengan kondisi tersebut, maka proses yang
seharusnya muncul sebagai rekomendasi perbaikan sistem adalah proses yang memiliki
bobot proporsi yang lebih besar dibanding proses lainnya.

Gambar 6. Nilai Total Kualitas Sistem E-learning dengan kondisi terburuk

Secara berurutan bobot proporsional proses dalam tiap kategori mulai dari terbesar ke
terkecil adalah sebagai berikut :

9
1. Kategori Learning Process (memiliki 3 proses)
2. Kategori Need Analysis (memiliki 4 proses)
3. Kategori Evaluation/Optimization (memiliki 4 proses)
4. Kategori Development/Production (memiliki 5 proses)
5. Kategori Implementation (memiliki 5 proses)
6. Kategori Framework Analysis (memiliki 6 proses)
7. Kategori Conception/Design (memiliki 11 proses)

Gambar 7. Nilai Detail Kualitas dan Rekomendasi Perbaikan dengan kondisi terburuk

Terdapat 5 proses teratas yang dijadikan rekomendasi perbaikan sistem, yaitu : 3

proses yang berasal dari kategori Learning Process dan 2 proses lainnya berasal dari
kategori Need Analysis. Hal ini sama dengan hasil yang diperoleh dari perhitungan
aplikasi, seperti pada Gambar 7.

10
 Dari kedua skenario yang telah diuji coba terlihat bahwa aplikasi yang dibuat mampu
melakukan perhitungan dengan baik. Hal ini dapat dilihat pada kondisi terbaik dan
kondisi terburuk, aplikasi dapat melakukan perhitungan dengan benar. Selain itu, hasil
penelitian juga mengimplikasikan bahwa semakin besar bobot proporsi suatu kriteria,
maka semakin besar pengaruhnya terhadap nilai kualitas sistem elearning. Sehingga jika
kriteria kriteria dengan bobot proporsi tinggi tersebut belum mencapai nilai sempurna,
maka dapat menurunkan nilai kualitas sistem elearning secara keseluruhan.

KESIMPULAN DAN SARAN

Dari keseluruhan rangkaian penelitian penelitian ini, maka dapat ditarik kesimpulan :
1. Aplikasi yang dibuat mampu mengukur kualitas sistem elearning, dengan
menggunakan penilaian dari responden. Untuk penilaian yang dilakukan oleh lebih
dari satu responden, maka nilai kualitas yang ditampilkan adalah nilai rata ratanya.
2. Dengan menggunakan bobot prioritas dari stakeholder, maka aplikasi juga mampu
memberikan rekomendasi bagi perbaikan kualitas sistem.

Beberapa pengembangan yang dapat dilakukan dari hasil penelitian ini adalah sebagai
berikut :
1. Pengembangan kriteria yang diajukan dalam penelitian ini masih bisa diperbanyak
dan dilengkapi lagi selama kriteria tersebut sesuai dengan deskripsi kategori dan
proses pada ISO 19796-1.
2. Untuk hasil penilaian yang lebih obyektif, maka bisa menggunakan penilaian dari
responden dengan teknik pengambilan sampling sesuai kaidah statistik.

DAFTAR PUSTAKA
[1] Stracke, C.M (2007): "Quality Development and Quality Standards in e-Learning:
Adoption, Implementation, and Adaptation", Proceedings of World Conference on
Educational Multimedia, Hypermedia and Telecommunication, AACE, 4158-4165
2007

11
[2] Pawlowski, J. M., The Quality Adaptation Model: Adaptation and Adoption of the
Quality Standard ISO/IEC 19796-1 for Learning, Education, and Training Educati-
onal Technology & Society, 10 (2), 3-16, 2007
[3] Zhou, P., Design of Distance Teaching Platform Based on Quality Assurance
Standard, First International Workshop on Education Technology and Computer
Science, 2009
[4] ISO/IEC JTC 1, ISO 19796-1, Information technology Learning, education and
training Quality management, assurance and metrics Part 1:General approach,
Geneva, 2005

12