Studi Delphi Mengidentifikasi

Kriteria Untuk Mengevaluasi

Perangkat Lunak E-Learning

Miftahul Hasanah
Sonia Carasscalao
Table of Contents
03. Metodologi

01. Pendahuluan
Hasil dan Pembahasan
04.

02. Penelitian Serupa

05. Kesimpulan
 01
Pendahuluan
 Pendahuluan
Pertumbuhan pesat teknologi e-Learning telah memotivasi organisasi untuk menerapkan e-Learning di dalam
organisasi mereka. e-Learning mengacu pada semua teknologi yang dapat mendukung pendidikan dan pelatihan, Teknologi
ini telah menjadi sarana umum untuk menyebarkan pengetahuan kepada peserta didik yang mungkin berasal dari berbagai
organisasi termasuk institusi akademik, e-Learning umumnya didukung oleh software e-Learning (e-LS), sebuah software
yang dapat digunakan untuk menyesuaikan atau mengembangkan aplikasi e-Learning, e-LS dapat dikategorikan ke dalam
Sistem Manajemen Konten Pembelajaran (LCMS), Daripada e-LS ini, organisasi dapat memilih alat penyebaran perangkat
lunak, seperti produk Java Enterprise Beans, Microsoft.NET, Borland Enterprise Server dan IBM Optimiselt, Sistem
Manajemen Pembelajaran (LMS) dan Sistem Manajemen Konten, Kriteria untuk e-LS perlu diidentifikasi untuk membantu
organisasi dalam proses evaluasi dan pemilihan e-LS berdasarkan kebutuhan mereka. Pilihan e-LS yang salah dapat terjadi
karena kurangnya pengetahuan tentang kriteria yang dipertimbangkan dalam proses evaluasi. Untuk mendapatkan daftar
lengkap kriteria e-LS, pandangan para ahli dalam evaluasi e-LS juga diperlukan untuk memastikan bahwa organisasi
diberikan berbagai kriteria untuk evaluasi e-LS.
 02
Penelitian Serupa
Penelitian Serupa
SQM memberikan kriteria untuk mengevaluasi aspek teknis produk, seperti fungsionalitas, keandalan, kegunaan,
efisiensi, pemeliharaan, dan portabilitas. ISO9126-1 secara khusus memanfaatkan setiap aspek teknis di atas sebagai
kriteria untuk mengevaluasi kualitas perangkat lunak. Definisi dari setiap kriteria dalam model kualitas ISO 9126-1
dapat ditemukan sebagai berikut:

Fungsionalitas
Kemampuan sistem perangkat lunak
untuk memenuhi fungsi yang dinyatakan
ketika sistem digunakan dalam kondisi
yang ditentukan.
Reabilitas
Kemampuan sistem perangkat lunak
untuk mempertahankan tingkat kinerjanya
di bawah kondisi yang dinyatakan untuk
jangka waktu tertentu.

Pemeliharaan Probabilitas
Kemampuan sistem perangkat lunak yang Kemampuan produk perangkat lunak
akan dimodifikasi. untuk ditransfer dari satu lingkungan ke
lingkungan lain.

Kegunaan Efisiensi
Kemampuan sistem perangkat lunak
Kemampuan sistem perangkat lunak
untuk dipahami, dipelajari, dan menarik
untuk memberikan kinerja yang sesuai
bagi pengguna.
dengan jumlah sumber daya yang
digunakan.
 03
Metodologi
Metodologi
Metode Delphi digunakan untuk mengidentifikasi dan mengurutkan kriteria dan subkriteria.
Metode Delphi dibuat di Rand Corporation pada tahun 1950-an, Metode ini dianggap
sebagai metode penelitian yang dapat diandalkan untuk digunakan dalam pemecahan
masalah, pengambilan keputusan, dan konsensus kelompok di berbagai bidang termasuk
pemilihan perangkat lunak. Metode Delphi dipilih karena konsensus tentang kepentingan
relatif dari kriteria yang dibutuhkan. Contoh proses dalam melakukan survei delphi adalah
sebagai berikut :
 01 03 05
Mengidentifikasi kriteria dan sub kriteria Uji coba kuesioner menganalisis data melakukan survei delphi : putaran 2
dari literatur analisis data

Membuat kuesioner berdasarkan kriteria Melakukan survei delphi: putaran 1

yang diidentifikasi dari literatur analisis data

04
02
 Mengidentifikasi kriteria dan sub-kriteria dari literatur

Pencarian kriteria evaluasi e-LS diarahkan untuk mencari makalah yang diterbitkan di jurnal
arsip, prosiding konferensi dan laporan teknis dari database elektronik. Pencarian dilakukan dengan
menjelajahi situs web Google Scholar, Web of Science dan ISI web of Knowledge. . Kriteria e-LS
dikumpulkan dari berbagai sumber - jurnal, buku referensi, website dan disertasi tesis. Selain itu,
manual membaca manual judul dan abstrak makalah yang diterbitkan, jurnal dan makalah konferensi
yang berpotensi relevan juga diperoleh dari perpustakaan untuk mengidentifikasi sumber literatur
yang sesuai. Kriteria dan subkriteria yang diperoleh dari literatur dikumpulkan dan digunakan dalam
pembuatan kuesioner untuk studi Delphi.
 Responden

Kriteria e-LS diperoleh dari berbagai sumber literatur. Karena kriteria diperoleh dari berbagai sumber,
maka harus divalidasi oleh para ahli untuk memastikan bahwa kriteria tersebut penting untuk evaluasi e-
LS.Dimana responden dalam penelitian ini dipilih dari organisasi yang menerapkan e-Learning yang terdiri
dari pengambil keputusan, akademisi, dan pakar teknis yang memiliki pengetahuan dan pengalaman yang
baik dalam proyek e-Learning.
 Menyusun Kuesioner

Kriteria evaluasi teridentifikasi dari pustaka yang disusun dalam kuisioner untuk diberikan
kepada responden terpilih yang terdiri dari para ahli. Kuesioner dibagi menjadi Bagian A, Bagian B
dan Bagian C. Informasi dari putaran pertama dikumpulkan dan digunakan untuk menyusun
kuesioner untuk putaran kedua survei. Kuesioner yang digunakan pada putaran kedua terdiri dari
bagian yang sama dengan kuesioner pada putaran pertama.
 Melakukan Survey

Metode Delphi dibutuhkan minimal dua putaran survei dan kebanyakan studi hanya
menggunakan dua atau tiga putaran untuk mendapatkan konsensus para ahli. Pada babak pertama,
para ahli diminta untuk membuat peringkat kriteria yang diidentifikasi dari literatur dan memberikan
kriteria tambahan. Di babak kedua, ahli yang sama diberikan hasil babak pertama. Tujuan putaran
kedua adalah untuk mencapai konsensus mengenai kepentingan relatif dari kriteria yang dihasilkan
dari putaran pertama.
 Analisis Data

Microsoft Excel 2010 dan SPSS versi 15.0 digunakan dalam analisis data. Microsoft Excel
2010 digunakan untuk mentabulasi kriteria yang diidentifikasi dan dikumpulkan dari literatur.
Sedangkan SPSS versi 15.0 digunakan untuk menganalisis konsensus dan prioritas kriteria di antara
para ahli. Untuk menganalisis data yang diperoleh dari survei Delphi digunakan statistik deskriptif.
Analisis tersebut meliputi:
a. Analisis kesepakatan ahli tentang kriteria dan subkriteria.
b. Analisis prioritas kriteria menurut para ahli.
 04
Hasil dan
Pembahasan
 Pertanyaan penelitian satu (1):
Kriteria dan subkriteria apa dari studi
Kriteria dari sebelumnya yang relevan untuk evaluasi e-LS?

literatur Dari literatur, 11 kriteria dan 66 sub-kriteria

diidentifikasi relevan untuk evaluasi e-LS.
Dari Tabel 1 terlihat bahwa
beberapa kriteria memiliki
kutipan yang lebih banyak
dibandingkan kriteria lainnya.
Gbr. 2 memisahkan sebelas kriteria yang
dikutip menurut kategori SQM dan
COTS dan mencantumkan kriteria di
setiap kelompok dalam urutan nomor
kutipan.
 Kriteria yang ditambahkan
oleh Ahli

Tabel 2 Hasil survei Delphi menunjukkan bahwa

tidak ada kriteria yang ditambahkan ke daftar yang
ada oleh para ahli. Namun mereka menambahkan 15
sub-kriteria. 
Konsensus kriteria dan subkriteria di antara para ahli

Para ahli memberikan pendapatnya tentang

kriteria dan subkriteria yang diperoleh dalam
penelitian ini. Skor IQR dan Median dianalisis.
Tabel 3 sampai 13 menyajikan konsensus di
antara para ahli untuk semua subkriteria di
bawah masing-masing dari sebelas kriteria dan
pergerakan menuju konsensus di Putaran
Pertama dan Putaran Kedua.
Tabel 4 menampilkan konsensus para ahli untuk sembilan sub-
kriteria di bawah kriteria Maintainability. Setelah Putaran Kedua,
Modularitas, dan subkriteria yang baru ditambahkan, Ekspansi,
mencapai Konsensus Tinggi dengan nilai IQR 0. Dua subkriteria
yang baru ditambahkan, Perangkat Lunak Kerusakan dan
Pencegahan Kesalahan memperoleh Konsensus Baik dengan nilai
IQR 1. Sub -kriteria seperti Changeability, Stability, Analyzability
dan Scalability juga memperoleh Konsensus Baik dengan nilai IQR
1. Hanya satu kriteria, Testability, menerima Moderate Consensus
dengan nilai IQR 2.
Tabel 5 menggambarkan konsensus para ahli untuk sepuluh sub-
kriteria di bawah Kegunaan. Setelah Putaran Kedua, satu sub-kriteria,
Konten Pembelajaran, dan sub-kriteria baru yang ditambahkan,
Accessibility Control, menerima Konsensus Tinggi dengan nilai IQR
0. Tujuh sub-kriteria – Understandability, Learnability, Operability
Customizability, Hypermediality, Support Tools dan Presentation
memperoleh Konsensus Baik dengan nilai IQR 1. Satu sub kriteria,
Antarmuka Pembelajar, mencapai Konsensus Sedang dengan nilai
IQR 2.
Konsensus para ahli untuk setiap sub-kriteria di bawah
kriteria Reliabilitas disajikan pada Tabel 6. Setelah Putaran
Kedua, sub-kriteria yang baru ditambahkan, Error
Reporting, menerima Konsensus Tinggi dengan nilai IQR
0. Dua subkriteria– Fault Tolerance dan Backup Recovery
memperoleh Konsensus Baik dengan nilai IQR 1. Satu
subkriteria - Maturitas mencapai Konsensus Sedang dengan
nilai IQR 2. Konsensus untuk subkriteria ini konsisten
untuk kedua putaran.
Tabel 7 menunjukkan konsensus para ahli yang
diperoleh untuk setiap sub-kriteria di bawah kriteria
Portabilitas. Setelah Putaran Kedua, Kesesuaian
menjadi satu-satunya subkriteria yang memperoleh
Konsensus Tinggi dengan nilai IQR 0. Subkriteria
lainnya termasuk subkriteria yang ditambahkan,
Standarabilitas, mencapai Konsensus Baik.
Tabel 8 menampilkan konsensus yang diperoleh
untuk tiga subkriteria di bawah kriteria Efisiensi.
Setelah Putaran Kedua, ketiga sub kriteria Perilaku
Waktu, Perilaku Sumber Daya dan Kapasitas Memori
memperoleh Konsensus Tinggi dengan nilai IQR 0.
Tidak ada sub kriteria tambahan di bawah Efisiensi.
Tingkat konsensus untuk Perilaku Waktu meningkat
dari Baik ke Tinggi sementara tingkat konsensus
untuk Perilaku Sumber Daya dan Kapasitas Memori
konsisten di kedua putaran. Karena skor Median
untuk semua subkriteria lebih dari 3,5, ketiga
subkriteria diterima.
Tabel 9 menunjukkan konsensus yang diperoleh
untuk setiap sub-kriteria di bawah kriteria
Biaya. Setelah Putaran Kedua, lima subkriteria -
Biaya Perizinan, Biaya Implementasi, Biaya
Pemeliharaan, Biaya Upgrade, Biaya Pelatihan
dan subkriteria tambahan, Biaya Marjinal,
mencapai Konsensus Baik dengan nilai IQR 1.
Dua subkriteria - Biaya Pengembangan dan
Biaya Perangkat Keras menerima Konsensus
Sedang dengan nilai IQR 2.
Tabel 10. Setelah Putaran Kedua, dua sub-kriteria -
Reputasi dan Pelatihan menerima Konsensus Tinggi
dengan nilai IQR 0. Delapan sub-kriteria - Layanan ,
Panduan Pengguna, Panduan Mengatasi Masalah,
Pemeliharaan dan Peningkatan, Komunikasi, Demo,
Keterampilan Teknis dan Bisnis, dan Pengalaman Bisnis
Sebelumnya memperoleh Konsensus Baik dengan nilai
IQR 1. Empat sub-kriteria– Dukungan dan Konsultasi,
Tutorial, Waktu Respons dan Lama Pengalaman yang
diperoleh Konsensus Sedang dengan nilai IQR 2.
Tabel 11 menunjukkan konsensus yang diperoleh untuk
setiap sub-kriteria di bawah kriteria Organisasi. Setelah
Putaran Kedua, semua subkriteria memperoleh
Konsensus Baik dengan nilai IQR 1. Tidak ada tambahan
subkriteria untuk Organisasi. Tingkat konsensus konsisten
untuk semua subkriteria yang ditunjukkan dengan nilai
IQR yang sama di kedua putaran. Ada juga peningkatan
nilai Median untuk Sumber Daya Organisasi dari (Nilai
Median = 3 di Putaran Pertama) menjadi (Nilai Median =
4 di Putaran Kedua). Hal ini menunjukkan bahwa jumlah
ahli yang setuju dengan Sumber Daya Organisasi sebagai
subkriteria semakin meningkat.
Tabel 12 menunjukkan konsensus yang diperoleh
untuk setiap sub-kriteria di bawah kriteria
Manfaat Produk. Setelah Putaran Kedua,
Produktivitas Pengguna, sub-kriteria tambahan,
memperoleh Konsensus Tinggi dengan nilai IQR
0. Dua sub-kriteria tambahan lainnya, Layanan
Purna Jual, menerima Konsensus Baik sementara
Penghematan Biaya mencapai Konsensus
Sedang. Dua sub-kriteria, Kepuasan Pengguna
dan Kemudahan Penggunaan keduanya
mencapai Konsensus Sedang.
Tabel 13 menunjukkan konsensus untuk setiap
sub-kriteria di bawah kriteria Risiko dan
Ketidakpastian. Setelah Putaran Kedua, satu
subkriteria- Risiko Vendor memperoleh
Konsensus Baik dengan nilai IQR 1. Empat
subkriteria tambahan juga menerima Konsensus
Baik. Risiko Produk dan Bug Perangkat Lunak
sama-sama mencapai Konsensus Sedang dengan
nilai IQR 2.
Secara keseluruhan, 15,85% dari 82 subkriteria
mendapatkan konsensus ahli yang tinggi; 64,63%
memperoleh konsensus yang baik sedangkan 19,15%
mencapai konsensus sedang seperti yang digambarkan
pada Gambar 2. Ini menunjukkan bahwa para ahli
setuju bahwa subkriteria ini harus dipertimbangkan
dalam evaluasi e-LS.
Kriteria dan subkriteria e-LS berdasarkan prioritas

Rerata dan deviasi standar juga dianalisis untuk

mengidentifikasi prioritas kriteria dan subkriteria yang
dirangking oleh para ahli. Dari sebelas kriteria yang
diidentifikasi dalam literatur, tiga kriteria - Fungsionalitas,
Kegunaan dan Keandalan diberi peringkat sangat penting
seperti yang ditunjukkan pada Tabel 14.

Hasil ini menjawab pertanyaan penelitian keempat tentang

kriteria apa yang penting berdasarkan prioritas menurut para
ahli. Studi ini menemukan bahwa kesebelas kriteria dan enam
puluh enam subkriteria penting dan dapat digunakan dalam
evaluasi dan pemilihan e-LS.
 05
Kesimpulan
 Kesimpulan
Studi Delphi yang melibatkan para ahli, yang pertama dari jenisnya, untuk mengidentifikasi kriteria
evaluasi untuk e-LS. Konsensus ahli tentang kriteria dan subkriteria dicari dan kemudian dianalisis
berdasarkan nilai IQR dan Median. Pemeringkatan ahli dari kriteria dan subkriteria berdasarkan
prioritas juga dianalisis. Studi ini mengidentifikasi total sebelas kriteria dan delapan puluh satu sub-
kriteria untuk evaluasi e-LS. Dari delapan puluh satu subkriteria, enam belas disediakan oleh para
ahli. Dari sebelas kriteria, tiga diurutkan Sangat Penting dan delapan di peringkat Penting. Tiga
kriteria yang dianggap Sangat Penting adalah Fungsionalitas, Portabilitas, dan Kegunaan. Daftar
kriteria dan subkriteria yang telah divalidasi ini dapat digunakan dalam evaluasi dan pemilihan e-LS.
Dalam studi berikutnya, kami akan menyelidiki bagaimana kriteria ini dapat diintegrasikan dalam
model keputusan untuk membantu organisasi dalam proses evaluasi dan pemilihan e-LS.  
 Thank You!
Do You Have Any Questions?

CREDITS: This presentation template was created by Slidesgo, including icons by

Flaticon, infographics & images by Freepik

Please keep this slide for attribution