Anda di halaman 1dari 7

EVALUASI PENYELENGGARAAN E-LEARNING BERBASIS WEB

Anasufi Banawi ABSTRACT This essay is explains the iterative and complicated steps required to evaluate a Web-based training course (for example: e-learning). Implementation and evaluation are shown on the ADDIE model to be two separate and linear steps. In reality this is a messy process in which evaluation happens at a number of points. At each step of the ADDIE process, it is important to check back to determine whether the analysis is still accurate, design is appropriate, and the development consistent with the programs goals and objectives. Because WBT is a technology involving many parts of the organization, it is essential to have a well-structured plan to pilot, evaluate, and implement it. Although implementation and evaluation are the final steps in the process, they are important. Corrections are easier and less costly to make before a program is implemented enterprise-wide. The use of SME evaluations, rapid prototypes, alpha classes, and pilots are part of the iterative process that little by little perfects the program. From this essay it can be concluded that like traditional classroom programs, a Web-based training program (for example: e-learning) can be evaluated using Kirkpatricks four levels (as it applies to e-learning). Kata kunci: Evaluasi, WBT program, e-learning, model ADDIE, Teori Empat Level Kirkpatrick PENDAHULUAN Pemanafaatan internet untuk pendidikan (misalnya e-learning) tidak hanya untuk pendidikan jarak jauh, seperti Universitas Terbuka dan Sekolah-sekolah Terbuka. Bahan ajar dibuat interaktif dan menarik sehingga kualitas belajar kelas on-line tidak kalah dengan belajar dalam kelas biasa dalam sistem pendidikan konvensional. Kini, perguruan tinggi dan sekolah menengah banyak yang mengembangkan dan menyediakan pembelajaran berbasis internet untuk mendukung sistem pendidikan konvensional. Namun, suatu inovasi selalu saja menimbulkan pro dan kontra. Yang pro dengan berbagai dalih meyakinkan akan manfaat kecanggihan teknologi ini seperti: memudahkan komunikasi, sumber informasi dunia, memudahkan kerjasama, hiburan, berbelanja, dan kemudahan aktivitas lainnya. Sebaliknya yang kontra menunjukan sisi negatifnya, antara lain: biaya relatif besar dan mudahnya pengaruh budaya asing. Oleh karena itu sangat penting dilakukan kajian, penelitian, dan pengembangan model elearning termasuk evaluasi terhadap penyelenggaraan e-learning itu sendiri (Pandia, 2007) Anda telah menjalankan e-learning selama satu tahun dan tampaknya sukses. Tibatiba datang e-mail atasan yang meminta laporan evaluasi. Anda bingung, kenapa mereka

Anasufi Banawi, S.Pd., M.Pd., adalah Dosen Tisika pada Fakultas Tarbiyah IAIN Ambon.

meminta laporan evaluasi? Bukankah mereka dapat melihat sendiri bahwa tidak ada masalah dengan penerapan e-learning selama ini? Sayangnya, jumlah pengguna e-learning dan mulusnya teknologi yang Anda pasang tidak langsung membuktikan kesuksesan praktik e-learning. Data tersebut memang dapat menjadi salah satu faktor yang mendukung kesuksesan e-learnig, tetapi Anda tidak dapat berhenti tanpa menggali lebih dalam mengenai kesuksesan e-learning yang dilaksanakan. Lebih lanjut, evaluasi yang dilakukan tidak hanya berdasarkan pengamatan, melainkan harus memiliki bukti konkrit berupa laporan yang berdasarkan pelaksanaan evaluasi terstruktur. Alasan kita mengadakan evaluasi dapat kita lihat dari sudut pandang pihakpihak yang terlibat e-learning, yaitu organisasi dan manajemen, departemen pelatihan atau pengajar, dan anggota organisasi atau pelajar (Empy Efenndi & Zhuang, 2005: 158). Penyelenggaraan pendidikan bukan sesederhana mengadakan peralatan laboratorium komputer. Dampak pendidikan akan meliputi banyak orang dan menyangkut banyak aspek. Oleh karena itu, kegiatan pendidikan termasuk penyelenggaraan e-learning harus dievaluasi agar dapat dikaji apa kekurangannya dan kekurangan tersebut akan dapat dipertimbangkan untuk pelaksanaan pendidikan pada waktu lain. Evaluasi program dimaksudkan untuk melihat pencapaian target program. Untuk menentukan seberapa jauh target program sudah tercapai, yang dijadikan tolak ukur adalah tujuan yang sudah dirumuskan dalam tahap perencanaan kegiatan. Evaluasi program biasanya dilakukan untuk kepentingan pengambil kebijaksanaan untuk menentukan kebijaksanaan selanjutnya. Dengan evaluasi program, langkah evaluasi bukan hanya dilakukan serampangan saja tetapi sistematis, rinci, dan rnengguakan prosedur yang sudah diuji secara cermat. Dengan metode-metode tertentu maka akan diperoleh data yang andal dan dapat dipercaya. Penentuan kebijaksanaan akan tepat apabila data yang digunakan sebagai dasar pertimbangan tersebut benar, akurat, dan lengkap (Suharsimi, 2006: 291-292). Tulisan ini akan mencoba menjelaskan bagaimana melakukan evaluasi terhadap e-learning yang telah diselenggarakan. TEORI TENTANG EVALUASI E-LEARNING Banyak teori yang beredar diindustri e-learning membahas apa yang harus diukur dan dapat diukur. Akan tetapi, dunia pelatihan dan e-learning saat ini terus berubah sehingga kita sulit menentukan dan mendefinisikan dengan tepat ukuran yang harus dipakai. Teori paling sederhana tentang pengukuran atau evaluasi e-learning adalah menggunakan ukuran yang sama dengan yang digunakan untuk mengukur pelatihan di kelas. Cara evaluasi paling tradisional adalah mengukur jumlah peserta yang mengikuti pelatihan dan reaksi mereka tentang pelatihan. Filosofi yang harus diikuti sebagai hasil evaluasi tradisional adalah mengisi ruang kelas sepenuh mungkin. Semakin penuh ruang kelas, semakin baik hasil yang didapat. Selain teori di atas, untuk mengevaluasi pembelajaran berbasis web (WBT/WebBase training) termasuk didalamnya e-learning, maka perlu digunakan model ADDIE. Model ADDIE (Analyze, Design, Develop, Implement, dan Evaluate), seperti pada Gambar 1. ADDIE ini digunakan untuk menganalisa, merancang, mengembangkan, mengimplementasikan dan mengevaluasi proyek e-learning. Model ADDIE ini memudahkan team untuk mengikuti struktur keorganisasian. Oleh karena itu, para manajer organisasi sangat penting memiliki wawasan yang bagus mengenai model ini dan mampu menjelaskan tugas terkait dengan fase analisis. Hal yang akan dianalisis meliputi tujuan pembelajaran, lingkungan, audience (peserta), infrastruktur dan budaya.

Para perancang pengajaran (instructional) dan pengembang kursus akan mampu mengidentifikasi perbedaan antara tugas-tugas yang diperlukan untuk menganalisa program kelas tradisional atau klasikal dan hal-hal yang diperlukan untuk membuat program e-learning (Driscoll, 2002: 82-83).

Gambar 1. Model ADDIE

Donald Kirkpatrick mengeluarkan teori evaluasi pelatihan yang terdiri atas 4 (empat) level pada tahun 1994 dalam bukunya Evaluating Training Programs: The Four Levels, sebagai berikut: 1. Level 1/Reaction: Mengukur efektivitas pelatihan berdasarkan persepsi dan reaksi pelajar sendiri. 2. Level 2/Learning: Mengukur keberhasilan pelatihan berdasarkan pencapaian tujuan pelatihan yang telah ditetapkan. 3. Level 3/Transfer Behavior: Mengukur keberhasilan pelatihan berdasarkan peningkatan kinerja pelajar di lingkungan pekerjaan. 4. Level 4/Business Result: Mengukur keberhasilan pelatihan berdasarkan perubahan pada organisasi atau bisnis yang disebabkan pelatihan. Jack J. Phillips menambahkan satu level sebagai lanjutan evaluasi level 4 yang disebut level 5/ROI (Return on Investment). Di level 5, kita akan membandingkan hasil akhir level 4 dengan biaya yang kita keluarkan untuk pelatihan. Jadi, level 5 hanya meneruskan sedikit hasil evaluasi level 4, yaitu menambahkan komponen biaya pelatihan. Jadi, kita melakukan perbandingan antara biaya dengan keuntungan dalam nilai rupiah. Masing-masing perusahaan mempunyai model dan cara pengukuran sendiri dan mungkin berbeda satu sama lain. Walaupun demikian, semuanya ditujukan untuk membandingkan hasil dan biaya yang dikeluarkan untuk penerapan e-learning. Pengukuran ROI adalah ukuran yang terbaik, meski pengukuran ROI sangat sulit dilakukan. Oleh karena itu, walaupun para pakar e-learning terus menggembargemborkan penggunaan ROI, kenyataannya, hanya sedikit perusahaan yang benar-benar menerapkan. Dari penjelasan singkat di atas, tampak bahwa semakin tinggi level evaluasi, semakin dekat hasil hubungan evaluasi dengan tujuan organisasi. Sungguhpun demikian, semakin tinggi level evaluasi tersebut, semakin sulit pula melakukannya. Oleh karena itu, organisasi-organisasi di dunia melakukan implementasi evaluasi beragam. Menurut survei American Society of Training and Development (ASTD) tahun 2002, 78% organisasi menerapkan evaluasi level 1. Evaluasi level 2 dilakukan oleh 32% 3

organisasi. Evaluasi level 3 hanya dilakukan oleh 9% organisasi. Kemudian, hanya segelintir (6%) organisasi menerapkan evaluasi level 4. TAHAPAN EVALUASI DALAM MODEL ADDIE Implementasi dan evaluasi yang ditunjukkan dalam model ADDIE sebagai dua tahap yang terpisah dan sifatnya linier. Pada kenyataannya, ini merupakan proses yang morat-marit dimana evaluasi terjadi pada sejumlah point. Di setiap tahap dari proses ADDIE, penting untuk mengecek ulang dalam menentukan apakah analisis masih akurat, apakah rancangan sudah sesuai/tepat, dan apakah pengembangan konsisten dengan tujuan dan sasaran program. Driscoll (2002) mengungkapkan empat tahap evaluasi dalam model ADDIE yaitu: SME, Rapid Prototype, Alpha Class, dan Pilotting dapat dijelaskan sebagai berikut: 1. Subject-Matter Expert (SME) Merupakan tahapan penilaian materi oleh para ahli. Untuk bisa melakukan evaluasi SME diperlukan orang yang: 1) mengetahui dengan baik seluk-beluk audience (peserta), 2) berpengalaman dalam mengembangkan CBT (Computer-based training), dan 3) berpengalaman dalam mengembangkan WBT (Web-based training) dan mengetahui masalah teknik dan masalah pembelajaran. Dari hasil evaluasi SME dapat diketahui kesalahan dan ketidakakuratan tampilan materi serta teridentifikasinya masalah operasional (teknik) dan masalah pembelajaran. Pelaksanaan evaluasi dilakukan setelah rampungnya: storyboards (alur materi), blueprint (kisi-kisi materi), scripts (tulisan/naskah), dan navigation (tombol perintah/petunjuk). Syarat yang harus terpenuhi pada tahap ini, yaitu: naskah baru (naskah lama yang sudah diperbaiki) makin baik, kekeliruan yang terungkap diperbaiki untuk memudahkan umpan balik. 2. Rapid Prototype Merupakan tahapan evaluasi untuk menguji keberfungsian materi yang telah dibuat (materi sifatnya masih kasar). Jadi tahap ini merupakan pembuatan dan uji pakai awal materi. Dari evaluasi ini, dapat diketahui masalah-masalah yang berkaitan dengan interface (bidang tampilan), navigation (petunjuk), flow of path (tombol), instructional strategies (strategi pembelajaran), dan client satisfaction (kepuasan pengguna). Pelaksanaan evaluasi sangat berkaitan dengan pembuatan modul pembelajaran untuk pertama kalinya. Syarat yang harus terpenuhi pada tahap ini, yaitu: audience yang diminta tanggapannya representatif dan bukan ala kadarnya. Beberapa langkah yang berkaitan dengan Rapid Prototype, adalah: buat sebuah rencana pembelajaran; identifikasi peserta didik; kembangkan sebuah rencana untuk umpan balik; satu produk untuk satu sesi pembelajaran; jelaskan tujuan pembelajaran; buat lingkungan menjadi menyenangkan; beri catatan anekdok.

Beberapa pertanyaan yang dapat mengungkapkan evaluasi pada tahap Rapid Prototype, adalah: Isi Materi:

Apa perintah dalam materi jelas? Apakah perintah materi objektif? Kata-kata mudah dimengerti? Ada contoh soal dalam materi? Apakah praktis? Saat Browsing: Apa icon-icon menarik dan jelas? Apakah ada tombol navigator? Apakah hot spots jelas? Apakah pop-up membingungkan? Setelah menggunakan sebuah hypertext link apa bisa kembali ke program? 3. Alpha Class Merupakan sebuah penilaian formatif dalam WBT program terkait dengan keefektifan suatu materi yang dikembangkan dinyatakan sudah layak pakai. Hasil evaluasi ini memberi gambaran bahwa materi pembelajaran yang dibuat (pada tahap Rapid Prototype) telah sesuai dengan apa yang direncanakan. Pada tahap ini, materi yang dikembangkan telah lengkap dan berisikan: text, grafik, video, suara, animasi, tes, dan link dengan program lain. Pelaksanaan evaluasi sangat berkaitan erat dengan kesiapan semua perangkat pembelajaran dan audience (peserta). Syarat yang harus terpenuhi pada tahap ini, yaitu: anggota kelompok yang mengembangkan materi harus berpengalaman dalam kursus dan menguasai teknologi. 4. Pilot Merupakan tahapan terakhir dari serangkaian tahapan dalam model ADDIE. Jadi tahap ini merupakan peluncuran materi dalam skala besar. Pelaksanaan evaluasi sangat berkaitan dengan kesiapan program yang dijalankan dan audience (peserta). Syarat yang harus terpenuhi pada tahap ini, yaitu: ada rencana perbaikan materi pengajaran bila peluncuran gagal. Dari evaluasi ini, dapat diketahui masalah-masalah yang berkaitan dengan keefektifan program yang diselenggarakan dan masalah-masalah teknik lapangan yang terjadi, seperti: bandwidth jaringan, konektivitas internet, kecepatan akses. Seperti halnya kelas kursus, untuk mengevaluasi keefektifan WBT program dapat digunakan Teori Empat Level Kirkpatrick. Terkait masalah teknik di lapangan, ada lima unsur yang perlu diperhatikan, yaitu: 1) Conectivity (konektivitas), 2) Leraners Technical Ability (kemampuan teknik peserta), 3) Hardware (perangkat keras), Software (perangkat lunak), dan 5) Integration (Keterpaduan) (Driscoll, 2002: 235-248). INSTRUMEN UNTUK EVALUASI E-LEARNING Terdapat banyak alat/instrumen (dari berbagai literatur) yang rinci untuk melakukan evaluasi e-learning. Pada umumnya dibagi menjadi dua jenis. Pertama, ada instrumen on-line untuk menilai, karakteristik-karakteristik pengguna dari perangkat lunak. Kedua, ada alat-alat untuk merekam dan meneliti pemakaian dengan jangka waktu dan frekuensi, baik melalui catatan dalam, halaman-halaman pengakses, profil pengguna dll. Dari pemaparan ini, maka ada dua bagian yang perlu diketahui dalam melakukan evaluasi WBT termasuk e-learning , yaitu: 1. Evaluasi Produk Satu hal yang paling mendominasi evaluasi e-learning adalah menguraikan daftar perangkat lunak pendidikan tertentu tentang spesifikasi yang ada dalam perangkat tersebut. Kebanyakan daftar ini diterbitkan oleh pengembang-pengembang perangkat

lunak. Sebenarnya, hal ini bukan untuk maksud menanyakan kegunaan daftar/laporantersebut atau meragukan kebenaran yang ada didalamnya, melainkan hanya sebuah evaluasi yang bukan kontekstual yang bisa diterima akan produk yang dihasilkan. 2. Evaluasi Kinerja Scrivens (2000) di AS, menggunakan istilah evaluasi kinerja untuk sesuatu yang akan dilakukan, di Eropa disebut sebagai penilaian siswa. Secara singkat dapat didefenisikan bahwa evaluasi kinerja siswa adalah suatu indikator tangguh yang menunjukkan efektivitas penyelengaraan e-learning. Lebih dari itu, suatu survei melaporkan tentang evaluasi kinerja dalam konteks e-learning sebagian besar terkait dengan peralatan dan instrumen-instrumen on-line untuk menguji pengetahuan pelajar berbasis kinerja (Piskurich & George, 2003). PELAKSANAAN EVALUASI PROGRAM E-LEARNING Berdasarkan uraian di atas, maka evaluasi penyelenggaraan e-learning diapat dibagi dalam dua bagian, yaitu: 1. Evaluasi Materi Pembelajaran (produk) dilakukan dengan menggunakan model ADDIE 2. Evaluasi Program atau Kinerja dilakukan dengan menggunakan Teori Empat Level Kirkpatrick. Untuk evaluasi materi pembelajaran (produk), langkah-langkah yang dilakukan: a. Eksplorlah framework untuk mengevaluasi program e-learning dengan Google. Berdasarkan framework ini anda diminta melakukan evaluasi menyeluruh sesuai model ADDIE. b. Eksplorlah e-learning di internet sehingga anda dapat masuk ke suatu e-learning dan dapat mempelajari materi-materi di dalamnya. c. Buatlah laporan hasil evaluasi, minimal berisi: 1) Deskripsi program (URL, contoh screenshot program, matakuliah, dosen/pengarang, tingkat pendidikan user, materi, software, aksesibilitas, evaluasi/test) 2) Hasil Evaluasi berupa penilaian terhadap: metode, multimedia, usability, umpan balik, navigasi, links (harap disebutkan URL framework yang digunakan untuk acuan) (Surjono, 2007). Untuk evaluasi Program atau Kinerja (mengetahui efektivitas program) e-learning yang diselengarakan, hal-hal yang dapat dilakukan: 1. Level 1/Reaction Mengukur efektivitas pelatihan berdasarkan persepsi dan reaksi pelajar sendiri. Contoh untuk WBT: bagikan angket berisikan 8 atau 12 pertanyaan mengenai halhal yang disukai dan yang tidak disukai oleh peserta terkait penyelengaraan elearning. 2. Level 2/Learning Mengukur keberhasilan pelatihan berdasarkan pencapaian tujuan pelatihan yang telah ditetapkan. Contoh untuk WBT: bagikan tes PG, uraian, atau pertanyaan singkat untuk dijawab peserta atau ujian demostrasi agar terungkap apa yang sudah bisa dilakukan peserta. 3. Level 3/Transfer Behavior Mengukur keberhasilan pelatihan berdasarkan peningkatan kinerja pelajar di lingkungan pekerjaan.

Contoh untuk WBT: pengisian lembaran observasi oleh pelatih saat peserta uji kemampuannnya terkait WBT program ataupun e-learning. 4. Level 4/Business Result Mengukur keberhasilan pelatihan berdasarkan perubahan pada organisasi atau bisnis yang disebabkan pelatihan. Contoh untuk WBT: ada sales team yang dipilih secara random. Kelompok ini akan dibandingkan dengan kelompok kontrol untuk mengetahui hal-hal yang menguntungkan dan hal-hal yang merugikan dalam pelaksanaan WBT program ataupun e-learning. PENUTUP Ada pendapat yang mengatakan bahwa media pembelajaran secanggih apapun tidak akan bisa menggantikan sepenuhnya peran guru/dosen. Penanaman nila-nilai dan sentuhan kepribadian sulit dilakukan dalam pembelajaran dengan internet. Hal ini merupakan tantangan bagi para pengambil kebijakan dan pengembang e-learning. Oleh karena itu prinsip dan komunikasi pembelajaran perlu didesain seperti layaknya pembelajaran konvensional. Dengan tetap memperhatikan faktor: peserta, lingkungan, kontekstual, teknologi, dan fungsi mendidik. Sehingga diperlukan program e-learning yang efesien dan efektif. Kebijakan institusi pendidikan dalam memanfaatkan teknologi internet menuju e-learning perlu kajian dan rancangan mendalam serta evaluasi. Evaluasi e-learning perlu dilakukan karena jumlah pengguna e-learning dan mulusnya teknologi yang dipasang tidak langsung membuktikan kesuksesan penyelenggaraan elearning.

DAFTAR PUSTAKA Empy Efendi dan Zhuang, H. (2005). E-learning Konsep dan Aplikasi. Jakarta: Penerbit Andi. Driscoll, M. (2002). Web Based Training: Creating e-learning experiences. San Fransisco: Jossey Bass/Pfeiffer A Willey Company. Kirkpatrick, D. (1994). Evaluating training program: The four levels. San Fransisco: Berret-Koehler. Pandia, H. (2007). Teknologi Informasi dan Komunikasi Jilid 1 untuk SMP Kelas VIII. Jakarta: Penerbit Erlangga. Piskurich dan George M. (2003). The AMA Handbook of e-learning, New York: American Management Assosiation. Suharsimi Arikunto. (2006). Dasar-dasar Evaluasi Pendidikan. Jakarta: PT Bumi Aksara. Surjono, H.D. (2007). Wawasan ICT untuk Mahasiswa Baru Pascasarjana UNY 2007. Yogyakarta: Puskom UNY.[].