Disusun Guna memenuhi Tugas Mata Kuliah Pembelajaran Berbasis Teknologi Informasi Dosen : Dr. Sunaryo Sunarto
Disusun Oleh:
DEDY IRAWAN 13712251036 Pendidikan Dasar B
PENDIDIKAN DASAR PROGRAM PASCA SARJANA UNIVERSITAS NEGERI YOGYAKARTA 2014 2
BAB I PENDAHULUAN A. Kata Pengantar Setelah sebelumnya membahas tentang evaluasi multimedia dari segi evaluasi program, tujuan evaluasi, strategi evaluasi, rencana evaluasi dan pengukuran validitas evaluasi, selanjutnya akan dibahas tentang pengembangan instrument serta mengumpulkan dan menganalisis data.
B. Rumusan Masalah Berdasarkan latar belakang masalah di atas, maka dapat dirumuskan masalah sebagai berikut: 1. Bagaimana mengembangkan instrument evaluasi multimedia? 2. Bagaimana mengumpulkan dan menganalisis data?
C. Tujuan Adapun tujuan pembuatan makalah ini adalah: 1. Mengetahui langkah mengembangkan instrument evaluasi multimedia. 2. Mengatahuicara mengumpulkan dan menganalisis data.
3
BAB II PEMBAHASAN
A. PENGEMBANGAN INSTRUMEN
Tes, kuesioner, dan survei semua harus dikembangkan sesuai dengan strategi keseluruhan evaluasi, rencana evaluasi, dan jenis dan tingkat validitas yang diperlukan. Semua instrumenpengukuranharus mencapaitingkatvaliditasyang diperlukanuntuk menawarkantingkat kepastiantentang efektivitassolusi Anda.Instrumenwawancara, seperti dengankuesionerdan survei, setidaknyaharus memilikivaliditas isiuntuk menjadi berguna.Diluar ini, kondisi tertentu lainnya yang konduktif untuk mencapai hasil yang baik, seperti keterampilan interpersonal pada pewawancara.Surveimenyajikanbeberapa kesulitan. Kecukupanharus dikembalikanuntuk mempertimbangkansampelyang dihasilkanmemadai. Sangatoptimisuntuk mengharapkan50persentingkat pengembalianpada survei. Dibawah ini adalah carauntuk memastikanbahwa Andamendapatkanjumlah total tanggapanyang Anda butuhkan. Ketika memilihsubjekyangmenerimasurvei, jagatingkat pengembalian50persendalam pikiran dangunakanmetode untuk menentukanukuran sampeldanpilihan acakyang dibahas dalam bagianlangsungWawancaraInstruksiLampiranD. Ikuti langkah berikut: 1. dapatkansejumlahnama(misalnya, lima ratus) 2. pilih ukuransampeldari10persen dari populasi(dalam contoh, ini berarti Anda membutuhkanlima puluhtanggapan) 3. antisipasitingkat pengembalian50persen, dua kali lipatkanjumlah nama(total seratus) 4. peroleh sampel acak dari nama-nama orang yang menerima survei (atau total seratus dalam contoh ini) 4
5. kirim kembali survei untuk nonrespondent jika Anda tidak menerima lima puluh tanggapan yang Anda butuhkan pada percobaan pertama. 6. jika Anda masih tidak mendapatkan jumlah yang diperlukan setelah kedua kalinya, ulangi dari langkah 3 dengan kelompok yang berbeda. 7. gunakan semua tanggapan (lima puluh dibutuhkan adalah minimum, lebih dari itu lebih baik). PROSES Enam kegiatan yang diperlukan untuk menyelesaikan rencana pengukuran: 1. pilih jenis-jenis pengukuran 2. kembangkan instrumen pengukuran 3. hitung panjang tiap pengukuran 4. hitung berat setiap item 5. putuskan kapaninstrumenharus diberikan 6. keputusandokumenrencanaevaluasi PROSEDUR PENGEMBANGAN INSTRUMEN Ikuti kegiatan-kegiatan berikut:
Kegiatan 1: Pilih Jenis-Jenis Pengukuran Langkah pertama:tentukan apayang harusdiukurdengan menggunakantujuanterminalyang dibuat selamaanalisis obyektif. Jikatujuannyamelibatkansiswayang melakukan sesuatu, instrumen Andaharusmengukur keterampilan, jikasiswahanyaperlu menunjukkan bahwamereka tahu sesuatu, ukuranberbasis pengetahuanlah yang tepat. Putuskan bagaimanaukuran kinerja harus dipertimbangkan. Langkah kedua: tentukan apakah tindakan harus norm-referenced (NR) atau criterion-referenced (CR). Pengukuran dengan norm-referencedmengukur karakteristikdan kemampuanorangdibandingkan denganpopulasi umum. Pengukuran dengan criterion- referenced mengukur karakteristikdan kemampuanorangdibandingkan dengan yang 5
standar. Misalnya, tingkatmembacaorang dewasa dalampopulasi umumakanmembutuhkan karakteristiknorm-referenced. Kemampuankepemimpinansemua manajerdibandingkan denganmanajeryang luar biasaakanmemerlukan tindakanCR. Langkah ketiga: tentukan apakahtindakannya adalahkualitatif atau kuantitatif. Meskipun merekamenggunakandata,tindakankualitatifatas validitasmenangani datadengan metodeyang memerlukanpertimbangan profesional; tindakan kuantitatifsangat bergantung padametode standardaristatistikpenafsiran(meskipun beberapa orang berpendapat, bahwa ada keputusanyang terlibatdalam penafsiran, yang kitasetujui). Kuncinya adalah mengetahui uji statistik yang digunakan dan bagaimana menginterpretasikan data yang Anda terima. Berikut adalah beberapa ukuran statistik umum validitas, dengan penjelasan tentang kapan menggunakannya dan bagaimana menggunakannya. Ukuran Kuantitatif Ukuran kuantitatif meliputi: 1. korelasi, 2. indekskesulitan, 3. analisis item, 4. uji signifikansi KORELASI Korelasimembangun hubunganantara dua variabel. Hasilnya adalahangka antara-1.0dan+1.0. Nomoryang dekat ke+1.0menunjukkankorelasi positifyang tinggi, dan merekalebih dekat ke-1.0menunjukkankorelasinegatif yang tinggi. Semakin tinggikorelasipositif, semakin baiksoal tes. Tapi bagaimana denganpertanyaanyang menerima0.00? Anda kemudianharus menggunakanindekskesulitanuntuk menentukan apakah akanmenyertakan atau mengecualikanitem. Berikut ini adalahcontoh bagaimanakorelasibekerjadannilainya. Sebuah perusahaantempat kami bekerjatelahmengembangkankursusmatematika dasarlewat 6
video interaktif. Kursus inimenggunakanpretestdanpost testuntuk mengukurpeningkatansiswa dalampengetahuan dan keterampilan. Selamapretest, siswabisamengujimodultertentudengan menjawab pertanyaanyang dipilihdengan benar, mereka disalurkan kemodul lainjika merekasalahmenjawabpertanyaan- pertanyaanyang dipilih. Jikasiswagagal dalampretestdiagnostik, merekapunya kesempatanlagisetelah merekamemasukimodulpengajaran, melaluitespenguasaanlain. Jikasiswamencetak90persenpada tespenguasaan, mereka bisapada saat itumelewatkanmodulataumemilih untuk melanjutkanmelalui itupula. Tetapi manajemen ingin tahu apakah tes mengukur keterampilan umumnya ditentukan oleh para ahli yang akan diperlukan oleh siswa yang telah menguasai keterampilan matematika dasar. Mereka membutuhkan sebuah jawaban atas pertanyaan, "Apakah tes ini memiliki tingkat validitas prediktif yang tinggi?" Tim pengujian dimulai dengan pemberian tes yang telah mereka kembangkan secara internal untuk kelompok mahasiswa perguruan tinggi (sekitar seratus) ditentukan oleh tes penempatan perguruan tinggi sebagai bahan remedi matematika untuk keberhasilan dalam program kuliah mereka. Tim pengujian juga menemukan bahwa tes matematika dari ujian persamaan SMA nasional telah didokumentasikan dengan baik karena memiliki tingkat tinggi validitas dan reliabilitas. Tes ini juga diberikan ke kelompok siswa lainnya. Membandingkanskorpada teskursusdantes standar, tim pengujianmemutuskan bahwaadatingkatkorelasi yang tinggi antara duates. Akibatnya, manajemenbisa menyatakanbahwasiswa yanglulus ujipost test diprogram videointeraktifmemilikipengetahuanmatematikadan keterampilandibandingkan siswa yang telahlulus dari sekolahtinggi. INDEKS KESULITAN Tapi bagaimana denganpertanyaan yangsenilai dengan tak berkorelasi(0.00)? Andaharusmelihatindekstingkat kesulitanuntukpertanyaan itu. Jika semuasiswamenjawabpertanyaan denganbenarataujika semuamenjawabnya dengan 7
salah, makapertanyaannya mungkin adalah pertanyaanyang tidak bagusdan perluditulis ulang. Bandingkandenganpertanyaan0,00korelasitabelfrekuensi. Seberapa tinggiseharusnyakorelasi positifbagipertanyaanyang akandianggap sah? Kecukupan level korelasi positifuntuk setiap pertanyaanseharusnya adalah+80, hal ini didasarkan padakekritisan atas ilmupengetahuan(misalnya, ahli bedah otakdibandingkanmanagement trainee). Korelasi positifyang rendahmemerlukan analisisdistraktordan jumlahfrekuensi. Tidak ada korelasidi bawah+50yangdianggap sah. ANALISIS ITEM Analisis ini menentukan apakah item tes individu dan tes secara keseluruhan berlaku. Analisis item menetapkan validitas pertanyaan tes dengan menentukan bahwa mereka yang berperforma terbaik pada tes keseluruhan juga mendapat item tertentu yang benar. Untuk melakukan analisis item, Anda harus memiliki dua variabel independen yang dapat dibandingkan dalam beberapa cara untuk membuat penentuan tentang seberapa baik pertanyaan tes Anda. Ada sejumlah tes statistikal yang menyusunpengukuran NR dan pengukuran CR. UJI SIGNIFIKANSI Uji signifikansidigunakan ketikaAnda ingin menentukanapakah hasildari menjalankandata Andapadakelompok sampelAndakhasatautidak khasdari total populasidari manasampel acakdiambil. Ukuran Kualitatif Ukuran kualitatif meliputi: 1. analisisdistraktor 2. jumlah frekuensi Analisisdistraktor.Menganalisisjawabanyang siswaberikanke sebuah tesdikenal sebagaianalisisdistraktor. Dalam analisis ini, Anda harus mencaripertanyaanyang menerimakorelasi positifatau negatifrendah menggunakanmetode kuantitatifdanmenentukan apakahsalah satudistraktortertentu(mungkin jawaban) 8
menariksiswabaikdarijawaban yang benar. Cari tahu distraktoryang menyebabkan masalah, dan kemudian tentukanmengapahal itu bisa terjadi. Tulis kembalidistraktor(dan lain-lain untuk pertanyaanyang membutuhkankejelasan), kelola tes lagi, danlakukananalisis korelasiyang sama. Analisis frekuensijuga mengungkapkaninformasi ini. Jika Anda cukupberuntung untukmemiliki akses kesiswayang menjawab pertanyaandengan tidak benar, tanyakan mengapa merekamemilih jawabantertentu mereka. Iniadalahsumber yang sangat baikdariumpan balik. Jikapara siswatidak tersedia, gunakan hanya data darianalisisdistraktor. Jumlah frekuensi. Meskipun jumlahfrekuensimerupakantindakankuantitatif, mereka memerlukanpertimbanganuntuk menentukanpembedauntukkeberhasilan atau kegagalan. Frekuensi yangmudah untuk menghasilkanbahkan jika Andatidakmenggunakan paketstatistik,hanya menghitungjumlah tanggapandidasarkan pada beberapastandar(misalnya, benar atau salah). Namun,paketstatistikmenghasilkandatajauh lebih cepat, terutama untuksejumlah besarkasus. Langkah keempat:Tentukan apakahAndaakan mengelolalangkah- langkahsebelum dan/atausetelah menggunakansolusi Anda. Jika keduanyasebelum dan sesudah, Anda akanmenggunakanukuranyang samaataumenggunakanbentuk paralelinstrumen? Jika Anda mengembangkanbentuk-bentukparalel, gunakan instruksi berikutdanParalelUjiitemBankConstructionFormdiAlatEvaluasibagianAppendiceE. Ikuti langkah-langkahuntuk mengembangkan tesparalel danmenetapkan validitastesparalel: 1. Sediakanseperangkat tujuannomor, satu setpertanyaan tesbernomor, danParalelUjibarangBankConstructionFormkepada sebuah panelhakimUKM, yangakan menentukanparalelisme. Memilikijumlahmasing-masing tujuanterminalditandai dalam"Nomor TujuanTerminal" kolomsebelum Anda memberikanformulirkepada hakim. 9
2. Daftarbobotmasing-masing tujuanterminalpada kolom keduadariformulir. 3. Daftarnomor itemuntuk itemtes yangsesuai dengan setiaptujuanterminaldikolom3,4,5, dan6(semua berlabel"TestItem Number"). 4. Berikanpetunjuk untukmengembangkanparalelbanksoal tesuntuksetiap hakimdan meminta merekauntuk mengisi dan mengembalikanformulir. 5. Ketika semuaformulir telahdikembalikan, periksa untuk melihat bahwasemua hakimtelahsetuju. Jika sudah, ciptakantesparalel. Jika belum, revisiitem bermasalahdan mintapaneluntuk meninjaumereka lagi. 6. Ulangi langkah 3,4, dan 5 sampai semua hakim setuju.
Kegiatan 2:Mengembangkan Instrument Pengukuran Tergantung padajenis pertanyaanyang Anda putuskanuntuk dilaksanakan, gunakansatu atau lebih bentuk-bentukdariAlatEvaluasibagianLampiranE. checklist mencocokan pertanyaan, checklist pertanyaan pilihan ganda, checklist pertanyaan benar / salah, checklist penyelesaian (jawaban singkat), checklist simulasi / role play / tes performance, checklist pertanyaan esai Lihat petunjuk untukmengembangkankuesioner, survei, dan instrumenwawancaradalam LampiranDuntuk membangunjenisinstrumen pengukuran. PhilipsnadPhilips(2003) menyajikan sebuahmetodeuntuk digunakan jikakelompok yangakanmenggunakan solusimemiliki sistemmanajemen kinerjadi tempat. Sistem merekamenganjurkanmenggunakanrencana aksi(Level 3, Kinerja) untukmempersalahkan karyawanuntuk pengembanganmereka sendiri. Merekameyakinkandengan rinci bagaimana Andabahkan dapat menggunakanrencana aksiiniuntuk mengukurROI.
10
Kegiatan 3: Hitung Panjang dari Setiap Instrument Langkah pertama: Hitung jumlah pertanyaan. Anda memiliki 50tujuanterminaldanAnda memutuskanAnda harusmengajukan dua pertanyaanpertujuansebagai standar. Ini berarti Andamemiliki tesdenganseratuspertanyaan. Ingat, para siswa harus memilikikesempatan yang cukupuntuk menunjukkanpencapaianpengetahuanatau keterampilan. Beberapapertanyaan ataubeberapa upayapertujuanpada tescriterion- referrencedmeningkatkan kemungkinanatas penunjukanpencapaian. Langkah kedua:Hitungwaktu yang respondenperlukan untuk melengkapiinstrumen. Berapalama waktu yang dibutuhkantergantung pada sifatdaripertanyaan. Tujuanpertanyaanbervariasitergantung pada jenis(benar / salah, pencocokan, pilihan ganda), berapa lamaakarpertanyaannya, danberapa banyakjebakandisertakan. Perhatikan bahwaaturanpraktis yang baikadalah untuk memungkinkantiga puluh detikuntuk setiap pertanyaanpilihan gandayang memiliki empatjebakan. Jangan lupa bahwaAnda harus meninggalkanwaktudalam ujianbagi siswa untukmembaca petunjukataubagi mereka untukdijelaskan. Misalnya, jikaAnda(1) memilikilima puluhtujuan, (2) menulisdua pertanyaanperobyektif, dan(3) memungkinkantiga puluhdetikperpertanyaan, ditambahsekitar sepuluhmenituntuk membaca danmemahami instruksi, ini berarti Andaperlu untuk memungkinkanenam puluhmenituntukuji penyelesaian: (50 x2tujuanpertanyaanperobyektifx 5menitper pertanyaan) +10menit=60menit
Kegiatan 4: Hitung Berat dari Setiap Item Tentukan jumlahkonten dalamsetiapbagian dari solusi. Tidak semuabagiandarisolusimembawabobot yang sama, dalam kursus pelatihanlimajam, jika salah satubagianmemakan waktu dua jamuntuk diselesaikan, maka ia memilikiberat lebihdalam pelajarandaribagian yangmemakan waktu setengah jam. Jumlahpertanyaanuntuk setiap tujuanterminalharus didasarkanpada beratrelatif darikonten. 11
Jika bagianduajampelajaranberisi enamtujuanterminal, tugas Anda adalahsederhana. Jika duapertanyaanpertujuanterminaladalahstandar Anda, Andahanya menempatkandua belaspertanyaan daribagian tersebutpada totaltes. Tapimisalkan Anda memilikisatu tujuanterminaluntuk bagianduajamini. Sebagai alternatif untukformulabegitu banyak pertanyaanpertujuanterminal, Anda dapat menghitunglamanya waktupenyampaian untuksesi yang telah ditetapkan untuk seluruh pelajarandan menyusuncukuppertanyaanuntuk dicocokkansecara proporsional. Jika Anda memberikan sebuah tes kinerja di mana siswa memiliki beberapa kesempatan untuk menyelesaikan tugas dengan sukses, Anda dapat melakukan penghitungan frekuensi untuk menentukan berapa banyak usaha yang diperlukan untuk sebagian besar (standar apa pun yang Anda ingin gunakan, seperti 80 persen) dari siswa untuk menyelesaikan tugas. Jika jumlahnya rendah, tugasnyavalid. Jika 80 persen siswa membutuhkan empat usaha untuk menyelesaikan tugas-tugas tertentu, Anda sebaiknya memeriksa bagian ini, mereka mungkin tidak valid.
Kegiatan 5: PutuskanKapanInstrumenHarusDiberikan Tentukan apakahtindakan harusdiselingidalam pelajaranatau apakahseharusnya hanya adasatu tesyang komprehensifpadaakhir pelajaran. Jikalangkah-langkahyang diselingi, tentukan berapa banyak yangakan dibutuhkan. Gunakan informasi dalamTabel31.1untuk menentukanpenempatantindakan. 12
13
Kegiatan 6: DokumenKeputusandalam RencanaEvaluasi Lihat Bab 29
Berdasarkan Pengalaman Kami Perancanginstruksionalmenemukan bahwasalah satukesenjangan pengetahuanterbesar merekaadalah memahamijenisukuranseperti apa yang perludikembangkan.SebuahukuranNRhanya membutuhkansampelpertanyaandari sekian banyak tujuan. Namun,ukuranCRmembutuhkan beberapapertanyaanuntuk setiaptujuan. Sedangkanlangkah-langkahNRdirancanguntuk sampelpengetahuansecara keseluruhan. TindakanCRdirancanguntuk memastikan bahwapopulasimemilikiketerampilanyangterlatih danbahwa merekadiujimemiliki banyak kesempatan untukmenunjukkan pengetahuanatau keterampilanmereka. Tabel31.2akan membantu Andamenentukan apakahuji statistikAnda dapat diterapkan untukNRatauCR. Mengatur level lulus-gagal berbeda untuk NR dan CR. Pada ukuran NR, skor 50-67 persen dapat dianggap lulus karena kebanyakan orang yang mengambil nilai tes di sekitar titik tengah. Pada ukuran CR, skor lulus-gagal ditentukan oleh kekritisan keterampilan pelaku tes yang akan tampil: sehingga skor lewat CR biasanya lebih tinggi karena nilai cenderung mengelompok di sekitar ujung atas dari rentang skor. Memang, mereka harus seperti itu jika solusinya efektif. Yang paling penting untuk diingat adalah bahwa skor tes tidak mutlak, yang merupakan titik dalam kisaran (kesalahan baku pengukuran). Itu berarti jika skor rata-rata adalah 80 dan standard error ukur adalah 2, maka tidak ada perbedaan antara skor sebagai 78 dan setinggi 82. Coscarelli dan Schrock (2003) menyatakan bahwa "Sebuah CRT yang komprehensif (uji criterion-referenced) sering mengukur sejumlah tugas diskrit yang mungkin tidak mewakili kemampuan pemersatu tunggal atau kompetensi. Jadi CRT teoritis melanggar dua asumsi yang paling penting dari klasik NRT (uji norm- referenced) ... "(hal.74). 14
Misalnya, CRT pada peralatan operasi akan memiliki pertanyaan tentang keselamatan, hidrolika, dan kemudi. Untuk mencoba menggunakan ukuran statistiknorm-referencedpada jenis tes menghasilkan hasil yang valid karena operator mengambil tes ini mungkin tahu lebih banyak tentang hidrolika dari keselamatan, sehingga menurunkan skor keseluruhan yang akan menyesatkan. CoscarellidanSchrockjuga menyatakan bahwaCRTdirancang untuk memilikilebih dekatsekerumunanskordi ujung atasdarirentangskor. JikaCRTmenghasilkankurva loncengstandar, ada sesuatu yangtidak valid. Entahtentu sajatidak cocok denganitemtes ataukonten tidakdisajikan dengan baik. 15
Secara umum, jikaAnda sedang mengembangkanproduksehinggakelompok tertentubelajarsatu setketerampilan khusus, Anda mungkinmengembangkan tescriterion-referenced(CRT). Produk dalam gudangbiasanya membutuhkanCRTkecualisubjeknyaadalahpengetahuan umumpada beberapaketerampilan yangsetiap orangyang menggunakan produk tersebutharus memiliki pengetahuan, seperti matematikadasar, membaca, dansebagainya. Namun, 16
tesharus ditetapkanstandaruntuk kelompokyang menggunakan produkdanmengambil ujian.Pembatasanyang dibuat secara artifisial yang ditempatkan padatessebelum Anda menyelesaikansemua kegiatandalam bab ini adalahbukan ide yang baik. Berikutadalah contohdaripembatasanyang dibuat secaraartifisial: Format tes yang telah ditetapkan(yaitu, objektif,kuesioner, survei), jumlahpertanyaan yang telah ditetapkan, waktuuntuk administrasites yang telah ditetapkan, rasiowaktu kelasterhadap waktu tes yang telah ditetapkan Anda tidak dapat menentukan format instrumen sebelum menyelesaikan analisis front-end, dan Anda tidak dapat menentukan jumlah item pengukuran sampai Anda telah menulis tujuan Anda. Waktu dan rasio tidak dapat ditentukan sampai Anda memutuskan format instrumen dan jumlah pertanyaan. Tentu saja, ada batasan tertentu untuk jumlah waktu yang dapat dihabiskan untuk pengujian, tapi biarkan situasi dan analisis obyektif bentuk keputusan ini bukan pilihan sewenang-wenang. Setelah Anda melihat jumlah tujuan dan kondisi di mana produk tersebut akan digunakan atau disampaikan, Anda dapat memutuskan format yang perlu diubah karena ada metode evaluasi yang lebih baik. Menurut pendapat kami, transfer keterampilan untuktempat kerjaadalahsatu- satunya alasanyang dapat dibenarkanuntuk pengeluaransumber dayapada sebuah proyek. Jika karyawanhanya perlu tahuataumenyadarisesuatu, beri merekasebuah buku, pamflet, atausumber daya lainnyadan merekamembacanya. "Tetapi orang- orang tidak bertanggung jawabuntukmemperoleh pengetahuanitu sendiri," beberapa orang mengatakan. "Jika saya memberi merekasebuah buku, maka tidak akandibaca." Berdasarkan pikiran kami, jikaitu yang terjadi, maka Andatelahmenghabiskansumber daya Andadi daerah laindaripengembangan karyawan, seperti membuatkaryawan yang merupakan pembelajar seumur hidup untuk memilikimotivasi diri. Kami tidak mengatakanbahwa pengusahatidak bolehmemperluas kesempatanbelajarbagi 17
karyawan. Namun,evaluasitidak harus berhentipada tingkatpengetahuan. Nilai pengetahuanhanya dapatdiukur melaluikinerjayang dihasilkan. Siswa yang menyelesaikan kursus harus diamati secara teratur dari waktu ke waktu untuk menentukan apakah mereka menggunakan keterampilan yang diajarkan selama pelatihan. Jika Anda dapat menentukan bahwa mereka menggunakan keterampilan yang diajarkan selama pelatihan, kemudian menentukan apa penghematan biaya dapat dikaitkan secara langsung dengan menggunakan keterampilan. Baik pengetahuan atau pengukuran kinerja, Anda harus mempertimbangkan pra-dan pasca-penilaian. Sebagai contoh, kursus pelatihan baru harus selalu berisi kajian awal jika ada penilaian pos, untuk tujuan membangun validitas instrumen. Tujuan Anda adalah untuk menentukan apakah ada hasil signifikan lebih tinggi pada post test. Jika hasilnya signifikan, ini menunjukkan bahwa kursus telah mengajarkan apa yang dimaksudkan dalam pengajaran. Setelah Anda cukup sering mengelola instrumen untuk menetapkan validitas dan reliabilitas hasil, Anda dapat menghentikan pra-penilaian. Tetapi jika ada bagian dari kursus mengalami perubahan, Anda harus merevisi instrumen, mengelola kembali kepada kelompok pilot siswa, dan membangun kembali validitas dan reliabilitas. Baik instrumen tujuan ataupun instrumen kinerja, jika siswa dapat menguji dari kursus atau khususnya unit tentu saja berdasarkan skor pretest, maka ini adalah alasan yang sah untuk menggunakan pretest atau post test. Kalau saja post tes yang diberikan, tidak ada bukti bahwa siswa belajar sebagai hasil dari mengambil kursus. Mereka mungkin tahu materi sebelumnya, dalam hal ini mereka tidak harus duduk meskipun kursus. Penjelasan lain mungkin bahwa tes cacat sehingga dengan menjadi begitu mudah atau lebih buruk dibangun dan bahwa siswa dapat menebak jawaban tanpa mengetahui konten. Jika konten sangat teknikal atau menyajikan konsep, proses, atau prosedur baru, dan Anda yakin (dari informasi yang dikumpulkan selama analisis) bahwa 18
semua siswa mulai pada tingkat yang sama, pra-penilaian mungkin tidak diperlukan. Jika bentuk-bentuk informasi yang diberikan kepada siswa tertentu di masa lalu atau jika pengalaman kerja mereka diberikan beberapa dari mereka lebih tinggi tingkat pengetahuan daripada yang lain miliki, pretest dan post test mungkin dilakukan berurutan. Jika tidak ada bukti keanekaragaman dalam keterampilan prasyarat, jangan buang waktu Anda. Mungkin baik untuk tahu, tapi itu tidak perlu. Penilaian berbasis pengetahuan kadang-kadang diperlukan jika ukuran kinerja yang diberikan setelah menawarkan informasi. Logikanya adalah bahwa jika mahasiswa dapat melakukan sesuatu dengan benar, Anda dapat mengasumsikan ia memiliki pengetahuan. Namun, Anda mungkin menghabiskan banyak waktu dan sumber daya mengembangkan dan mengelola ukuran kinerja hanya untuk mencapai hasil yang buruk di kalangan mahasiswa . Ini mungkin bahwa mereka tidak mendapatkan pengetahuan . Jika demikian , maka Anda harus mencari alasan untuk kinerja rendah . Penilaian pengetahuan pada akhir bagian isi tentu saja akan berguna dalam mendeteksi sumber. Mungkin konsep tertentu , prosedur , atau proses tidak ditekankan dalam konten atau diajarkan salah . Kemunduran adalah mahal dan tundalah seberapa cepat pelanggan dapat mulai sepenuhnya melaksanakan program. Anda harus mengembangkan instrumen, memvalidasi mereka, pra - dan pasca test, memberinilai, dan menganalisa, dan kemudian merekonstruksi proyek kinerja. Dalam pengalaman kami, pertanyaan lain yang selalu muncul ketika penelitian survei yang terlibat adalah, "Berapa banyak orang yang harus disurvei?" Mengambil sampel beberapa populasi adalah sulit, dan selalu ada kecenderungan untuk mengambil jalan pintas. Beberapa profesional dan pelanggan menunjukkan beberapa penyedia utama rating (seperti organisasi jajak pendapat Harris), yang mengambil sampel segmen yang sangat kecil dari populasi dan masih mencapai hasil yang sangat handal . Tapi perusahaan peringkatyang profesional menghabiskan sejumlah besar uang muka , menggunakan sistem komputer yang sangat canggih untuk terus 19
mempersempit dan membagi wilayah wilayah yang mereka rencanakan untuk disurvei dan penduduk daerah tersebut. Mereka bergantung dan menggunakansistem yang telah di tempat selama bertahun-tahun dan mempekerjakan metodologi yang keandalan telah terus-menerus disempurnakan. Jika organisasi Anda dalam minoritas yang tinggi dan memiliki peralatan canggih seperti sampling, makagunakanlah untuk memilih ukuran sampel. Jika organisasi Anda tidak memiliki peralatan dan metodologi, maka gunakan aturan 10 persen dari populasi dan puaslah dengan tingkat pengembalian 60 sampai 70 persen dari 10 persen. Ya, dibutuhkan waktu, ya, dibutuhkan uang. Tapi apakah Anda dan stakeholder Anda ingin informasi yang akurat? Jika akurasi bukanlahsebuah perhatian, maka tebak saja dan simpan uang! Menebak adalah seakurat sampel lima orang di antara populasi seribu.
20
B. MENGUMPULKAN DAN MENGANALISIS DATA
Rencanakan evaluasi Anda secara menyeluruh sebelum Anda menjalankannya. Beberapa hal dapat dipulihkan karena mereka berada dalam data dan Anda hanya perlu menganalisa secara berbeda, tetapi beberapa hal yang mungkin tidak dapat dipulihkan kecuali jika Anda menjalankan proyek evaluasi lagi menghabiskan waktu, uang, dan keterlambatan dalam pelaksanaan akhir. Meskipun buku ini tidak dimaksudkan untuk berurusan dengan statistik, kami menyertakan beberapa informasi dasar tentang jenis tes, tujuan mereka, dan makna yang mendasari hasil yang diperoleh dari masing-masing hal tersebut. Mengetahui data apa yang harus dikumpulkan, bagaimanapun, membutuhkan seseorang dengan latar belakang dalam metodologi statistik. Setelah menafsirkan temuan-temuan statistik, orang dengan keterampilan memecahkan masalah yang baik dapat menentukan apa yang dimaksud dengan data. PROSES Ada limakegiatan yang dibutuhkandalam pengumpulan datadan analisis: mengaturdatabase, mengembangkan rencanaevaluasi, mengumpulkan dan menyusundata, menafsirkandata,dokumentemuan Anda.
MENGUMPULKANDANANALISAPROSEDURDATA Ikutikegiatan ini: Kegiatan 1: MenyiapkanDatabase Gunakan paketsoftware statistik yang Anda telahpilih untukmenyiapkandatabaseuntuk menangkapinformasi atautransfer informasidari sumber lain. Misalnya, jikaAnda telah mengaturdatabase dalamkursusCBT, kadang- kadang mungkinuntuk menangkapdata dalamformat lain(misalnya, membatasi teksASCIIdalam beberapa cara, mungkin dengankoma) dan mengimpor merekake 21
dalampaketstatistik.Transfer datamembutuhkanperencanaan yangbaik di awal--sejauh ketikaAnda memilih alatstatistik danpengembangandan pengirimansoftwatre. Kegiatan 2: Mengembangkan Rencana Evaluasi Setelah proyek yang dipilih dan keputusan dibuat sebagai hasil dari penilaian dan analisis, rencana evaluasi harus dikembangkan (lihat Bab 29). Rencananya menentukan bagaimana evaluasi dirancang dan dilaksanakan (termasuk identifikasi kerangka waktu, pengumpulan data, dan metode analisis) dan mekanisme pelaporan untuk setiap dan semua kegiatan evaluasi yang berhubungan dengan proyek. Pertimbangan yang sama diperlukan untuk mengevaluasi kinerja dan dampak sebagaimana disebut dalam mengembangkan tes: jumlah peserta dan jumlah data yang akan dikumpulkan, jenis metode sampling, kerahasiaan, biaya Ada pertimbangan tambahan ketika mengukur kinerja. Yang pertama adalah penggunaan kelompok kontrol, yaitu, satu set peserta terpilih atau data semirip mungkin dengan yang ada di kelompok eksperimen. Kelompok eksperimen terlibat dalam intervensi, kelompok kontrol tidak. Kedua kelompok harus setara dalam pengaturan pekerjaan, keterampilan, kemampuan, dan karakteristik demografi. Untuk informasi lebih lanjut tentang penggunaan kelompok eksperimen dan kontrol, lihat Campbell dan Stanley (1963). Pertimbangan keduaadalahpengaruhluar lingkupevaluasi. Variabel eksternalmeliputi, antara lain, perubahan organisasisepertivariasi musimanyang memiliki dampaknegatif padabisnis. Faktor internalseperti kepemimpinanbaru, transfer pemotongan anggaran peserta, dan mengubahtujuan organisasidapat mempengaruhihasil. Kontrol yang efektif dalam pengaruh inimeningkatkanrasa percaya diri Andadalamkeakuratan hasil, mengurangi kebutuhanuntuk 22
desainpenilaian kinerjayang rumit, dan dapat mengurangijumlah pesertayang dibutuhkanpada populasiatausampel. Kegiatan 3: Mengumpulkan dan Menyusun Data Tangkap datadariinstrumen pengukuran. Tangkap sebanyak mungkin tanggapan,setidaknya sampaiakhiruji coba.
Kegiatan 4: Menafsirkan Data Langkah 1: Menafsirkandataterhadaptujuanuntuk evaluasidan menentukanapakah hasilsesuai dengantujuanatau tidak. Langkah 2: Membuat keputusan. Jikatujuansesuai denganhasil, Anda dapat memutuskan untukmelakukanimplementasiskala penuhdari solusidan(1) terusmengumpulkan data untukhasil yang konsisten, (2) menghentikanpengumpulan data, atau (3) menungguuntuk jangkawaktu tertentudankemudian melakukanevaluasi lagi. Jika hasilnyatidak sesuai dengantujuan, keputusanyang mungkinadalah: merevisikursus, merevisiinstrumen pengukuran danpengujian, jalankan kembalibelajar denganatau tanparevisi, memilihsampel yang representatiflain danmemutarkanevaluasi, membuangproduk
Kegiatan 5: DokumenTemuanAnda Rekamtemuan Andadalam LaporanEvaluasi. Sebuah template untukmenyelesaikanitudapat ditemukan dalamLampiranDdandi bagianEvaluasiCD- ROM. DaripengalamankamiAndamembutuhkan paketstatistikyang baikuntuk menganalisisdata mentah.Kami telah menggunakanSPSS(sebelumnya dikenal sebagai 23
Paket StatistikuntukIlmu Sosial), yang diproduksi olehSPSSdiChicago. Versi Windowsini sangatmudah digunakan, dan dokumentasiyang sangat baik.
BAB III PENUTUP
RINGKASAN 1 Kau tahuinstrumen pengukuran apa yang diperlukan, bagaimana membangun mereka, dan bagaimana untuk memasukkan keputusan Anda ke dalam rencana evaluasi. Sekarang instrumen akan didistribusikan dan dilengkapi dan dikembalikan. Anda harus menganalisis dan menginterpretasikan data dan membuat beberapa pengertian dari itu. RINGKASAN B Pada akhirkegiatan ini, Anda memiliki informasiuntuk menentukan apakahsolusi Andaadalahefektif atau tidak dalam halkebutuhan pelanggan(didirikan selamapenilaian kebutuhan). Semua kegiatandan langkah-langkah yang Anda selesaikanselama setiapfase proyekberkontribusi padahasil yang Andacapai.Jika Andaperhatikansetiap kegiatandansetiap langkah, danjika Anda berencanadengan hati-hati, Anda tidak akan ragumencapai hasil yang diinginkan: solusiAndamemecahkan masalahatau isu.
24
DAFTAR PUSTAKA
Lee, William W., and Owen, Diana L. 2004. Multimedia-Based Instructional Design, Second Edition. San Francisco: Pfeifer.
25
LAMPIRAN A MANAJEMEN PROYEK DAN STUDI KASUS XEGY
Desain Instruksional Alat Manajemen Proyek Studi Kasus 1: Pengembangan Karyawan Studi kasus2: Badan Pemerintah Studi kasus3: penjualanFarmasi
26
Desain Instruksional Alat Manajemen Proyek Tahap: Penilaian danAnalisis Penilaian Kegiatan 1Tentukankondisi sekarang
o Langkah 1Mengidentifikasipengetahuan dan keterampilanyang diperlukan o Langkah 2Mengidentifikasipengetahuandan keterampilanbidangyang berhubungan dengan pekerjaanyang digunakanuntuk memilihperformer o Langkah3Periksaperbedaan antaralangkah1dan2 o Langkah 4Periksapenyebab lingkungandalam langkah1dan2 o Langkah 5 Kinerja tugasdokumendipengaruhi oleh faktor lingkungan o Langkah6 Reviewsemua hasildanmengidentifikasibidang kebutuhan o Langkah7Mengumpulkandata darikaryawan o Langkah8Review hasil danmengidentifikasibidang kebutuhan Kegiatan 2Tentukanpekerjaan Kegiatan 3Ranktujuandalam rangka kepentingan Kegiatan 4Mengidentifikasiperbedaan Kegiatan 5Tentukandaerahpositif Kegiatan 6 Atur prioritas tindakan o Langkah 1Daftarsemua kemungkinan solusiyang disarankandan dampaktidakmemberikansolusi o Langkah 2Tentukandampakdarisetiap solusidalam hal waktu, uang, dan kepuasan pelanggan 27
o Langkah 3Membuatrekomendasi, mengingattujuanpekerjaan, hasil yang diinginkan, dan faktor-faktorlain yang relevan
AnalisisAwal-Akhir: Audiens Kegiatan 1 Menganalisis demografi dan persyaratan khusus o Langkah 1Pastikanaudiensmenggunakaninformasi tugaspekerjaan o Langkah 2Konfirmasikanjumlahindividu yangditargetkandanpendidikan umumdan o latar belakang o Langkah 3Menganalisisinformasi tentangbahasapenonton, nada, dan penggunaanhumor o Langkah 4Catatanpersyaratanfisik, ergonomis, ataulingkungan Kegiatan 2 Menentukan sikap terhadap konten o Langkah 1Tentukansetiapkesalahpahamandan salah informasiyang mungkin ada o Langkah 2Tentukansikap negatifdanpositif o Langkah 3Tentukanterminologikhususkosakata Kegiatan 3 Menganalisis kemampuan bahasa penonton Kegiatan 4 Dokumen hasil
AnalisisAwal-Akhir: Teknologi Kegiatan 1Menganalisisteknologikomunikasi yang tersedia Kegiatan 2Menganalisisteknologi yang tersediauntuk referensiatau dukungankinerja o Langkah 1Tentukanketersediaandan kemampuan referensisecara online o Langkah 2Tentukanketersediaandan kemampuan dukungankinerja Kegiatan 3Menganalisisteknologi yang tersediauntuk pengujiandan penilaian o Langkah 1Tentukanpengujiandan penilaianpersyaratanelektronik 28
o Langkah 2Menetapkanmasalah keamanan Kegiatan 4Menganalisisteknologiuntuk distribusi o Langkah 1Tentukanbagaimana bahanyang dipesandan didistribusikan o Langkah 2Tentukan ketersediaan dankemampuanFTP(file transfer protocol) Kegiatan 5Menganalisisteknologiuntuk pengiriman o Langkah 1 Tentukan ketersediaan dan kemampuan dedicated audio dan video server o Langkah 2 Tentukan ketersediaan dan kemampuan PC multimedia o Langkah 3 Tentukan ketersediaan dan kemampuan telekonferensi video atau TV pendidikan Kegiatan 6Menganalisiskeahlian Kegiatan 7Dokumenhasil
AnalisisAwal-Akhir: Situasi Kegiatan 1 Menganalisis lingkungan kerja Kegiatan 2 Menganalisis lingkungan pengiriman Kegiatan 3 Dokumen hasil
AnalisisAwal-Akhir: Tugas Kegiatan 1Menentukanposisi judul Kegiatan 2Identifikasi semuapekerjaan yang berhubungan dengan tugas Kegiatan 3Mengidentifikasisemua tugas o Langkah1Konfirmasiatau mengidentifikasitugas pokok o Langkah2Konfirmasikan bahwasetiap tugasberdiri sendiri o Langkah 3Konfirmasipengetahuan, keterampilan, dan sikap(KSA) yang diperlukan Kegiatan 4Ordertugas Kegiatan 5Dokumenhasil 29
AnalisisAwal-Akhir: Kejadian Penting Kegiatan 1Tentukantugas-tugas penting Kegiatan 2Tentukanpenting tetapitugastidak esensial Kegiatan 3Tentukantugas-tugasyang akan Anda hapus Kegiatan 4Dokumenhasil
AnalisisAwal-Akhir: Isu Kegiatan 1Datadikumpulkandari penonton, teknologi, situasional, tugas, dan analisisinsiden kritis Kegiatan 2Tempatkandata ke dalamkategori yang sesuaidariFormulirAnalisis Isu o Langkah 1 Diskusikankategorisasiyang tepatsetiap isuke dalamsalah satu dari ketigakategori o Langkah 2 Tentukansetiapketergantungan antarisu-isu ditingkat yang berbeda o Langkah 3 Lengkapi FormulirAnalisisIsu
Analisis Awal-Akhir: Tujuan Kegiatan 1 Tentukandomain Kegiatan 2 Menentkan tingkatan Kegiatan 3 Menulis pernyataantujuan Kegiatan 4 Tuliskantujuan kinerja Kegiatan 5 Terlibat dalamdiskusi kelompok o Langkah 1 Ulas kembali tujuanuntuk mengevaluasirelevansi dengantugaspekerjaan o Langkah 2 Tulislah kembalitujuanyang diperlukan Kegiatan 6 Pisahkan tujuanterminaldaritujuan kinerja Kegiatan 7 Pisahkan tujuan pembelajarandaritujuan kinerja 30
Analisis Awal-Akhir: Media Kegiatan 1 Beri nilaimasing-masing faktorpadaAnalisisMediaPenilaianForm. Berimasing-masing faktorpada skala1 sampai 5tentangpentingnyamasalah ini. Kegiatan 2 Rangkumlahperingkat o Langkah 1 Membuat daftar media yang peringkatnya tinggi o Langkah 2 Membuat daftar media yang peringkatnya rendah o Langkah 3 Tentukanperbedaan: kurangikejadian yangrendahdarikejadiantinggi o Langkah 4 TentukanBerat:memisahkanperbedaanoleh semuakejadian Kegiatan 3 Tempatkanmediayang dihasilkandalam hierarkidari persentasetertinggi sampai yang terendah Kegiatan 4 Menganalisiskelebihan danketerbatasanmasing-masingjenis media o Langkah 1 Menganalisisbiayapengiriman o Langkah 2 Pertimbangkan faktor-faktorpengiriman o Langkah 3 Pertimbangkan faktor-faktorpemeliharaan Kegiatan 5Bandingkanhasildanmenentukanmedia Kegiatan 6 Cocokkantujuan dengan mediayang paling tepat Kegiatan 7 Dokumentasikan hasil
Analisis Awal-Akhir: Data yang Masih Ada Kegiatan 1 Mengidentifikasikemungkinansumber-sumber informasi Kegiatan 2Kumpulkan informasidanmateri kursusyang ada Kegiatan 3 Bandingkan informasi o Langkah 1 Memeringkatkelayakandan kegunaan darimaterial o Langkah 2 Tentukan apakahketersediaanmaterialsesuai denganbatasan waktuproyek o Langkah 3 Menentukanbiaya bahan; dibandingkan dengananggaran proyek 31
Kegiatan 4Membuat keputusan beli atau buat o Langkah 1 Tempat danXdikolomYa atau Tidakuntuk menjawabsetiap pertanyaan o Langkah 2MenjumlahkanjumlahXdisetiap kolom Kegiatan 5 Mengevaluasisolusioff-the-shelf o Langkah 1 Melengkapi informasidi bagian atasformulir o Langkah 2 Memeringkatmasing-masing kategoripadaAlat EvaluasiCourseware o Langkah 3 Rekamkomentarsecara keseluruhanpada akhirperangkat o Langkah 4 Pilihnilai keseluruhanuntuk solusi Kegiatan 6Dokumentasikankeputusan Anda
Analisis Awal-Akhir: Biaya Kegiatan 1 Melakukananalisis manfaat-biaya(CBA). o Langkah 1 Hitungtotal biayayang diantisipasidari proyek ini o Langkah 2 Hitung totalmanfaat bagiorganisasi. o Langkah 3 Bagilahtotal biayadenganjumlahmanfaat o Langkah 4 Nyatakan manfaat-biayasebagai perbandingan Kegiatan 2Menentukan laba atasinvestasi(ROI) o Langkah 1Tentukan total nilai bersih o Langkah 2 Bagilahnilai totalbersih dengantotal biaya o Langkah 3 Kalikan dengan100 untukpersentase Kegiatan 3 Dokumentasikan hasil
Analisis Awal-Akhir: Metode Analisis Cepat Kegiatan 1 Mempersiapkan untukanalisis o Langkah 1 Tentukanfokuspenilaian o Langkah 2 Melakukanpertemuankickoff o Langkah 3Memberikan tugas 32
Kegiatan 2Ajukan pertanyaandasar o Langkah 1 Tanyakanpada kelompok sasaranlimapertanyaan utama; menambahkan pertanyaanfollow-on seperti yang dipersyaratkan o Langkah 2 Mengidentifikasi yang tidak konsisten Kegiatan 3 Simak dan rekam tanggapan o Langkah 1 Mendengarkantanggapan o Langkah 2 Kategorisasitanggapanke dalamlima kategorirespon Kegiatan 4 Mengamatikinerja yang sebenarnya o Langkah 1 Melihat tugas yang sedang dilakukan o Langkah 2 Rekonsiliasikesenjanganantara responverbal dankinerja yang sebenarnya. Kegiatan 5 Laporkan hasilnya
FASE: DESIGN Jadwal Proyek Kegiatan 1 Dokumeninformasi proyekumum Kegiatan 2 Daftar penyampaian proyek Kegiatan 3Jadwal kegiatanproyek
Tim Proyek Kegiatan 1 Daftar peran tim Kegiatan 2 Daftar tugas proyek Kegiatan 3Menetapkanperan dan tanggung jawab
Spesifikasi Media Kegiatan 1 Tentukannuansatampilan temanya o Langkah 1 Bertukar pikirandaftartema o Langkah 2 Menyelesaikanmock-up o Langkah 3 Tentukan tema 33
Kegiatan 2 Menentukanantarmukadan fungsionalitas Kegiatan 3 Tentukanstandar interaksi danumpan balik Kegiatan 4 Tentukanperlakuan videodanaudio. Kegiatan 5 Menunjukkandesainteks danstandar. Kegiatan 6 Siapkanstandardesain grafis. Kegiatan 7Tentukananimasidanefek khusus.
Struktur Konten Kegiatan 1 Break kontenke dalamunit. o Langkah 1 Break menjadi enamkategori utama. o Langkah 2 Informasi grup yang berbasis di pekerjaan dan ketertiban tugas Kegiatan 2 Petakan informasi o Langkah 1 Buatoutlinerpelajaran ataupeta. o Langkah 2 Buatdiagram alurkursus. Kegiatan 3 MenentukankesesuaianSCORM o Langkah 1 Tentukanobjekkontenyang dapat digunakan kembali. o Langkah 2 Tanyakan dimana LMS courseware akan berjalan sukses o Langkah 3 Mintalahdaftar pelangganvendorjika menggunakanpenyedia kontendanpenyediaLMS.
Pengawasan Konfigurasi dan Review Siklus Kegiatan 1 Menetapkanrencana kontrolkonfigurasi(CC) o Langkah 1 (Tanggung jawab penulis) o Langkah 2(Tanggung jawab CCG) o Langkah 3 (Tanggung jawab Pengulas) o Langkah 4 (Tanggung jawab reviewerterakhir) o Langkah 5(Tanggung jawab CCG) o Langkah 6 (Tanggung jawab penulis) 34
o Langkah 7(Tanggung jawab CCG) o Langkah 8 (Tanggung jawab Pengulas) o Langkah 9 (Tanggung jawab CCG)
FASE: PENGEMBANGANDAN IMPLEMENTASI MengembangkanLingkungan Belajar Berbasis Komputer Kegiatan 1 Buatpapan cerita o Langkah 1 Tinjaualasaninstruksionaluntuk penanganansetiap hasilbelajar o Langkah 2 Menerjemahkanpemikiranke dalamgaris besarscreen- tingkatan o Langkah 3 Menambahkan komponenup-front o Langkah 4 Review danmemvalidasipapan cerita o Langkah 5 Melakukanulasan jaminan kualitas(QA) Kegiatan 2 Membuat danmerakitUnsur Media o Langkah 1 Melakukanpertemuanpraproduksi o Langkah 2 ProdukCBT Kegiatan 3 Melakukanreview online o Langkah 1 MemproduksiCD-ROM uji o Langkah 2 Gunakanpapan ceritasebagai dasaruntuk meninjau o Langkah 3 KesalahanRekam o Langkah 4 Memperbaiki kesalahan o Langkah 5 Mengulasperbaikan Kegiatan 4 Memberikandan menjalankankursus
MengembangkanInternet, Internet, Web-Based, danLingkunganpendukungperformaPembelajaran Kegiatan 1Tentukan jenis produk dan platform. 35
o Langkah 1Tentukan apakah pembelajaran menjadi sinkron atau asinkron o Langkah 2Pilihplatform yang palingsesuai untukspesifikasi teknis Kegiatan 2Merakit komponen Kegiatan 3Melakukanulasan Kegiatan 4Berlatihpresentasi o Langkah 1 Praktekdengan teknologi o Langkah 2 PertimbanganUlasan Busana o Langkah 3 Lakukan dry run pada presentasi Kegiatan 5 Mengadakansesi o Langkah 1 Berikanbantuan(untukpeserta) informasi mengenaiperan dan tanggung jawab o Langkah 2 Menerapkansitus
MengembangkanJarak InteraktifLingkungan Broadcast Kegiatan 1 Mengembangkannaskah danbahan. Kegiatan 2 Shootdanmengedit video Kegiatan 3 Berlatihpresentasi o Langkah 1 Praktekdengan teknologi o Langkah 2 PertimbanganUlasan Busana o Langkah 3 Lakukan dry run pada presentasi Kegiatan 4 Sesi broadcast. Berikanbantuan(untukpeserta) informasi mengenaiperan dan tanggung jawab
FASE: EVALUASI Tujuan Evaluasi Kegiatan 1 Tentukan tujuandari solusi 36
o Langkah 1 Tentukan apakahvariabelpengukurannyaorganisasional o Langkah 2 Menyatakanvariabel pengukuranyang tersisauntuk menjadiperorangan o Langkah 3 Tentukan apakahsolusitersebut akan digunakansecara komersial
Strategi Evaluasi Kegiatan 1 Menulispengantarmengenaifilosofi, tujuan, dan kebutuhanuntuk evaluasi Kegiatan 2 Tentukanbagaimana mengukursetiapevaluasitingkat Kegiatan 3 Menentukan apa yang akan menjadi sumber-sumber informasi Anda
Rencana Evaluasi Kegiatan 1Lengkapipada bagianrumusan masalah o Langkah 1 Menyatakan dengan jelasrasionaluntuk mengatasimasalah ini o Langkah 2 Menggambarkankesenjangan antarasaat ini dankeadaan yang diinginkan Kegiatan 2 Lengkapipada bagiansolusi Kegiatan 3 Lengkapipada bagiantujuan Kegiatan 4 LengkapikomponenRencanaEvaluasi Kegiatan 5 LengkapiRingkasan Eksekutif o Langkah 1 Secara singkatmenyatakanmasalah o Langkah 2 Jelaskan solusi secara singkat
UkuranValiditas Kegiatan 1Menentukan tingkat dan jenis validitas yang diperlukan Kegiatan 2Menentukan kapan harusmemvalidasiinstrumen pengukuran 37
Kegiatan 3Mendokumentasikan keputusanAnda
Pengembanganinstrumen Kegiatan 1Pilihjenis pengukuran o Langkah 1 Menentukan apa untuk mengukur o Langkah 2Bedakannorma-direferensikandan langkah-langkahkriteria- yang direferensikan o Langkah 3Bedakanlangkah-langkahkualitatif atau kuantitatif o Langkah 4Tentukanpenggunaan tespradan/atauposttesting Kegiatan 2Mengembangkaninstrumen pengukuran Kegiatan 3Hitung panjangdarimasing-masing instrumen o Langkah 1 Hitung jumlah pertanyaan o Langkah 2 Hitung waktu penyelesaian instrumen Kegiatan 4 Hitungbobotsetiap item Kegiatan 5Memutuskan kapaninstrumensebaiknya diberikan Kegiatan 6Dokumenkeputusandalam rencanaevaluasi Mengumpulkan dan Menganalisis Data Kegiatan 1Set updatabase Kegiatan 2Mengembangkan rencanaevaluasi Kegiatan 3Mengumpulkan dan menyusundata Kegiatan 4Menafsirkandata o Langkah 1Menganalisisdata sesuai dengantujuanevaluasi o Langkah 2Membuat keputusan Kegiatan 5Dokumentasikantemuan Anda
STUDI KASUS1: PENGEMBANGAN PEGAWAI Keadaan 38
Salah satu programyang paling kuatPerusahaan RealLearning(RLI) KinerjaGuruSuiteadalahPerformer, kursussatu hariyang dirancanguntuk membantu karyawanmenilaiketerlibatandan keselarasanpada pekerjaandanuntuk memfasilitasi diskusimanager/karyawantentang kinerja.Program inimembantu organisasidalam mengembangkanbahasa umum untukmanajemenkinerja manusiadi seluruh organisasi, bukan hanyadijajaranmanajemen. Keduahal berikutmendorongRLIuntuk memberikanPerformersebagai solusicampuranpada platformXegyTM: 1. Kebutuhanuntukrefleksi diri 2. Kebutuhan untukmenjangkau khalayak yang besardenganmetodepengiriman yang efisiendanefektif danpada waktu yang tepat Campur Tangan RLIdigunakanuntukXegyTM Secara cepat prototipe desain untuk mencakup sesi sinkron dan asynchronous untuk mengakomodasi penemuan diri dan penemuan kolaboratif Membuat beberapa kegiatan interaktif pendek untuk memungkinkan setiap karyawan untuk bekerja melalui kursus dalam segmen waktu sesedikit lima belas menit Kirim klip video pendek (untuk setiap kecepatan koneksi) dari fasilitator utama memberikan instruksi selama proses berlangsung dan memperkuat konsep belajar Menciptakan peluang interaktif untuk membandingkan manajer dan persepsi karyawan dan tanggapan jurnal (misalnya, menjelajahi motivator, nilai-nilai, tujuan kerja, bakat, dan keterampilan yang dibutuhkan) Hadir laporan dan analisis manajer dan karyawan persepsi dan umpan balik Struktur rapat perencanaan pembangunan di mana karyawan mengambil kepemilikan Jalur penyelesaian kegiatan untuk memastikan keberhasilan 39
Hasil
Pengembanganbutuh waktu kurang darisatu bulan untuk menyelesaikan Karyawan dapatmenyelesaikan kegiatandari meja merekasesuai keinginandan kecepatanmereka Karyawandiberdayakanselama pertemuandiskusiperkembangan pelajaran Pendekatancampuranmenggunakan sesisynchronousdanasynchronousmengurangijumlah waktuyang dibutuhkankelas Videodan audiodapat diproduksidengan cara yangmengakomodasidial-up con- nection danmenciptakan lingkunganbelajar yang lebih kaya
40
Pelajaran yang Dipetik Pendekatan campuran menggunakan sesi synchronous dan asynchronous mengurangi jumlah waktu yang dibutuhkan kelas Video dan audio dapat diproduksi dengan cara yang mengakomodasi dial-up con-nection dan menciptakan lingkungan belajar yang lebih kaya
41
STUDI KASUS2: BADAN PEMERINTAH
Situasi Sebuah badan pemerintahutamaadauntuk melayani25 jutawarga dankeluarga mereka di163fasilitasdi seluruh daerah.Dalam upaya untukterus meningkatkan tingkatdankualitas layanan yang diberikan, karyawanbadan tersebutselaludisajikan padaad hocgugus tugasuntuk mengatasiproses, sistem, dan isu-isuyang dapat diperbaiki. Seperti halnyainisiatifperubahan dalamsebuah organisasi besar, gugus tugasini memakanbanyakwaktu dan sumber daya. Danhasilberkelanjutanseringkalisulit dipahami. Badan ini telah mengembangkan proses perubahan organik yang disebut Water Cooler Logic (WCL) selama empat tahun terakhir untuk menciptakan dan mempertahankan perubahan yang produktif. Proses ini lokal dan alamat tidak hanya konten (prosedur dan informasi), tetapi juga konteks (lingkungan) dan masyarakat (budaya) di mana praktek kerja saat ini diterapkan. WCL telah digunakan untuk 42
meningkatkan transfer, waktu tunggu dan penundaan, keselamatan pelanggan, dan orientasi karyawan baru. Skalabilitasmenjadifaktor pembatas. WCLadalahorganik danmelibatkanorang- orang denganlatar belakang yang berbedamenemukandan merancangintervensi yang didasarkan padapengaruhyang unik. Juaraadalah penting untukmentransferproses untukmasing-masinggugus tugasmelaluikonsultasiyang luas dandukunganseluruh proyek. Proses inisangat efektif sehinggalebih banyak orangyang dibutuhkan untukdapatterlibat dalamWCL.
Campur Tangan Tim WCL digunakan XegyTM untuk beberapa tujuan: Untuk mengkomunikasikan proses WCL dalam langkah-langkah yang jelas untuk dimengerti khalayak yang lebih luas Untuk memberikan alat-alat, sumber daya, dan alat bantu kerja dalam konteks proses Sebagai tempat untuk tim WCL untuk menangkap pengamatan mereka, dokumen, dan catatan Untuk arsip informasi proyek dan keberhasilan untuk referensi
Hasil Tidak ada datayang tersedia tentanghasil dari programini padapencetakanbuku ini. Pelajaran yang Dipetik Sifat manusiamencarikeseimbangan. Untuksetiap usaha untukberlebihanmeresepkandandokumenlangkah-langkah rincidan aturan, ada reaksi yang sama danberlawananuntuk menemukanpengecualiandanmelanggaraturan- aturan. Ketika membuatdukungankinerja atauintervensimanajemen proses, sangat penting untukmenentukan tingkatbergunadetail dalamsetiap tahapbimbinganyang 43
suksesdan dukungan. Terkadangsaranyang sesuaidan waktu lainmemaksamenyelesaikan. Kuncinyaadalah untuk melihatnilaiinovasi danharganon- kesesuaian dengan kegiatantertentu.
STUDI KASUS3: SALES FARMASI
Situasi Sebuah perusahaanfarmasimenengahsedang mempersiapkanuntuk tumbuhtenaga penjualansecara signifikandalam rangkauntuk menambahlini produkbaru untukproduk yang kompetitifakanmendapatkan persetujuanFDA. Tujuannyaadalah untuk Buatprosesdireplikasiuntuk sertifikasiproduk Meningkatkankompetensitenaga penjualanpadaproduk yang sudah ada Memperkuatposisi kompetitifmelalui perwakilanpenjualan Meningkatkankecepatan untukkeuntunganuntukpenggelaranproduk baru
Campur Tangan 44
XegyTMmemberikan kerangkadasar untuk Menyampaikanpelatihan produkdan strategikompetitifsecara konsisten Melacak dankemajuankinerja melaluisertifikasi Mengumpulkandan menyebarkanstrategisukses daripemaintinggi Aksessistem lainseperti dataresep, alat bantu pekerjaan, dan databasekontak Memberikanklip audiodaridoktertentang isu-isuyang terkait dengan produk-
Hasil Pelatihanasliproduk,sistem penilaian, danplatformpengirimanXegyTMdikembangkandalam waktu kurang daritiga bulan. PlatformIT-bebas memungkinkan timfarmasiuntuk mengelola danberkontribusi langsung. Pada, saatbuku iniditerbitkan, satu produktelahdiluncurkanke seluruhtenaga penjualansebagai tesbeta. Hasilnya sungguh Kepatuhan100persendalam menyelesaikansertifikasipada tingkatakurasi95persendalam jangka waktutertentu Penjualan perwakilanmelihatanimasidan demonstrasi; mendengardokterberbicara dariperspektif merekatentang produkdan perawatan; menghabiskan lebih sedikitwaktu untuk mencari informasidan bentuk; danbertanggung jawab ataspembelajaran mereka sendiri
Pelajaran yang Dipetik Ruang lingkupsertifikasi produkharus diperluasmelampauipembelajarantradisionaluntuk memasukkan semuaelemen yang relevanuntukmenjualproduk. Sistemdapatdan harus digunakanuntuk menghapushambatandan memungkinkanperwakilan penjualanuntuk melakukan penjualan. 45
Tenaga penjualandengan pengalaman terbatas dalamteknologidapatberadaptasi dengan cepat terhadapsistemyang mendukungpenjualan.