PENGUMPULAN INFORMASI EVALUATIF

MAKALAH
UNTUK MEMENUHI TUGAS MATAKULIAH
Evaluasi Program Pendidikan Fisika
yang dibina oleh
Bapak Dr. Supriyono Koes Handayanto, M.Pd.dan Bapak Dr. Muharjito, M.S.

Oleh:
Anggraining Widiningtyas (180321864526)
Eka Setya Ningsih S (180321864522)
Tri Wahyuni (180321864517)

UNIVERSITAS NEGERI MALANG

PASCASARJANA
PROGRAM STUDI PENDIDIKAN FISIKA
APRIL 2019

1
 KATA PENGANTAR

Puji syukur kehadirat Allah SWT yang telah memberikan Rahmat, Taufiq
serta Hidayah-Nya, sehingga penulis bisa menyelesaikan Makalah “Pengumpulan
Informasi Evaluatif”. Shalawat serta salam senantiasa penulis panjatkan kepada
junjungan Nabi besar, sang revolusioner Islam Muhammad SAW yang telah
membimbing umat manusia dari kegelapan menuju jalan yang terang dengan adanya
Islam, Iman dan Ihsan.
Makalah ini disusun untuk memenuhi tugas mata kuliah “Evaluasi Program
Pendidikan Fisika” yang dibina oleh Dr. Supriyono Koes Handayanto, M. Pd, M.A
dan Dr. Muhardjito, M. S. Kritik dan saran yang membangun dibutuhkan sebagai
perbaikan makalah ini. Semoga penyusunan makalah ini dapat berguna bagi penulis
pribadi dan bagi masyarakat pada umumnya.

Malang, April 2019

ii
 DAFTAR ISI

Halaman Judul…………………………………………………………… i
Kata Pengantar…………………………………………………………… ii
Daftar Isi…………………………………………………………………. iii
BAB I PENDAHULUAN……………………………………………….. 1
A. Latar Belakang………………………………………………………. 1
B. Rumusan Masalah…………………………………………………… 1
C. Tujuan……………………………………………………………….. 2
BAB II PEMBAHASAN……………………………………………….. 3
A. Standar Pengumpulan Informasi……………………………………. 3

B. Tema Pokok Standar Program Evaluasi Mengenai Pengumpulan 23

Informasi……………………………………………………………..
C. Kerangka Pengumpulan Informasi…………………………………... 23
D. Metode-Metode yang Digunakan Untuk Mengumpulkan Informasi... 26

BAB III PENUTUP……………………………………………………….

A. Kesimpulan…………………………………………………………....

B. Saran…………………………………………………………………..
Daftar Pustaka………………………………………………………………

iii
 BAB I

PENDAHULUAN

A. Latar Belakang
Evaluasi adalah sebuah kegiatan pengumpulan data atau informasi, untuk
dibandingkan dengan kriteria, kemudian diambil kesimpulan. Kesimpulan inilah yang
disebut sebagai hasil evaluasi. Penelitian evaluatif bermaksud mengumpulkan data
tentang implementasi kebijakan. Tujuan evaluatif itu untuk mengetahui
keterlaksanaam kebijakan, bukan hanya pada kesimpulan sudah terlaksanan dengan
baik atau tidaknya, tetapi ingin mengetahui kalau belum baik implementasinya, apa
yang telah menyebabkan, dimana letak kelemahannya, dan kalau lemah apa
sebabnya. Dengan kata lain, penelitian evaluatif bermaksud mencari titik-titik lemah
dari implementasi yang mungkin juga letak kelemahan kebijakannya.
Kegiatan yang akan dievaluasi selalu merupakan sebuah kesatuan. Dengan kata
lain, semua kegiatan yang akan dievaluasi merupakan sebuah system. Ada dua istilah
yang mirip, yaitu sistim dan system. Sistim adalah cara. Sitem adalah sebuah
kesatuan yang terdiri dari beberapa unsur yang saling kait-mengkait menuju
tercapainnya tujuan sistem. Kegiatan atau program yang menjadi obyek penelitian
evaluatif selalu merupakan sebuah sistem, karena keberhasilan kegiatan selalu
didukung oleh beberapa faktor.

B. Rumusan Masalah
1. Apa saja standar-standar pokok dalam pengumpulan informasi?
2. Bagaimana tema pokok standar program evaluasi dalam pengumpulan
informasi?
3. Bagaimana kerangka pengumpulan evaluasi?
4. Apa saja metode-metode yang digunakan dalam pengumpulan evaluasi?

1
C. Tujuan
1. Memahami standar-standar pokok dalam pengumpulan informasi.
2. Memahami tema pokok standar program evaluasi dalam pengumpulan
informasi.
3. Memahami bagaimana kerangka pengumpulan evaluasi.
4. Memahami metode- metode yang digunakan dalam pengumpulan evaluasi.

2
 BAB II
PEMBAHASAN

Setelah membuat kesepakatan/perjanjian pelaksaann evaluasi, tugas utama

seorang evaluator adalah mengumpulkan informasi yang dibutuhkan. Respon
terhadap pertanyaan penelitian bisa digunakan sebagai informasi pendukung.
Informasi ini harus mencakupi sepenuhnya ruang lingkup pertanyaan penelitian yang
dikembangkan melalui kolaborasi evaluator dengan klien dan pertanyaan penelitian
yang dikembangkan harus cukup mendalam. Hal ini juga harus dapat dikombinasikan
ke dalam semua hal yang koheren untuk menghasilkan kesimpulan yang valid tentang
kelebihan dan kelayakan evaluasi. Pengumpulan informasi yang dibutuhkan
membutuhkan kepekaan terhadap kepentingan umum, kompetensi teknis, hukum,
etika, keterampilan berkomunikasi, manajemen informasi yang teliti, dan pengukuran
yang baik yang bersumber dari kreatifitas dan akal pikaran.

A. Standar-Standar Pokok Dalam Pengumpulan Informasi

Disiplin ilmu evaluasi memiliki standar-standar yang jelas, dasar literatur yang
luas, dan prosedur yang kuat untuk mengembangkan , memvalidasi dan
menggunakan alat untuk mengumpulkan informasi. The Joint Committe on Standards
for Education Evaluation (2011) menentukan beberapa standar yang harus dipenuhi
oleh suatu aktivitas dan instrumen pengumpulan informasi evaluasi. Standar-standar
yang harus dipenuhi itu adalah: (1) informasi yang relevan; (2) penghargaan terhadap
manusia serta hak asasi manusia; (3) deskripsi program dan konteks secara eksplisit;
(4) informasi yang reliabel, informasi yang valid, dan manajemen informasi. Standar-
standar ini juga mencakup pedoman dan prosedur untuk mengembangkan kerangka
instrumen, mengembangkan item-item respon, merancang dan menguji instrumen,
melakukan analisis item, penyelesaian instrumen, mengembangkan norma-norma,
melakukan uji reliabilitas dan validitas, memilih sampel dan responden yang sesuai,

3
mengendalikan kondisi pengumpulan informasi, verifikasi data yang diperoleh,
menjaga kerahasiaan informasi yang dikumpulkan, menyertakan berbagai
pertimbangkan etis, dan lain-lain. Untuk lebih luas lagi, evaluator dapat
mengembangkan instrumen kuantitatif dan kualitatif yang bisa diterima sebagai alat
penilaian yang valid, yang bisa memperkuat pengumpulkan dan mempertahankan
informasi yang diperlukan untuk mengevaluasi sebuah program. Dengan
menggunakan berbagai informasi yang relevan dan informasi yang dapat
dipertahankan secara luas, evaluator dapat menjawab pertanyaan evaluatif dengan
percaya diri, membuat kesimpulan tentang kualitas dan prestasi dari evaluan, dan dan
memberikan rekomendasi penggunaan hasil evaluasi secara persuatif.
Evaluator membutuhkan pemahaman yang kuat tentang standar-standar ini
untuk mengumpulkan informasi evaluatif dan evaluator harus menggunakannya
secara seksama dan sistematis untuk bisa memenuhi standar-standar ini.
Kendala praktis yang banyak ditemukan dalam proses evaluasi adalah
kesulitan dalam memenuhi standar-standar yang terkait dengan pengumpulan
informasi suara sepenuhnya. Evaluator sering sekali tidak dapat mengakses instrumen
valid sebelumnya untuk mengumpulkan informasi yang diperlukan untuk menarik
kesimpulan dalam evaluasi tertentu. Selain itu, evaluator juga sering sekali tidak
memiliki waktu dan sumber daya yang cukup untuk melaksanakan prosedur penuh
dari pengembangan, pilot testing, mereformulasi, menilai dan memvalidasi instrumen
baru, yang merupakan proses yang membutuhkan waktu beberapa tahun untuk
dikerjakan dengan biaya yang mahal juga tentunya. Biasanya, evaluator yang
kompeten merancang instrumen baru secara sistematis sebisa mungkin, menggunakan
instrumen lain yang tersedia yang mungkin hanya memiliki validitas yang marjinal
untuk penelitian tertentu, mengumpulkan hal-hal yang relevan, informasi yang
reliabel, dan secara berulang mereplikasi proses pengumpulan informasi hingga
menemukan hal yang stabil dan dapat dipertahankan. Dalam melakukan hal ini,
evaluator perlu mengambil langkah-langkah yang layak untuk memenuhi standar-
standar yang terkait dengan pengumpulan informasi. Mereka tidak perlu

4
mengharapkan pengguna evaluasi menjadi nyaman atau benar-benar puas dengan
prosedur dan alat-alat pengumpulan informasi yang memenuhi sebagian atau
sepenuhnya prinsip-prinsip dari penemuan suara. Evaluator harus melaporkan kepada
pengguna setiap kekurangan dalam informasi yang mereka kumpulkan. Diantara
beberapa langkah yang harus diambil oleh evaluator untuk mengatasi kelemahan
dalam instrumen pengumpulan informasi adalah membuat cross-check pada hasil
temuan. Cara utama untuk melakukan ini adalah dengan menggunakan beberapa
sumber informasi dan beberapa metode, mencari konsensus dalam hasil temuan, dan
melaporkan ketidaksesuaian dan kesesuaian dalam hasil temuan. Singkatnya,
evaluator harus memenuhi standar-standar ini secara serius dan melakukan semua
yang mereka bisa untuk memenuhinya, dan mereka harus terus terang dalam
melaporkan keterbatasan dalam informasi yang disajikan. Dari perspektif ini, tujuan
sederhana evaluator setidaknya adalah meningkatkan rasionalitas dan defensibilitas
kesimpulan, penilaian, dan keputusan mereka. (Bamberger, Rugh, & Mabry, 2012).
1. Informasi yang Relevan
Standar ini menyatakan, "Informasi Evaluasi harus melayani kebutuhan
teridentifikasi dan kebutuhan yang muncul dari pengguna" (Joint Committee,
2011, p. 45). Penjelasan standar ini menekankan pada dua persyaratan utama:
ruang lingkup dan selektivitas. Untuk memenuhi esensi dari standar ini, evaluator
harus sering menyediakan kekurangan dan kelebihan informasi dari permintaan
klien.
Evaluator harus mengumpulkan informasi yang memiliki ruang lingkup
yang cukup untuk memenuhi informasi paling penting dibutuhkan oleh audiens
dan mendukung keputusan tentang prestasi dan kelayakan. Biasanya, evaluator
harus mendapatkan informasi pada semua variabel penting (misalnya, kebutuhan
partisipan, tujuan dan asumsi program, desain dan pelaksanaan program, biaya dan
hasil program, dan efek samping positif dan negatif). Evaluator harus
mengumpulkan informasi tentang semua pertanyaan penting, yang klien dan
stakeholder minta secara khusus. Hal ini sesuai dengan diktum bahwa evaluasi

5
bukan hanya layanan informasi, tapi pada dasarnya penilaian tentang prestasi dan
kelayakan. Seperti yang Joint Committee (1994) nyatakan, "Evaluator harus
menentukan apa yang klien anggap signifikan tetapi harus juga menyarankan hal-
hal yang signifikan yang mugkin klien abaikan, termasuk bidang-bidang lain yang
diidentifikasi oleh stakeholder "(hal. 37).
Aspek penting kedua dari standar ini adalah evaluator harus selektif dalam
menentukan informasi apa yang harus dikumpulkan. Biasanya tidak mungkin
memenuhi semua informasi yang diinginkan oleh stakeholder dan juga tidak
semua informasi yang dimaksud akan sama-sama penting untuk stakeholder atau
penting untuk mencapai kesimpulan evaluatif. Pertama, seorang evaluator harus
mengidentifikasi potensi dari semua bagian informasi yang relevan, termasuk
informasi yang klien dan stakeholder inginkan dan juga apa yang dibutuhkan
untuk membuat sebuah keputusan tentang prestasi dan kelayakan. Selanjutnya,
evaluator harus bekerja dengan klien dan stakeholder untuk memisahkan item-item
informasi paling penting dari item-item yang hanya diinginkan atau item-item
yang kurang penting. Kemudian, dalam pertimbangan biaya dan waktu yang
tersedia, evaluator harus memilih informasi yang dikumpulkan secara bijaksana.

2. Penghargaan terhadap Manusia

Standar ini menyatakan, "Evaluasi harus dirancang dan dilakukan untuk
melindungi hak-hak asasi manusia dan hak-hak hukum dan menjaga martabat
pertisipan dan stakeholder lainnya "(Joint Committee, 2011, p. 125).
Kebanyakan evaluasi program melibatkan pengumpulan informasi dari dan
berkaitan secara luas dengan berbagai orang yang terkait dengan program seperti:
penerima manfaat program, staf, administrator, pembuat kebijakan, anggota
masyarakat, dan lain-lain. Tanpa proses dan perhatian, evaluator mungkin tanpa
disadari melanggar hak asasi manusia. Pelanggaran- pelanggaran ini bisa
mempermalukan atau membahayakan pihak yang menjadi korban, memicu
tuntutan hukum atau sanksi profesional, memicu pertikaian, dan mendiskreditkan

6
evaluasi dan menjadikannya tidak efektif. Evaluator harus secara sistematis
mengidentifikasi dan membuat ketentuan untuk memenuhi semua hak yang
berlaku pada pihak dalam evaluasi. Beberapa hak berdasarkan hukum, dan yang
lainnya berasal dari etika dan kesopanan. Joint Committ (1994) menyatakan,
Ketentuan hukum dasar pada hak-hak manusia meliputi hal-hal yang
berhubungan dengan persetujuan untuk partisipasi, hak penarikan tanpa prasangka
dan tanpa penarikan perlakuan atau layanan, privasi pendapat dan informasi
tertentu, kerahasiaan informasi, dan perlindungan kesehatan dan keselamatan. (P.
93)
Selain itu, pertimbangan etika, akal sehat, dan rasa hormat menginginkan
evaluator untuk menghormati hak asasi pertisipan evaluasi yang tidak hanya untuk
menempatkan batas pada sejauh mana waktu partisipasi mereka dalam
pengumpulan informasi tetapi juga mengurangi proses yang mereka anggap
merugikan atau tidak nyaman. Evaluator juga harus menghormati nilai-nilai
budaya dan sosial dari semua partisipan (Morris, 2003).
Salah satu cara penting untuk menegakkan hak-hak manusia adalah
memiliki institusi kemanusiaan yang sesuai untuk desain evaluasi seseorang. Cara
lain adalah secara ketat mengikuti saran dalam naskah lengkap dari standar Hak
Asasi Manusia dan penghormatan terhadap manusia (Joint Committee, 2011).
Dengan demikian, evaluator harus mempertimbangkan dalam mengembangkan
prosedur-prosedur yang evaluator dan klien ikuti untuk memastikan bahwa hak-
hak pertisipan dilindungi. Evaluator harus menginformasikan calon penyedia
informasi bagaimana informasi yang mereka berikan akan digunakan. Mereka
harus mendapatkan izin tertulis dari pihak yang berwenang untuk mengakses
rekaman/data dari individu (jika diperlukan), dan mereka harus melakukan segala
upaya untuk melindungi identitas partisipan yang memberikan respon terhadap
instrumen evaluasi atau memberikan informasi. Jika hal ini berlaku, maka
diperlukan izin tertulis dari responden dan klien untuk wawancara atau
mengumpulkan informas dari partisipan. Meskipun sering diinginkan untuk

7
memberikan kerahasiaan atau anonimitas dalam mengumpulkan informasi,
evaluator tidak harus membuat perjanjian satu sama lain ketika itu tidak dapat
dijamin. Pada beberapa evaluasi juga diinginkan untuk membuat ketentuan khusus
yang memungkinkan para peserta minoritas bahasa untuk memberikan informasi,
meskipun instrumen diterjemahkan ke dalam bahasa yang mereka.

3. Deskripsi Program dan Konteks

Standar ini menyatakan, "Evaluasi harus mendokumentasikan program dan
konteksnya secara detail dan dalam ruang lingkup yang tepat untuk tujuan evaluasi
"(Joint Committee, 2011, p. 185).
Ketika laporan evaluasi akhir diterbitkan, pembaca perlu tahu apa yang
dievaluasi. Hal ini tidak cukup dengan menggambarkan program hanya seperti
yang awalnya dipahami, karena pelaksanaannya mungkin sangat berbeda.
kemudian hal tersebut juga tidak cukup untuk mengkarakterisasi program secara
umum, karena banyak pembaca perlu detail programnya. Pembaca yang tertarik
dalam mereplikasi program memerlukan keterangan yang cukup untuk
membandingkan program dengan kritik pesaing. Jika mereka memutuskan untuk
mengadopsi program ini, mereka membutuhkan informasi spesifik untuk
membantu memutuskan bagaimana mengorganisasi versi program mereka,
membiayainya, memulainya, dan memfungsikannya secara maksimal. Ketika
sebuah program gagal, penyandang dana dan administrator program membutuhkan
informasi tentang pengeluaran program, kepegawaian, dan operasi untuk
mendiagnosa penyebab kegagalan program. Selain itu, peneliti yang ingin
memahami efek program ini membutuhkan informasi secara rinci tentang operasi
program sebenarnya sehingga mereka dapat menghubungkan bagian-bagian dari
program dengan hasilnya.
Seorang evaluator harus mengumpulkan informasi yang cukup untuk
membantu audiens memahami rencana awal program dan pelaksanaan sebenarnya.
Secara jelas, evaluator harus mengumpulkan informasi tentang bagaimana

8
program itu dibentuk, diatur, dikelola, dibiayai, dan dilaksanakan; di mana hal itu
dilaksanakan; apa fasilitas yang digunakan; apa orientasi dan pelatihan peserta
yang diterima; berapa banyak keterlibatan masyarakat (jika ada) berlangsung di
dalam program; dan bagaimana dana program dianggarkan dan dihabiskan.
Sumber relevan dari informasi yang luas tentang program meliputi deskripsi
program secara umum, pendanaan proposal, laporan humas, durasi waktu rapat
staf, presentasi media, rekening koran, laporan pengeluaran, dan laporan kemajuan
dan laporan akhir. Informasi tambahan mungkin perlu dikumpulkan dari pengamat
partisipan dan pengamat independen, dari wawancara dengan berbagai partisipan
program, dari kelompok fokus, dan dari pengamatan langsung oleh evaluator.
Rekaman fotografi juga dapat membuktikan. Dalam mengumpulkan informasi,
evaluator harus bijaksana untuk mendapatkan deskripsi holistik dan deskripsi dari
komponen program. Evaluator dapat mendokumentasikan deskripsi waktu khusus
untuk perubahan dokumen dan perubahan kontras dalam program dan identifikasi
tren. Hal ini penting untuk mencari perbedaan antara operasi program yang
dimaksudkan dan operasi program yang sebenarnya. Dokumentasi program adalah
tugas pengumpulan informasi kebanyakan.
Standar ini juga mengajak untuk mempelajari dan mendokumentasikan
konteks di dalam program yang ada, sehingga pengaruh pada program dapat
diidentifikasi. Konteks program sangat mempengaruhi bagaimana program
dirancang dan dioperasikan dan apa yang dicapainya. Dua atau lebih program
dengan desain yang sama sering berbeda jauh dalam pelaksanaan dan hasil karena
pengaruh masing-masing latar belakang dan keadaan lingkungan. Untuk
memahami bagaimana sebuah program memperoleh karakteristik tertentu dan
mengapa berhasil atau gagal, evaluator harus mengumpulkan informasi
kontekstual yang cukup. Variabel kontekstual penting meliputi lokasi geografis
program, lingkungan politik dan sosial yang relevan, keadaan ekonomi masyarakat
sekitarnya, kebutuhan yang terkait dengan program dan masalah di daerah,
undang-undang terkait, ketersediaan dana khusus untuk bekerja di wilayah

9
program, orang yang sangat berpengaruh, keadaan lingkungan yang sangat
berpengaruh, rasioanal program dan sarana untuk memulai, ruang organisasinya,
waktunya, kontribusi potensinya untuk lokal, kebutuhan pertisipan yang
sebenarnya dan kebutuhan yang terkait dengan program, program yang bersaing di
daerah, dan negara yang bersangkutan dan pengaruh nasional.
Evaluasi formatif membutuhkan informasi kontekstual untuk membantu
orang-orang yang bertanggung jawab atas program mempertimbangkan situasi
lokal dan mengidentifikasi dan mengatasi kebutuhan dan masalah partisipan.
Evaluasi sumatif membutuhkan informasi kontekstual untuk membantu audiens
memahami mengapa sebuah program berhasil atau gagal dan mencegah
interpretasi yang keliru tentang bagaimana memberlakukan hasil temuan ini ke
konteks lain.
Untuk mempertimbangkan bagaimana program bisa digunakan di tempat
lain, audiens perlu tahu dinamika kontekstual yang sangat berpengaruh pada apa
yang ada dalam pengaturan baru. Sebagai contoh, audiens mungkin ingin tahu
apakah keberhasilan program ini sangat dibantu oleh komunitas yang mendukung,
seorang pemimpin politik yang karismatik dan luar biasa efektif, subsidi yang
cukup besar dari sebuah yayasan lokal, atau kerjasama agensi pelayanan sosial.
Dari titik menarik lainnya, audiens mungkin ingin mempertimbangkan untuk
mereplikasi sebuah program yang gagal jika kegagalannya secara jelas disebabkan
oleh keadaan lingkungan di luar kendali program. Contoh pengaruh negatif
tersebut adalah kerusuhan lokal, kepemimpinan dan arah yang lemah, krisis fiskal
dalam organisasi program, pergantian staf tinggi, atau kerusakan daerah oleh badai
atau tornado.

4. Sumber Informasi yang Dapat Dipertahankan

Standar ini menyatakan, "Sumber-sumber informasi yang digunakan dalam
evaluasi program harus dijelaskan cukup detail, sehingga kecukupan informasi
dapat dinilai "(Joint Committee, 1994, hal. 141).

10
 Karena evaluasi secara utama dibatasi-waktu yang berfungsi di bawah
kompleksitas dunia nyata, evaluator biasanya harus menggunakan berbagai teknik
untuk mengumpulkan informasi dari berbagai sumber. Sumber meliputi staf dan
partisipan program, administrator dan anggota kebijakan dewan, surat kabar dan
catatan publik, usulan dan laporan program, dan catatan program. Evaluator
menggunakan berbagai teknik untuk menyadap sumber-sumber ini. Orang-orang
yang mungkin disurvei, diuji, diwawancarai, terlibat dalam kelompok fokus, atau
diminta untuk menyelesaikan rating scale. Evaluator biasanya harus menggunakan
metode kualitatif dan metode kuantitatif. Dengan menggunakan berbagai teknik
untuk mendapatkan informasi dari beberapa sumber, evaluator memberikan cross-
check dan perspektif untuk mengatasi setiap pertanyaan evaluasi dan membantu
memperbaiki keterbatasan sumber dan metode. Selain itu, mereka mungkin hanya
memiliki waktu untuk memeriksa sampel dari catatan dan dokumen lainnya.
Akibatnya, mereka harus selektif dalam mengumpulkan informasi.
Selektivitas memperkenalkan kemungkinan informasi bias dan informasi
hilang. Jika informasi tidak mewakili apa yang terjadi dalam program atau respon
yang mungkin telah diperoleh dari semua anggota kelompok responden tertentu,
evaluator dapat menarik kesimpulan yang keliru. Oleh karena itu, ia perlu untuk
memperkenalkan perlindungan yang tepat untuk meningkatkan keterwakilan dan
transparansi dalam hasil temuannya. Evaluator harus berterus terang dalam
melaporkan keterbatasan sumber informasinya. Joint Committe (1994)
menyarankan evaluator untuk "mendokumentasi, membenarkan, dan melaporkan
sumber informasinya, kriteria dan metode yang digunakan untuk memilihnya, cara
yang digunakan untuk mendapatkan informasi, dan setiap fitur unik dan bias dari
informasi yang diperoleh " (P. 141). Lampiran teknis evaluasi ini harus meliputi
dokumentasi sumber informasi, proses pengumpulan informasi, dan instrumen
yang digunakan untuk mengumpulkan informasi.
Dalam kebanyakan penelitian, seorang evaluator memilih sampel (termasuk
dokumen program) menggunakan probabilitas sampling dan nonprobabilitas

11
sampling. Tujuan dari probabilitas sampling adalah untuk memperkirakan
parameter-parameter populasi dari informasi yang terkandung dalam sebuah
sampel, untuk membuat kesimpulan tentang populasi dari informasi yang
terkandung dalam sampel yang dipilih dari populasi itu. Dalam kebanyakan kasus,
kesimpulan tersebut dalam bentuk perkiraan dari parameter populasi, seperti rata-
rata, total, atau proporsi, yang terikat pada kesalahan estimasi (margin of error).
Setiap pengamatan diambil dari suatu populasi mengandung sejumlah informasi
tertentu tentang parameter populasi atau parameter yang menarik. Karena itu, ciri
utama dari hampir semua desain sampling adalah untuk menentukan ukuran
sampel yang diperlukan atau kuantitas informasi dalam sampel yang berkaitan
dengan parameter populasi. Esensial nomenklatur terkait dengan pengambilan
sampel meliputi elemen, populasi, sampel, unit pengambilan sampel, dan
kerangka. Sebuah elemen adalah obyek pada pengukuran yang diambil. Sebuah
populasi adalah kumpulan elemen tentang sebuah kesimpulan yang dibuat
berdasarkan sebuah sampel. Sebuah sampel adalah pengumpulan unit sampel yang
diambil dari bingkai atau frame, sering disebut populasi minat. Sampling unit
adalah pengumpulan nonoverlapping elemen dari populasi yang mencakup seluruh
penduduk. Sebuah frame adalah daftar unit sampling seperti pada Gambar 1. Pada
Gambar 1, overcoverage terjadi ketika unit yang bukan bagian dari populasi target
atau kerangka sampling disertakan dalam sampel, dan kekurangtercakupan terjadi
ketika unit yang harus menjadi bagian dari target populasi atau kerangka sampling
dikecualikan. Overcoverage dan kekurangtercakupan membuat kesalahan
pemilihan sampel, yang akhirnya dapat mengakibatkan kesimpulan yang salah
yang ditarik dari sampel ke populasi target.

12
 Gambar 1. Coverage of a Target Pupolation by a Sampling Frame
Ketika metode probabilitas sampling (dan metode nonprobabilitas sampling)
digunakan, evaluator harus mengeluarkan usaha besar untuk mengurangi
kesalahan ulasan, kesalahan sampling, nonresponse, dan kesalahan pengukuran
(Dillman, Smyth, & Christian, 2009). Kesalahan ulasan adalah hal-hal yang
muncul ketika tidak semua anggota populasi diketahui, nonzero probabilitas dari
seleksi, dan ketika orang-orang yang dikecualikan berbeda dari orang-orang yang
dijadikan sampel. Kesalahan pemilihan sampel mencerminkan sejauh mana
perkiraan sampel berbeda dari parameter populasi karena tidak setiap unit dalam
populasi dijadikan sampel. Kesalahan nonrespon terjadi ketika unit yang dipilih
tidak merespon berbeda dari apa yang mereka melakukan. Dalam banyak situasi
sampling, nonresponse adalah salah satu masalah yang paling meresap, dan
evaluator akan bijaksana untuk menerapkan Dillman teori pertukaran sosial untuk
mengurangi nonrespon. Kesalahan pengukuran terjadi sebagai akibat dari respon
yang tidak akurat atau tidak tepat.
Stratified random sample adalah sampel yang diperoleh dengan memisahkan
unsur-unsur populasi dalam diskrit, kelompok yang tidak tumpang tindih
(misalnya, laki-laki dan perempuan), yang disebut strata, dan kemudian memilih

13
sampel acak sederhana dari masing-masing strata. Alasan utama untuk
menggunakan stratified random sampling daripada simple random sampling
adalah sebagai berikut:
 Stratifikasi dapat menghasilkan kesalahan estimasi yang lebih kecil dari
pada simple random sampling dengan jumlah sample yang sama, terutama
jika pengukuran dilakukan dalam strata yang homogen.
 Biaya observasi dapat dikurangi dengan stratifikasi elemen populasi ke
pengelompokan yang tepat.
 Estimasi parameter populasi mungkin diinginkan untuk subgrup populasi
sehingga subgrup - subgrup harus menjadi strata yang dapat diidentifikasi.
Cluster sampling adalah alternatif yang lebih murah dari pada simple atau
stratified random sampling jika biaya untuk menghasilkan kerangka yang berisi
daftar semua elemen populasi sangat tinggi. Cluster sampling adalah desain yang
efektif untuk mendapatkan sejumlah informasi tertentu yang berada dibawah
kondisi berikut ini:
 Sebuah keangka yang baik mendata semua elemen populasi yang tidak
tersedia atau sangat mahal untuk didapatkan
 Biaya untuk menghasilkan pengamatan meningkat seperti meningkatnya
jarak yang memisahkan unsur-unsur.
Meskipun probabilitas sampling secara umum dianjurkan dalam literatur
evaluasi, pada prakteknya, evaluator menggunakan berbagai cara sampling lainnya
dengan hasil yang bermanfaat. Mereka mungkin menggunakan metode
nonprobabilitas sampling seperti purposive sampling untuk memperoleh informasi
dari informan kunci, seperti dewan kebijakan, direktur program, pemimpin tugas
program, atau evaluator internal program. Dalam banyak evaluasi, penting untuk
memperoleh informasi seperti dari stakeholder, dan probabilitas sampling tidak
akan berlaku. Metode lain yang berguna secara khusus terdiri dari berbagai jenis
metode sampling rantai-rujukan, seperti snowball sampling (yaitu, mewawancarai

14
satu atau beberapa individu di awal dan meminta tiap-tiap individu
mengidentifikasi orang lain yang harus diwawancarai) dan respondentdriven
sampling, yang berguna untuk populasi tertentu yang sulit dijangkau dan
tersembunyi, seperti tunawisma, pengguna narkoba, dan individu positif terinfeksi
HIV (Coryn, Gugiu, Davidson, & Schröter, 2008). Keuntungan dari pendekatan ini
adalah mereka dapat membimbing evaluator untuk menemukan informan kunci
yang dinyatakan tidak mungkin dijadikan sampel. Patton (2002) menjelaskan lima
belas desain sampling (termasuk metode sampling rantai-rujukan tersebut) untuk
digunakan dengan pendekatan evaluasi kualitatif. Relevansi khusus untuk banyak
evaluasi, pendekatan-pendekatan berikut yang direkomendasikan:
 Extreme or deviant case sampling. Unit yang dipilih karena mereka dalam
hal-hal yang tidak biasa atau menyimpang (misalnya, kasus kesuksesan,
kasus kegagalan).
 Intensity sampling. unit yang dipilih menunjukkan fenomena atau menarik
(tapi tidak ekstrim seperti kasus-kasus yang dianggap menyimpang
dianggap).
 Homogeneous sampling. Unit yang dipilih dari sub kelompok untuk
menggambarkan setiap subkelompok secara mendalam.
 Typical case sampling. Unit yang dipilih yang memiliki karakteristik khas
nyata yang menarik.
 Critical case sampling. unit yang dipilih dianggap sangat penting secara
khusus.
 Criterion sampling. Unit dipilih berdasarkan kriteria yang telah ditentukan
(misalnya, atas dasar paparan untuk sebuah insiden kritis menarik).
Terlepas dari rencana evaluasi sampling, pemangku kepentingan yang tidak
dijadikan sampel mungkin ingin untuk memberikan masukannya. Ada alasan baik
bagi evaluator untuk menerima informasi mereka dan menggabungkannya dalam
evaluasi. Hal tersebut dapat memberikan kredibilitas penelitian dan dapat

15
mempengaruhi relawan untuk mempelajari hasil secara serius. Tetapi evaluator
harus menjaga informasi sukarelawan secara terpisah dari informasi yang
diperoleh lainnya, menganalisis sekumpulan informasi yang berbeda secara
terpisah, dan menginformasikan para pembaca keterbatasan seperti sampel
relawan.
Tidak semua evaluasi harus melibatkan pengambilan sampel responden.
Dalam beberapa penelitian, evaluator memperoleh informasi dari semua peserta
program, setiap anggota staf, dan masing-masing anggota dari dewan kebijakan.
Ketika data dikumpulkan dari semua anggota populasi, hasilnya dapat dilaporkan
langsung. Dalam beberapa kasus, tidak perlu untuk membuat kesimpulan tentang
populasi berdasarkan sampel karena evaluator telah menarik informasi dari
keseluruhan populasi. Hal ini dapat menyederhanakan banyak tugas evaluator
untuk menganalisis dan melaporkan hasil temuan. Dalam kegiatan pengumpulan
data perencanaan, evaluator harus mempertimbangkan kemungkinan dan keingi
melakukan pengukuran dari semua anggota populasi minat. Jika ini bisa dilakukan,
evaluatror bisa meneruksna untuk melakukan pengukuran terhadap populasi dan
mengkesampingkan kekhawatiran tentang sampling. Jika tidak, evaluator harus
memilih dan menerapkan teknik sampling yang tepat.

5. Informasi yang Reliabel

Standar menyatakan, "prosedur Evaluasi harus menghasilkan informasi
yang cukup reliabel dan konsisten untuk penggunaan yang dimaksudkan.
Evaluator bisa memperhatikan satu atau lebih dari jenis-jenis reliabilitas,
tergantung pada hakikat evaluasi. Reliabilitas dapat dipengaruhi oleh variabilitas
sampel, di mana sampel homogen cenderung menurunkan reliabilitas dan sampel
heterogen cenderung meningkat reliabilitas; lama pengujian; dan batas waktu tes,
dan lain-lain.
Banyak evaluasi melibatkan penggunaan penilai atau pengamat untuk
mengumpulkan informasi tentang program, seperti ketika penilai atau pengamat

16
menggunakan checklist untuk memverifikasi-melalui pengamatan langsung pada
program yang sedang dilaksanakan, ketika mereka menggunakan rubrik untuk
menilai dan merangking hasil kerja tertulis dari partisipan program, atau ketika
mereka melakukan coding untuk memberi kode informasi kualitatif yang diperoleh
melalui wawancara atau focus group. Ketika beberapa penilai, pengamat, atau
coders digunakan, satu atau lebih koefisien reliabilitas antar penilai, seperti simple
coefficient of egreement, po; Cohen κ untuk menghitung chance agreement; atau
berbagai model koefisien korelasi intraclass dapat digunakan untuk menilai sejauh
mana penilai, pengamat, atau coders memberikan perkiraan yang konsisten tentang
apa yang mereka amati, ranking, kode, atau putuskan.
Evaluator harus menentukan bentuk reliabilitas yang paling bisa digunakan
untuk kajian mereka dan membuat penilaian yang tepat. Untuk semua bentuk
reliabilitas, mereka harus berusaha untuk mengurangi atau mendokumentasikan
jumlah variansi kesalahan dan dampaknya terhadap informasi dan kesimpulan
evaluasi. Tabel di bawah menyajikan Checklist untuk Informasi yang Reliabel.
Tabel 1 Checklist untuk Informasi yang Reliabel
Menentukan, membenarkan, dan melaporkan jenis reliabitas yang dibutuhkan,
menguji ulang, reliabilitas antar penilai, atau konsistensi internal, misalnya tingkat
reliabilitas yang dapat diterima.
Dalam proses memeriksa, memperkuat, dan melaporkan reliabitas,
pertanggungjawaban situasi dimana penilaian dapat atau mungkin berbeda reliabel
karena beragam karakteristik orang dan kelompok dalam konteks evaluasi.
Pastikan bahwa evaluator, atau tim evaluasi, memiliki atau memiliki akses ke
keahlian yang diperlukan untuk menyelidiki jenis reliabilitas yang berlaku.
Menjelaskan prosedur yang digunakan untuk mencapai konsistensi (misalnya,
antara penilai atau pengamat).
Memberikan perkiraan reliabilitas yang tepat untuk ringkasan informasi utama,
termasuk deskripsi program, komponen program, konteks, dan hasil.
Memeriksa dan membahas konsistensi penilaian, pengkategorian, dan
pengkodean di antara set informasi yang berbeda (misalnya, dalam penilaian oleh
pengamat yang berbeda).

17
 Ketika memilih dari instrumen yang masih ada, pilih instrumen yang sebelumnya
menghasilkan informasi dengan reliabilitas yang dapat diterima untuk menjawab
pertanyaan seperti yang ada dalam evaluasi proyek. Tentukan dengan jelas unit
analisis untuk setiap perangkat pengumpulan informasi, dan nilai reliabilitas pada
tingkat wacana tersebut.
Mengembangkan dan ikuti blue print dengan hati-hati dalam membangun setiap
perangkat pengumpulan informasi, untuk memasukkan dasar pemikiran,
pertanyaan target, sumber informasi, sarana administrasi, dan bentuk penilaian
reliabilitas yang tepat.
Draf, uji coba, dan sempurnakan semua instrumen baru.

Libatkan pemangku kepentingan untuk meninjau rancangan instrumen dan

rancangan set temuan, dan dengan cermat mempertimbangkan dan mengatasi
penilaian mereka.
Bergantung pada ukuran evaluasi, libatkan banyak pengumpul data, dan periksa
temuan mereka untuk konsistensi.

Melatih pengumpul data secara sistematis dan mereka yang akan menyusun kode,
menilai, dan menganalisis informasi yang diperoleh.
Mendokumentasikan prosedur untuk memperkuat dan menafsir reliabilitas dan
hasil dalam laporan evaluasi atau lampiran teknis (atau dalam laporan teknis
terpisah).

6. Informasi yang Valid

Standar menyatakan, "Informasi Evaluasi harus melayani tujuan yang
dimaksud dan dukungan interpretasi yang valid”.
Empat jenis validitas yang menjadi perhatian utama di sebagian besar
evaluasi digambarkan melalui Gambar 2. Validitas internal dan validitas eksternal,
sebagian besar, tapi tidak secara khusus, fungsi dari desain kajian. Validitas
internal berhubungan dengan kebenaran kesimpulan tentang apakah hubungan
antara dua variabel atau lebih merupakan hubungan kausal. Validitas eksternal
menyangkut sejauh mana hubungan sebab akibat ada pada berbagai variasi pada
orang, setting (latar), perlakuan, dan hasil, dan sebagian besar merupakan fungsi
sampling. Membangun validitas secara berbeda merupakan fungsi pengukuran.

18
 Validitas konstruk berhubungan dengan sejauh mana kesimpulan tentang orang,
pengaturan, perlakuan, atau sekumpulan hasil yang diamati didukung oleh
kerangka teori yang digunakan, populasi minat didefinisikan, desain sampling,
instrumen dan prosedur yang digunakan untuk pengukuran, informasi yang
diperoleh, dan prosedur analisis dan sintesis. Terakhir, validitas kesimpulan,
kadang-kadang disebut sebagai validitas kesimpulan statistik, didominasi oleh
fungsi dari analisis. Validitas kesimpulan menyangkut kebenaran kesimpulan
mengenai covarian antara dua atau lebih variabel. Meskipun independen secara
konseptual, jenis validitas ini tidak saling eksklusif. Meskipun diadaptasi dari
metode kuantitatif, tetapi metode kuantitatif dan metode kualitatif tetap digunakan
bersamaan, meskipun terminologi yang digunakan untuk merepresentasikan
konsep ini agak berbeda.

Elemen-elemen desain struktur Rencana

Validitas Validitas
Hipotesis yang penting penarikan
Internal Eksternal
Variabel kontrol yang tidak relevan
sampel

Desain

Penguku Analisis
ran

Definisi konstruk Validitas Kovarian perkiraan

Pengoperalisasian Kesalahan perkiraan penarikan Validitas
Konstruk
Nilai reliabilitas sampel Kesimpulan
Evaluasi hipotesis
Gambar 2. Tipe-tipe Validitas yang Ditujukan oleh Desain, Pengukuran dan Analisis

19
Berikut ini adalah tugas dalam proses untuk memvalidasi instrumen atau prosedur
pengumpulan informasi yang diberikan:
 Memberikan deskripsi yang rinci atribut program tentang informasi yang
diperlukan; seperti konteks program, desain program, implementasi program, dan
hasil program.
 menentukan jenis informasi, seperti deskripsi atau penilaian - instrumen atau
prosedur pengumpulan informasi tertentu yang ingin diperoleh.
 Tentukan jenis informasi tentang apa yang disediakan peralatan atau prosedur
 menjelaskan secara rinci bagaimana alat atau prosedur diterapkan dan seberapa
baik penerapannya dipantau dan dikendalikan.
 menjelaskan secara rinci dan menilai kredibilitas orang-orang yang
mengumpulkan atau memasok informasi penelitian.
 Menentukan unit analisis yang tepat.
 Menganalisis reliabilitas informasi yang diperoleh, konsistensi dan / atau
reproduktifitasnya, dan menilai apakah reliabilitasnya cukup untuk digunakan.
 Menjelaskan secara rinci dan menilai prosedur yang digunakan untuk memberikan
skor, melakukan pengkodean, menganalisis, dan menafsirkan informasi diperoleh.
 Mengkompilasi bukti kualitatif dan kuantitatif yang membenarkan atau
membantah tujuan penggunaan informasi yang diperoleh sebagai bagian dari
evaluasi.
 Membuat penilaian keseluruhan atau kesimpulan yang diambil dari informasi
diperoleh.
Validitas tidak terletak di dalam instrumen atau prosedur, tetapi dalam
penggunaan instrumen atau prosedur dalam menghasilkan kesimpulan akhir dalam
penelitian tertentu.

20
Tabel 2 Checklist untuk Informasi yang Valid
Melalui komunikasi dengan berbagai pemangku kepentingan, kembangkan
serangkaian konsep dan istilah yang koheren dan dipahami secara luas yang
diperlukan untuk menilai dan menilai program dalam konteks budayanya.
Memastikan melalui sarana seperti protokol, pelatihan, dan kalibrasi sistematis —
bahwa pengumpul data secara kompeten mendapatkan data yang dibutuhkan.
Dokumentasikan langkah-langkah metodologis yang diambil untuk melindungi
validitas selama pemilihan, pengumpulan, penyimpanan, dan analisis data.
Libatkan klien, sponsor, dan pemangku kepentingan lainnya secara memadai
untuk memastikan bahwa ruang lingkup dan kedalaman interpretasi selaras
dengan kebutuhan mereka dan dipahami secara luas.
Melidiki dan melaporkan ancaman terhadap validitas, seperti dengan memeriksa
dan melaporkan manfaat penjelasan alternatif dari hasil program, misalnya.
Menilai dan melaporkan kelengkapan, kualitas, dan kejelasan informasi yang
diberikan oleh berbagai prosedur pengumpulan data sehubungan dengan
informasi yang diperlukan untuk menjawab tujuan dan pertanyaan evaluasi.
Libatkan personil program dan pemangku kepentingan lainnya untuk memeriksa
alat dan prosedur pengumpulan informasi yang diajukan terhadap pertanyaan
evaluasi.
Dalam memilih atau mengembangkan alat pengumpulan informasi, perhatikan
baik-baik karakteristik responden yang dimaksud (misalnya, kemampuan
membaca, cacat fisik, konflik kepentingan, atau bahasa ibu) yang mungkin
memengaruhi validitas respons mereka.
Mendapatkan dan melaporkan bukti validitas dari studi serupa lainnya yang
menggunakan alat evaluasi yang sama.
Ikuti prosedur pengembangan instrumen suara untuk meminimalkan jawaban yang
bias atau membingungkan dari responden; misalnya, dalam setiap item skala
penilaian, sertakan hanya satu titik untuk dinilai.
Pilih personil pengumpul informasi yang berkualifikasi dengan tepat; memberi
mereka orientasi, pelatihan, dukungan, dan pengawasan; dan mendokumentasikan
kualifikasi dan kinerjanya dalam lampiran teknis laporan evaluasi (atau dalam
laporan teknis terpisah).
Sangat merencanakan, memantau, mengawasi, dan mendokumentasikan proses
pengumpulan informasi.
Dokumen dan laporan pengaruh kontekstual yang signifikan pada pengumpulan

21
 informasi dalam lampiran teknis laporan evaluasi (atau dalam laporan teknis
terpisah).
Laporkan klaim validitas dan bukti yang relevan untuk setiap alat dan prosedur
evaluasi dan untuk semuanya dalam kombinasi di bagian metode laporan evaluasi
atau lampiran teknis (atau dalam laporan teknis terpisah).

7. Manajemen Informasi
Standar ini menyatakan, "Evaluasi harus menggunakan metode
pengumpulan informasi, metode review, metode verifikasi, dan metode
penyimpanan secara sistematis”.
Kontrol informasi secara sistematis merupakan sebuah proses manajemen
informasi untuk memastikan bahwa informasi evaluasi diperiksa secara teratur dan
cermat, dibuat bebas kesalahan sebisa mungkin, dan terjaga keamanannya. Ada
banyak kesalahan yang harus dihindari, meliputi kesalahan dalam pengumpulan,
kesalahan scoring, kesalahan coding, kesalahan perekamanan, kesalahan
pengorganisasian, kesalahan pengarsipan, kesalahan menerbitkan, kesalahan
menganalisis, dan kesalahan pelaporan informasi.
Evaluator harus mempertahankan kontrol informasi dan hasil original serta
evaluator harus membuat salinan untuk digunakan oleh coders dan analis.
Seringkali mereka harus melibatkan orang yang memberikan informasi untuk
meninjau ulang informasi untuk keakurasian informasi. Hal tersebut sangat penting
untuk memverifikasi data yang dimasukkan untuk akurasi dan sumbangan
informasi evaluatif lainnya.

Tabel 3 Checklist untuk Manajemen Informasi

Pilih sumber informasi dan prosedur yang paling mungkin memenuhi kebutuhan
evaluasi sehubungan dengan akurasi dan penting oleh kelompok klien evaluasi.
Pastikan bahwa pengumpulan informasi sistematis, dapat ditiru, cukup bebas
dari kesalahan, dan didokumentasikan dengan baik.
Bangun dan laksanakan protokol untuk kontrol kualitas pengumpulan, validasi,

22
 penyimpanan, dan pengambilan informasi evaluatif.
Dokumentasi dan pertahankan versi asli dan olahan dari informasi yang
diperoleh.
Jaga informasi asli dan yang dianalisis selama pengguna yang berwenang
membutuhkannya.
Simpan informasi evaluatif dengan cara yang mencegah perubahan langsung
dan tidak langsung, distorsi, distruksi, atau kerusakan.

B. Tema Pokok Standar Evaluasi Mengenai Pengumpulan Informasi

Evaluator harus menguasai dan secara teratur menerapkan standar profesional
untuk evaluasi. Terdapat tujuh standar untuk membantu evaluator dalam
pengumpulan informasi. Sebuah tema yang bergerak melalui standar ini harus
menggunakan berbagai sumber informasi dan beberapa prosedur. Hal ini diperlukan
untuk mencakupi ruang lingkup dari informasi yang dibutuhkan dan untuk
menyediakan checks and balances pada prosedur tersebut, untuk alasan praktis,
sering sekal tidak dapat divalidasi sepenuhnya. Menyeimbangkan penekanan standar
pada lingkup yang memadai dari informasi yang diperoleh adalah alasan untuk
kelayakan, evaluator juga harus menetapkan prioritas untuk memastikan informasi
paling penting yang akan dikumpulkan. Kebanyakan evaluasi juga harus didasarkan
pada perolehan, penganalisisan, dan pensintesisan informasi kualitatif dan kuantitatif.
Tema penting lain dalam bagian ini adalah evaluator harus mendokumentasikan dan
melaporkan secara rinci Prosedur pengumpulan informasi serta kekuatan dan
kelemahan dari informasi yang diperoleh.

C. Kerangka Pengumpulan Informasi

Tabel 4 memberikan kerangka kerja untuk perencanaan komponen
pengumpulan informasi evaluasi. Hal ini dimaksudkan untuk membantu evaluator
mempertimbangkan seperangkat informasi potensial yang dibutuhkan dan berbagai
prosedur pengumpulan informasi yang relevan, dan kemudian menghubungkan

23
keduanya. Pada tabel 4, tujuh bidang kebutuhan informasi yang diambil dari konteks,
input, proses, dan model produk (CIPP).
Tabel 4 An Example Framework for planning an Evaluation’s Information Collection
Component.
Bagian Informasi

Prosedur Konteks Rencana Aktivitas Pencapaian Hasil Keberlanjutan Transportabilitas

Pengumpulan Program Program Program Program Program Program Program
Informasi dan dan dan untuk
Kebutuhan Pendekatan Biaya Target
Pengguna Pesaing Pengguna

Dokumen      

Kajian pustaka 

Wawancara      

Traveling

observers
Kunjungan
  
lokasi

Survey

Focus groups   

Opini

Forum public

Observasi 

Studi kasus 

Goal-free

evaluation
Tes

pengetahuan

Penilaian diri

Tabel 4 ditujukan untuk penggunaan dalam pembuatan konsep rencana

pengumpulan informasi secara keseluruhan. Selanjutnya, tabel tambahan dapat dibuat
untuk menguraikan rencana pengumpulan informasi. Evaluator dapat mengadaptasi
tabel dengan mengganti dimensi horizontalnya dengan garis waktu untuk

24
menunjukkan prosedur yang akan diterapkan kapanpun. Analisis ini membantu
menghindari mengumpulkan terlalu banyak informasi pada satu waktu dan juga
bantuan untuk penjadwalan aktivitas pengumpulan informasi. Tabel 5 merupakan
ilustrasi dari adaptasi Tabel 4.
Tabel 5 Illustrative Timeline for Applying an Evaluation’s Different Information
Collection Procedures.
Periode Waktu dalam Evaluasi

Prosedur Periode 1 Periode 2 Periode Periode 4 Periode Periode 6 Periode 7

Pengumpulan (Permulaan (Input 3 (Proses 5 (Keberlanjutan (Persiapan
Informasi dan Evaluasi) (Proses dan (Hasil dan Laporan
Evaluasi Evaluasi Dampak Evaluasi) Transportabilititas Akhir dan
Konteks) dan Evaluasi) Evaluasi) Pengiriman)
Analisis
Biaya)

Dokumen      

Kajian pustaka 

Wawancara     

Traveling
 
observers
Kunjungan
  
lokasi

Survey

Focus groups  

Opini

Forum public

Observasi  

Studi kasus 

Goal-free
 
evaluation

Tes pengetahuan 

Penilaian diri

25
 Tabel 4 dan Tabel 5 meringkas rencana pada tingkat makro dan berguna untuk
berkomunikasi dengan klien. Selain itu, evaluator memerlukan rencana pada tingkat
mikro untuk memandu kerja spesifik pengumpulan informasi. Setiap bidang
informasi harus dipecah dalam informasi spesifik yang dibutuhkan. Tabel
36menggambarkan bagaimana hal ini dilakukan dalam kaitannya dengan bidang
informasi dari hasil program. Dalam tabel ini, bidang informasi telah dibagi menjadi
efek-efek, efek samping, dan efektivitas biaya yang dimaksudkan. Tabel turunan
serupa dapat dibangun untuk setiap bidang informasi.
Tabel 6. Framework for Planning an Evaluation’s Information Collection Procedures
Prosedur
Efek yang ingin
Pengumpulan Side Effects Keefektivan Biaya
dicapai
Informasi
Dokumen  

Kajian pustaka

Wawancara  

Traveling observers 

Kunjungan lokasi

Survey

Focus groups

Opini

Forum public

Observasi

Studi kasus  

Goal-free evaluation  

Tes pengetahuan 

Penilaian diri

26
D. Metode Pengumpulan Informasi
Evaluator harus mempertimbangkan dan secara selektif menerapkan berbagai
metode pengumpulan informasi. Metode-metode ini meliputi metode kualitatif dan
kuantitatif, dan metode-metode ini digunakan untuk memperoleh informasi dari
berbagai sumber. Sumber tersebut meliputi rekaman dan sumber cetakan lainnya;
publikasi yang relevan; dan berbagai stakeholder program, termasuk penerima
manfaat dan personil program, pihak lain yang berkepentingan, para ahli dengan
keahlian yang relevan, dan evaluator. beberapa metode berguna dalam evaluasi
adalah sebagai berikut:
1. Dokumen Retrieval dan Ulasan
Sebagai sebuah praktik umum, evaluator memulai proses pengumpulan
informasi dengan mengidentifikasi dan mengumpulkan informasi yang relevan
untuk dianalisis. Menggunakan informasi yang ada adalah bentuk perhatian untuk
responden, karena evaluator tidak perlu meminta mereka untuk menyediakan
informasi yang sudah dikumpulkan dan informasi yang dapat diakses. Namun,
penggunaan informasi yang ada tidak sepenuhnya membatasi pertanyaan
evaluator dari para stakeholder tentang informasi tersebut. Evaluator sering
membutuhkan stakeholder untuk membantu dalam memverifikasi keakuratan
informasi, area cross-check yang mungkin dalam konflik, dan menghilangkan
ambiguitas. Dalam memilih dan menggunakan informasi yang ada, evaluator
harus ingat bahwa itu diperoleh untuk tujuan menjawab pertanyaan dari evaluasi,
dan karena itu evaluator harus memastikan bahwa informasi tersebut valid untuk
yang dimaksudkan dalam evaluasi tertentu. Seperti yang ditunjukkan Tabel 2,
pengumpulan dan analisis dokumen yang ada dokumen berlanjut sepanjang
proses evaluasi.

27
Tabel 7 Checklist of Document and Other Information of Potential Use in an
Evaluation

28
2. Kajian Pustaka
Sebuah kasus khusus digunakan untuk mengambil dan menganalisis
informasi yang ada adalah standar kajian pustaka, seperti yang biasanya digunakan
dalam penelitian disertasi doktoral. Kajian pustaka memiliki dua penggunaan khusus
digunakan dalam evaluasi. Pertama, ketika merencanakan evaluasi, seorang evaluator
dapat memperoleh ide-ide dan menggunakan instrumen apa saja untuk
mengidentifikasi dan memeriksa metode yang digunakan dalam evaluasi. Kedua,
evaluator dapat melakukan kajian pustaka dalam evaluasi dan laporan penelitian
untuk membantu dalam menjawab satu atau lebih pertanyaan substantif evaluasi.
Untuk menyelidiki pertanyaan, seorang evaluator dapat dimulai dengan
melakukan eksplorasi informal dengan mencari literatur atau pustaka dengan bantuan
konsultan ahli atau pustakawan. Selanjutnya, evaluator akan menentukan parameter
pencarian. Hal ini meliputi (1) dokumen yang diterbitkan dalam periode tertentu; (2)
Jurnal referensi dan (3) dokumen yang mengandung kata-kata kunci dari pertanyaan
yang dibahas. Evaluator selanjutnya akan menggunakan mesin pencari pada
komputer yang sesuai untuk mengidentifikasi dokumen yang memenuhi kriteria
pencarian. Selanjutnya adalah menyaring dokumen-dokumen untuk menyisihkan
dokumen yang tidak menjawab pertanyaan evaluasi. Selanjutnya, evaluator secara
sistematis akan meninjau dokumen untuk mengidentifikasi respon yang berkaitan
dengan pertanyaan dan mengevaluasi kualitas responnya. Hasil dari kajian ini akan
dipelajari untuk mengidentifikasi kesesuaian dan kontradiksi. Selain itu, evaluator
akan memeriksa referensi dalam dokumen secara teliti serta mendapatkan dan
mempelajari dokumen tambahan yang relevan yang tidak ada dalam kumpulan
dokumen asli. Evaluator kemudian bisa menganalisis dan mensintesis informasi yang
diperoleh dan menggabungkannya dengan informasi lain untuk menjawab
pertanyaan.

29
3. Wawancara
Di antara metode evaluasi yang paling penting adalah wawancara. Prosedur
ini memungkinkan evaluator untuk memperoleh dan menilai informasi deskriptif dari
berbagai orang yang memiliki perspektif penting pada sebuah program, seperti latar
belakang atau penerima manfaatnya. Wawancara menjadi sangat terstruktur dan
fleksibel. Wawancara bertujuan untuk memperoleh informasi yang berharga untuk
digunakan dalam memahami dan menilai program atau evaluasi dan untuk
mendapatkan sumber informasi tambahan.
Wawancara harus terencana dalam hal informasi yang sedang dicari, disusun
sejelas mungkin. Narasumber yang diwawancarai harus dipilih secara cermat.
Tergantung pada tujuan dari wawancara, narasumber yang diwawancarai dapat
dipilih berdasarkan random sampling, purposive sampling, atau snowball sampling.

4. Fokus Grup
Variasi lain dari wawancara adalah prosedur fokus grup, sebuah cara
wawancara kelompok yang dikembangkan di bidang riset konsumen dan banyak
digunakan selama tahun 1950 dan 1960-an. Teknik ini telah diadaptasi dan diterapkan
untuk beberapa tujuan yang berbeda. Evaluator sering menggunakan teknik ini untuk
memperoleh dan menganalisis pandangan stakeholder mengenai manfaat dan nilai
program atau berkaitan dengan pertanyaan evaluasi yang diberikan.
Evaluator cenderung untuk tetap pada tujuan dan prosedur dari fokus grup
tetapi juga telah membuat beberapa perubahan dalam teknik ini. Beberapa hal yang
harus diperhatikan untuk memilih dan melibatkan fokus grup untuk membantu
mengevaluasi program:
1. Menentukan kelompok homogen dari fokus grup.
2. Menetapkan isu yang akan dibahas fokus grup.
3. Menentukan urutan pertanyaan yang dirancang untuk mengarahkan diskusi
kelompok pada isu menarik.

30
 4. Membuat rekaman diskusi kelompok menggunakan tape recorder, video recorder,
atau catatan tertulis.
5. Memberikan semua anggota kelompok informasi tentang tujuan diskusi, peran
mereka dalam diskusi, dan waktu yang dialokasikan untuk sesi diskusi.
6. Menjaga diskusi untuk tetap terfokus pada tujuan diskusi, menanyakan pertanyaan
tindak lanjut untuk memperjelas respon, menggali respon secara mendalam dan
mencegah salah satu anggota mendominasi diskusi.
7. Memastikan bahwa semua anggota kelompok untuk berpartisipasi dan didorong
untuk melakukan diskusi.
8. Dan mengakhiri sesi diskusi, meminta setiap anggota untuk menyatakan kembali
poin penting apa yang mereka ungkapkan dalam diskusi .
9. Berterima kasih untuk semua orang untuk berpartisipasi.
10. Menganalisis catatan fokus grup untuk mengidentifikasi kesepakatan dan
ketidaksepakatan dan tema penting.

5. Travelling Observers
Teknik Travelling Observer (TO), dikembangkan di Evaluation Center
lWestern Michigan University, melibatkan pelatihan dan penugasan seorang peneliti
lapangan untuk melakukan penyelidikan awal sebelum evaluasi utama oleh evaluator
ahli. Biasanya, TO berkunjung dari satu tempat ke tempat lainnya untuk
menghubungi dan mengembangkan laporan dengan penyedia data, mengumpulkan
informasi awal, dan melaksanakan rencana untuk tindak lanjut saat kunjungan tim.
TO berikutnya memberikan kunjungan tim dengan orientasi dan pelatihan sebelum
kunjungannya dan dapat mendukung tim selama investigasi di lokasi. Biasanya TO
merupakan penyidik junior, dengan anggota tim tindak lanjut yang adalah penyidik
senior. Seringkali TO menghabiskan lebih banyak waktu dalam mengumpulkan data
dari tindak lanjut kunjungan tim yang akan dilakukan evaluasi. Dengan demikian,
keuntungan dari teknik ini adalah menghemat uang untuk bagian yang cukup besar
dari penelitian lapangan yang dibutuhkan.

31
6. Teknik Tim Advokat
Teknik tim advokat dikembangkan di Pusat Evaluasi yang terletak di The
Ohio State University. Itu dibuat dan diterapkan pada tahun 1969 untuk membantu
Southwest berbasis Texas Regional Educational Laboratory mengidentifikasi dan
menilai strategi alternatif untuk melayani kebutuhan pendidikan anak-anak migran.
Teknik ini diciptakan karena metodologi evaluasi yang kekurangan prosedur untuk
mengidentifikasi dan menilai strategi untuk mengatasi
kebutuhan dan masalah yang memerlukan prioritas tinggi.
Teknik tim advokat memiliki beberapa langkah utama.
1. Menetapkan kelompok sasaran penerima manfaat dan mengidentifikasi tujuan
yang akan dicapai dalam memenuhi kebutuhan yang dinilai oleh kelompok ini.
2. Menciptakan strategi alternatif untuk mencapai tujuan yang ditetapkan.
Evaluator menetapkan dua atau lebih tim advokat, dan masing-masing tim diberikan
subjek tujuan, informasi penilaian kebutuhan yang bersangkutan, kriteria dalam
menilai strategi program yang memungkinkan, dan struktur untuk menulis sebuah
strategi program yang diusulkan.
3. Selanjutnya, masing-masing tim advokat mempelajari kebutuhan data untuk
penilaian dan literatur yang relevan, gagasan untuk menciptakan strategi pada
program yang sesuai, dan menulis strategi program yang diusulkan.
4. Mengevaluasi proposal tim advokat terhadap kriteria yang telah ditentukan
dan peringkatnya di keseluruhan prestasi. Kemudian klien memilih strategi untuk
mengimplementasi tim konvergensi untuk menggabungkan fitur rencana terbaik
menjadi rencana hibrid atau kolaborasi. Teknik ini disesuaikan secara langsung ke
keinginan kelompok pengambilan keputusan untuk solusi kreatif pada kebutuhan dan
masalah prioritas tinggi.

32
 BAB III
PENUTUP

A. Kesimpulan
Pengumpulan informasi yang baik sangat penting untuk keberhasilan setiap
evaluasi program. Evaluator harus memperoleh jangkauan dan kedalaman yang
memadai dari informasi yang sesuai dan reliabel jika mereka ingin mencapai
kesimpulan yang valid tentang nilai dan manfaat program. Penggunaan standar-
standar ini dapat membantu dalam menentukan informasi apa yang akan
dikumpulkan, menjunjung tinggi hak-hak manusia, mempelajari konteks program,
sepenuhnya menggambarkan operasi program, menggunakan metode pengambilan
sampel yang tepat, memeriksa dan meningkatkan keandalan bukti, memvalidasi
instrumen, dan memelihara integritas informasi yang diperoleh. Karena kendala
praktis di hampir semua evaluasi program, evaluator sering kali harus menerapkan
instrumen dan prosedur yang kurang sempurna. Evaluator disarankan untuk
menggunakan beberapa metode yang memungkinkan evaluator memeriksa kembali
dalam pencarian untuk temuan yang konsisten dan juga untuk melaporkan
keterbatasan informasi yang di peroleh. Evaluator harus merencanakan upaya
pengumpulan data mereka untuk memenuhi persyaratan informasi penelitian dan juga
untuk menjunjung tinggi hak-hak responden dan tidak membebankan beban yang
tidak semestinya pada peserta program. Akhirnya, bidang penelitian dan evaluasi
telah menghasilkan berbagai teknik pengumpulan informasi, dan evaluator disarankan
untuk memanfaatkan secara baik dan selektif alat dan strategi pengumpulan informasi
yang tersedia, baik kuantitatif maupun kualitatif.
B. Saran
Kajian yang disampaikan dalam makalah ini semoga bisa menjadi dasar untuk
mengetahui lebih dalam pengumpulan informasi evaluatif sehingga dapat dijadikan
dasar dalam melakukan evaluasi,

33
 DAFTAR PUSTAKA

Stufflebeam, D. L. & Coryn, C. L. S. 2014. Evaluation Theory, Models, and

Applications, Second Edition. San Francisco, CA: Jossey-Bass.

34