TERJEMAHAN_4

MENGEMBANGKAN DESAIN DAN GARIS WAKTU EVALUASI

Banyak studi evaluasi mirip dengan studi penelitian dalam desain, pelaksanaan, dan pelaporan.
Dengan demikian, salah satu prosedur penelitian yang dijelaskan dalam bab-bab sebelumnya dapat
dimasukkan ke dalam desain studi evaluasi. Studi evaluasi, bagaimanapun, menyajikan beberapa
masalah yang tidak muncul dalam studi penelitian.

Satu masalah adalah apakah evaluasi harus dilakukan oleh evaluator internal atau evaluator
eksternal. Seorang evaluator internal adalah anggota staf dari program yang sedang dievaluasi. Sebagai
contoh, beberapa siswa melakukan tesis atau proyek disertasi di mana mereka mengevaluasi beberapa
aspek sekolah yang mereka ajarkan. Mereka dapat melakukan evaluasi ketika mereka sedang cuti untuk
bekerja pada gelar mereka, tetapi bahkan dalam situasi ini mereka berfungsi sebagai evaluator internal.

Seorang evaluator eksternal tidak dalam pekerjaan reguler program tetapi dipekerjakan secara
khusus untuk melakukan evaluasi. Orang ini kadang-kadang disebut evaluator pihak ketiga atau
kontraktor evaluasi.

Sebagian besar jenis evaluasi dapat dilakukan oleh evaluator internal, terutama ketika temuan
evaluasi akan digunakan untuk memandu manajemen program dan pengambilan keputusan. Evaluasi
sumatif, yang dijelaskan lebih lengkap nanti dalam bab ini, paling baik dilakukan oleh evaluator
eksternal. Tujuan dari evaluasi sumatif adalah untuk menentukan manfaat dari program yang
sepenuhnya operasional dan mungkin membandingkannya dengan program yang bersaing. Evaluator
berkewajiban untuk mewakili kepentingan konsumen kepada siapa studi evaluasi akan dilaporkan, atau
dari agensi eksternal yang mensponsori evaluasi. Seorang evaluator eksternal berada dalam posisi yang
jauh lebih baik daripada evaluator internal untuk mewakili kepentingan-kepentingan ini. Meski begitu,
baik evaluator internal dan evaluator eksternal dapat ditekan untuk bias desain evaluasi untuk
menghasilkan hasil tertentu. Jika tekanan seperti itu menjadi terlalu kuat, satu-satunya jalan evaluator
adalah untuk menghentikan evaluasi atas dasar etika.

Banyak studi evaluasi melibatkan desain eksperimental atau quasi-eksperimental, karena

seringkali pertanyaan utama adalah seberapa baik program ini bekerja. (Program ini adalah pengobatan
eksperimental). Masalah umum dalam situasi ini adalah berapa banyak validitas internal dan eksternal
harus dibangun ke dalam desain evaluasi. Diperlukan lebih banyak sumber daya untuk menyertakan
kelompok kontrol dan fitur desain eksperimental lainnya yang meningkatkan kepercayaan diri seseorang
bahwa efek yang diamati dapat dikaitkan dengan program dan bahwa efek tersebut dapat
digeneralisasikan. Namun, staf program mungkin tidak selalu bersedia membayar biaya yang diperlukan
untuk meningkatkan validitas eksperimen.

Penyelesaian masalah ini biasanya tergantung pada siapa yang mengendalikan proses evaluasi.
Beberapa evaluator melakukan studi evaluasi karena minat pribadi, seperti yang benar dalam studi
McCutcheon menggunakan metode kritik pendidikan yang dijelaskan nanti dalam bab ini. Evaluator ini
dapat mendesain lebih banyak atau lebih sedikit studi ketat seperti yang mereka pilih. Ketika Anda
melakukan studi yang melibatkan kolaborasi dengan para pemangku kepentingan, situasinya berbeda.
Anda harus peka terhadap kualitas informasi yang akan memenuhi kebutuhan para pemangku
kepentingan, dan terhadap kendala anggaran. Ini mungkin berarti merancang studi yang tidak seketat
yang Anda harapkan. Sekali lagi, jika desain yang dihasilkan kompromi standar Anda terlalu banyak,
Anda dapat memilih untuk mengakhiri studi atau menariknya.

Dalam merancang studi evaluasi, Anda harus menyadari bahwa kegiatan evaluasi dapat
bermanfaat dan berbahaya. Gene Glass menggambarkan masalah ini sebagai sebuah paradoks. Di satu
sisi, orang-orang yang terlibat dalam suatu program tampaknya melakukan yang terbaik ketika mereka
merasa dihargai tanpa syarat dan tidak memiliki evaluator yang mengawasi. Di sisi lain, Glass
mengamati, “kelihatannya orang bergerak lebih benar dan lebih pasti menuju keunggulan sejauh
mereka memperjelas tujuan mereka, mengukur dampak tindakan mereka, menilai itu, dan bergerak
maju dalam beberapa kata, mengevaluasi mereka kemajuan". Bahaya evaluasi tidak hanya melibatkan
orang, tetapi program itu sendiri. Suatu program mungkin baik, tetapi evaluasi yang buruk dapat
menyebabkan orang lain salah menilai dan berkontribusi pada kejatuhannya. Suatu program mungkin
memiliki potensi untuk menjadi baik, tetapi evaluasi negatif ketika sedang dikembangkan dapat
menyebabkan administrator menarik dana. Selain itu, kegiatan evaluasi menggunakan sumber daya
yang dapat dialokasikan untuk mendukung pengembangan program lebih lanjut.

Efek evaluasi yang menguntungkan dan berbahaya sulit untuk direkonsiliasi. Beberapa evaluator
merekomendasikan agar Anda menimbang semua konsekuensi yang mungkin terjadi dari kegiatan
evaluasi yang direncanakan. Anda harus menentukan bahwa manfaat potensial lebih penting daripada
potensi bahaya sebelum Anda membuat keputusan untuk melanjutkan evaluasi. Anda juga harus
merancang penelitian ini untuk meminimalkan efek yang berpotensi berbahaya. Salah satu cara untuk
mencapai tujuan ini adalah dengan melibatkan pemangku kepentingan yang signifikan dalam desain
penelitian, seperti yang dilakukan dalam studi evaluasi sekolah menengah yang kami gunakan sebagai
contoh. Misalnya, mereka dapat membantu dalam memilih atau mengembangkan langkah-langkah yang
mencerminkan hasil yang paling mungkin dicapai oleh program. Termasuk langkah-langkah yang
disarankan oleh para pemangku kepentingan akan membuat evaluasi kurang mengancam mereka. Juga,
langkah-langkah dapat mengungkapkan efek yang memberikan cahaya positif pada program.

Masalah terakhir untuk dipertimbangkan adalah waktu. Banyak studi penelitian tidak memiliki
batasan waktu untuk penyelesaian. Tidak demikian halnya dengan studi evaluasi. Jika para pemangku
kepentingan terlibat, mereka biasanya menginginkan laporan akhir pada tanggal tertentu. Dalam situasi
ini, evaluator perlu membuat garis waktu sebagai bagian dari desain evaluasi untuk memastikan bahwa
studi selesai pada tanggal yang diminta. Garis waktu dapat dihasilkan dengan menggunakan grafik
Program Evaluasi dan Teknik Review (PERT) atau teknik serupa. Salah satu keuntungan dari membuat
garis waktu yang terperinci adalah dapat digunakan untuk mengidentifikasi dan mendokumentasikan
sumber daya yang dibutuhkan untuk menyelesaikan studi pada tanggal yang diminta. Anda mungkin
memerlukan informasi ini nanti, misalnya, untuk meyakinkan para pemangku kepentingan untuk
menambah sumber daya jika tampaknya tenggat waktu yang ditentukan tidak dapat dipenuhi dengan
menggunakan sumber daya yang semula dianggarkan untuk penelitian ini.

MENGUMPULKAN DAN MENGANALISIS DATA EVALUASI

Pengumpulan dan analisis data dalam studi evaluasi dan studi penelitian serupa. Sebagai
contoh, studi evaluasi sekolah menengah terutama melibatkan desain deskriptif di mana persepsi
pemangku kepentingan dan prestasi siswa diukur setiap tahun sekolah. Di antara instrumen
pengumpulan data adalah sebagai berikut:
 1. Survei Sekolah Menengah Komprehensif, kuesioner yang diberikan di tingkat kabupaten untuk
mengukur persepsi pemangku kepentingan terhadap berbagai elemen sekolah menengah,
seperti instruksi yang dibedakan, program penasihat / penasihat, penjadwalan blok /
penjadwalan fleksibel, tim antardisiplin, keselamatan dan disiplin sekolah. , dan keterlibatan
orang tua.
2. Tes prestasi akhir kelas yang diamanatkan oleh negara.
3. Wawancara tidak terstruktur.
4. Kuesioner informal dikembangkan untuk penggunaan sekolah setempat.
5. Survei Iklim dan Keamanan Sekolah, kuesioner yang mengukur persepsi guru dan siswa tentang
keselamatan sekolah.

Selain itu, evaluator bekerja dengan kantor penelitian kabupaten untuk merevisi Survei Sekolah
Menengah Komprehensif agar lebih dapat digunakan oleh para pemangku kepentingan. Analisis faktor
dan pemodelan persamaan struktural (lihat Bab 11) digunakan untuk mempersingkat kuesioner dan
menghasilkan skor untuk kelompok item terkait.