Deciding What is to the evaluated

Salah satu tugas pertama yang dihadapi evaluator adalah penggambaran program, proses
mengidentifikasi karakteristik merupakan bagian paling penting dari program yang akan dievaluasi.
Penggambaran program yang cermat sangat penting bahkan dalam penelitian evaluasi lokal. Bukan hal
yang aneh bagi orang yang bekerja dalam suatu program untuk mengetahui aspek-aspek yang
mempengaruhi program tersebut secara langsung. Kecuali jika semua komponen program
digambarkan, maka komponen yang penting mungkin diabaikan dalam proses evaluasi. Mengikuti
delineasi program, program harus dianalisis untuk menentukan komponen mana yang akan dimasukkan
dalam studi evaluasi. Komponen program dapat dikelompokkan ke dalam beberapa kategori berikut:
tujuan, sumber daya, prosedur, dan manajemen. Kategori-kategori ini berguna untuk mendesain studi
evaluasi terlepas dari model evaluasi yang digunakan.

Program Goals

Sasaran Program Penilaian mengenai manfaat dari sasaran program tersebut sangat penting bagi
sebagian besar studi evaluasi. Tujuan adalah sasaran, efek, atau titik akhir yang ingin dicapai oleh
pengembang program. Jika suatu program tidak memiliki tujuan, atau jika tujuan tersebut tidak
dianggap bermanfaat, sulit untuk membayangkan bagaimana program itu sendiri dapat memiliki
manfaat. Beberapa program memiliki tujuan khusus yang spesifik. Dalam program lain, evaluator harus
menyimpulkan tujuan yang ada dalam pikiran pengembang. Setelah tujuan program diidentifikasi,
evaluator dapat diminta oleh pihak yang berkepentingan untuk menentukan sejauh mana program
tersebut benar-benar mencapai tujuan yang dimaksud. Dalam jenis studi yang dikenal sebagai evaluasi
formatif, tugas yang diberikan yaitu untuk membantu pengembang dalam menentukan apa tujuan
program yang seharusnya. Tujuan dari studi evaluasi sekolah menengah adalah peningkatan sekolah.
Karena penelitian ini mencakup beberapa tahun, data evaluasi dari yang didapat selama satu tahun,
disajikan dalam laporan individu kepada 17 tim pemimpin, sehingga hasilnya tersebut dapat membentuk
tujuan peningkatan untuk tahun berikutnya. Sebagai contoh, Strahan, Cooper, dan Ward mengamati
bahwa: " informasi dari semua 17 tim dilaporan pada tahun pertama mereka sebagai salah satu dari
beberapa pertimbangan dalam menyempurnakan perencanaan peningkatan sekolah mereka ditahun
kedua." hasil prestasi siswa pada tes yang yang diberikan Negara, hasil wawancara dan kuesioner
diberikan kepada berbagai kelompok yang berkepentingan.

Laporan informasi yang didapat kemudian dianalisis dari evaluator dari tahun pertama disertakan
sebagai perbaikan yang direncanakan ditahun kedua.

17 tim mengidentifikasi sasaran prioritas untuk peningkatan pengajaran dalam matematika dan
penulisan. 16 tim mengidentifikasi dalam membaca. 17 tim mengidentifikasi keselamatan sekolah
sebagai prioritas lain untuk peningkatan. Bidang lain yang paling sering digunakan untuk peningkatan
yang ditargetkan oleh tim adalah program penasehat. racter pendidikan (15), disiplin sekolah (15), dan
keterlibatan orang tua (15).
Kita dapat menyimpulkan bahwa tujuan ini memiliki manfaat bagi orang yang memiliki kepentingan,
karena mereka sebenarnya menghasilkan data yang digunakan untuk membuat sebuah tujuan. Hal ini
menjadi salah satu manfaat dari model evaluasi kolaboratif.

Resources and procedure

Sumber daya merupakan personel, peralatan, ruang, dan item biaya lainnya yang diperlukan untuk
mengimplementasikan prosedur suatu progran. Seseorang yang memiliki kepentingan mungkin ingin
mengetahui jawaban atas pertanyaan seperti: Apakah sumber daya kita saat ini cukup untuk
mengoperasikan program sebagaimana dimaksud oleh pengembangnya? Apakah programnya terlalu
mahal? Apakah ada biaya tersembunyi dalam program ini? Apakah program akan mengambil sumber
daya yang dibutuhkan oleh program lain? Setiap pertanyaan ini mengharuskan evaluator untuk fokus
pada sumber daya program.

Prosedur merupakan teknik, strategi, dan proses lain yang digunakan bersama dengan sumber daya
untuk mencapai tujuan program. Contoh pertanyaan evaluasi yang menyangkut prosedur program
adalah "Berapa lama guru perlu menggunakan materi sebelum siswa menguasai konten?" "Apakah guru
mengalami kesulitan dalam menggunakan pendekatan konstruktivis 10 pengajaran sains?" "Sejauh
mana guru benar-benar menggunakan pendekatan konstruktivis?" Jawaban untuk pertanyaan-
pertanyaan ini biasanya memerlukan pengamatan dekat dan berulang terhadap program yang sedang
beroperasi.

Evaluasi sumber daya dan prosedur program sangat membantu untuk memahami efek yang diamati dari
suatu program. Misalkan suatu program pengajaran yang baru kemudian diamati, program tersebut
memiliki efek atau dampak yang dapat diabaikan pada prestasi siswa. Pengambil keputusan dari suatu
program tersebut mungkin memilih untuk tidak melanjutkan program karena hasil evaluasi negative
atau buruk. Namun, program tersebut mungkin tidak efektif karena alat atau bahan yang dibutuhkan
pada program tersebut yang tidak tiba tepat waktu, atau karena guru mengalami banyak gangguan yang
sehingga mengurangi total waktu yang dialokasikan untuk pelaksanaan program. Jika evaluator telah
mengumpulkan data tentang sumber daya dan masalah prosedural ini, pembuat keputusan mungkin
telah memilih tindakan alternatif, misalnya, untuk menghapus beberapa bagian dari program dan
mencobanya lagi. Faktanya, pengumpulan data pada ketiga aspek program sumber daya, prosedur, dan
pencapaian tujuan adalah penting dalam semua jenis evaluasi formatif. Keputusan tentang revisi
program dapat dibuat lebih efektif jika pengembang tahu seberapa baik dan mengapa program saat ini
masih bekerja.

Program manajemen

Sebagian besar program memiliki sistem manajemen untuk memantau sumber daya dan prosedur
sehingga program tersebut dapat digunakan secara efektif untuk mencapai tujuan program. Kita
mungkin berpikir bahwa manajemen hanya beroperasi dalam program skala besar, seperti sistem
pendidikan menengah atau koordinasi kurikulum di distrik sekolah. Namun banyak program kurikulum
berisi prosedur manajemen bawaan untuk memantau kemajuan pengajaran siswa (misalnya, kuis harian
dan tes akhir unit). Kita juga dapat memperluas konsep manajemen untuk memasukkan manajemen diri
(misalnya, guru memantau pengajaran di kelas mereka sendiri untuk meningkatkan kinerja di tempat
kerja mereka).

Beberapa studi evaluasi berfokus pada sistem manajemen dalam menanggapi pertanyaan seperti
"Apakah sistem manajemen memastikan penggunaan sumber daya program secara efektif? Apakah
sistem manajemen efisien ?" "Apakah prosedur manajemen digunakan seperti yang diharapkan oleh
pengembang program?" Setiap pertanyaan tersebut membutuhkan evaluator untuk merancang
penelitian yang menggambarkan sistem manajemen dan memeriksa pengaplikasian program tersebut.

Dalam studi sekolah menengah, tim kepemimpinan di masing-masing sekolah yang terdiri dari 17
sekolah adalah elemen kunci dalam sistem manajemen yang digunakan oleh distrik sekolah untuk
mewujudkan perbaikan sekolah. Evaluator tidak membuat penilaian tentang tim kepemimpinan karena
kepala sekolah telah mengklaim bahwa "tim kepemimpinan merupakan prioritas yang lebih jelas dan
dapat memantau kemajuan secara lebih sistematis daripada beberapa tahun sebelumnya." Mungkin
saja evaluasi kolaboratif model ini tidak cocok untuk mengumpulkan data tentang sistem manajemen
sebagai model evaluasi lainnya, terutama model CIPP.

Identifying evaluasi questions

Masalah penelitian dinyatakan dalam bentuk pertanyaan, pertanyaan, atau tujuan. Rentang format
yang sama dapat digunakan dalam studi evaluasi, meskipun paling umum untuk menyatakan
pertanyaan.

Lee Cronbach membedakan dua fase dalam memilih pertanyaan untuk studi evaluasi. Fase divergen
menghasilkan daftar pertanyaan yang komprehensif, masalah, dan kebutuhan informasi yang mungkin
dibahas dalam studi evaluasi. Sebagai evaluator, Anda harus mengundang semua yang memiliki
kepentingan untuk berkontribusi dalam daftar ini. Selain itu, Anda dapat menyarankan pertanyaan yang
mungkin untuk dipelajari. Pendekatan khusus untuk evaluasi yang telah dipilih untuk memunculkan ide
pada suatu pertanyaan. Sebagai contoh, pada bagian evaluasi formatif dan sumatif, kami menyertakan
sampel kriteria untuk mengevaluasi produk pendidikan Stakehoiders. Kriteria, yang dengan mudah
dinyatakan dalam bentuk pertanyaan, dapat ditambahkan ke daftar pertanyaan yang dihasilkan oleh
orang asing lainnya.

Yang kedua dari dua fase Cronbach adalah fase konvergen. Ini melibatkan pengurangan daftar awal
pertanyaan evaluasi ke nomor yang dapat dikelola. Fase ini diperlukan karena hal yang diperlukan untuk
menjawab setiap pertanyaan evaluasi. Evaluator bekerja sama dengan para pemilik kepentingan yang
signifikan, sehingga harus menyangkal daftar pertanyaan paling penting yang dapat dijawab dengan
sumber daya yang tersedia.

Laporan studi sekolah menengah menunjukkan bahwa empat pertanyaan yang dapat memandu evaluasi
kolaboratif:

1. Ketika memberikan dukungan untuk pengumpulan data, masalah apa yang dipilih oleh tim
kepemimpinan sekolah menengah untuk dijelajahi?
 2. Bagaimana mereka menggunakan informasi ini untuk menetapkan prioritas bagi peningkatan
sekolah?

3. Bagaimana mereka memantau kemajuan menuju prioritas ini?

4. Bagaimana proses evaluasi kolaboratif dapat menginformasikan hasil revisi Survei Sekolah Menengah
tingkat kabupaten / kota?

Para evaluator tidak menjelaskan proses yang digunakan untuk menghasilkan pertanyaan-pertanyaan
ini, tetapi mengingat sifat pertanyaan dan model evaluasi yang digunakan, mereka dihasilkan secara
kolaboratif oleh pendidik kabupaten dan tim evaluasi. Ketika studi evaluasi berlanjut, pertanyaan-
pertanyaan baru cenderung muncul dari evaluator dan pemilik kepentingan. Beberapa model evaluasi
yang dijelaskan dalam bab ini terutama model kualitatif secara eksplisit mengakui kemungkinan ini. Jika
memungkinkan, Anda harus menyisihkan waktu dan sumber daya lain yang dapat digunakan untuk
menjawab pertanyaan penting yang muncul setelah pengumpulan data dimulai.