pengantar

Evaluasi program adalah aktivitas intensif sumber daya yang dapat memberikan banyak
informasi kepada manajer program tentang seberapa baik program mereka beroperasi.
Sayangnya, tidak jarang seorang evaluator menemukan setelah evaluasi berlangsung bahwa
program belum siap untuk itu. Sebuah program mungkin tidak beroperasi penuh, misalnya, atau
mungkin tidak dapat menangani persyaratan pengumpulan data dari suatu evaluasi.
Menentukan apakah suatu program siap untuk evaluasi sebelum memulai dapat membantu
memastikan bahwa sumber daya evaluasi yang berharga digunakan pada waktu yang paling
tepat.

Ada dua jenis utama evaluasi program—proses dan hasil. Evaluasi proses berfokus pada
implementasi dan operasi program. Ini mengidentifikasi prosedur dan keputusan yang dibuat
dalam mengembangkan program, dan menggambarkan bagaimana program beroperasi, layanan
yang diberikannya, dan fungsi yang dijalankannya. Evaluasi hasil digunakan untuk
mengidentifikasi hasil dari upaya suatu program. Ini berusaha menjawab pertanyaan, “Apa
perbedaan yang dibuat oleh program itu?” Agar salah satu dari jenis evaluasi ini berhasil
dilaksanakan, penting bahwa suatu program siap untuk evaluasi. Salah satu cara untuk
menentukan kesiapannya adalah dengan meminta evaluator melakukan Evaluability Assessment
(EA). Dikembangkan oleh Joseph Wholey pada tahun 1979,

Tujuan dari pembekalan ini adalah untuk memperkenalkan kepada para pengelola program
konsep Evaluability Assessment. Bahkan jika sebuah program tidak menjalani EA formal, konsep
dan ide tetap penting untuk dipahami dan dipertimbangkan oleh manajer program sebelum
melakukan evaluasi. Manajer program harus mengingat bagaimana konsep-konsep ini dapat
mempengaruhi proses dan hasil evaluasi.

Apa itu Penilaian Evaluabilitas?

Evaluability Assessment (EA) adalah proses sistematis yang membantu mengidentifikasi apakah
evaluasi program dapat dibenarkan, layak, dan mungkin memberikan informasi yang berguna.
Ini tidak hanya menunjukkan apakah suatu program dapat dievaluasi secara bermakna, tetapi
juga apakah pelaksanaan evaluasi kemungkinan akan berkontribusi pada peningkatan kinerja
dan manajemen program. Seorang evaluator perlu menjawab beberapa pertanyaan penting
tentang suatu program sebelum proses dan/atau evaluasi hasil berlangsung. Pertanyaan-
pertanyaan ini adalah fokus dari pengarahan ini

EA adalah proses formal yang membutuhkan pengetahuan dan komitmen terhadap program. Ini
bisa memakan waktu beberapa minggu untuk menyelesaikannya. Sementara EA dapat dilakukan
oleh anggota staf program yang memiliki pengetahuan tentang evaluasi, mereka mungkin paling
berhasil dilakukan oleh evaluator profesional. (Pengarahan kedua dalam seri ini,
Mempekerjakan dan Bekerja Dengan Evaluator, membahas manfaat evaluasi internal vs
eksternal secara panjang lebar.) Penting untuk diingat bahwa orang yang melakukan EA harus
memiliki latar belakang yang kuat dalam evaluasi dan remaja keadilan. Dokumen program dan
berkas kasus harus siap untuk ditinjau, dan staf harus siap untuk diwawancarai. Penting bagi
seorang evaluator untuk melihat semua bagian program ini untuk sepenuhnya memahami apa
yang dilakukan program sehari-hari.
Meskipun EA mungkin terdengar sangat mirip dengan evaluasi proses, ada beberapa perbedaan
penting di antara keduanya. Sebagaimana dinyatakan di atas, EA adalah proses sistematis yang
membantu mengidentifikasi apakah evaluasi program dapat dibenarkan, layak, dan mungkin
memberikan informasi yang berguna. EA menentukan apakah suatu program siap untuk
dievaluasi—baik evaluasi proses atau hasil, atau keduanya. Melakukan EA dapat memberi tahu
evaluator apakah program mampu menghasilkan informasi yang diperlukan untuk evaluasi
proses, dan apakah program memenuhi kriteria lain untuk memulai evaluasi hasil. Karena
evaluasi proses memerlukan banyak waktu dan usaha, penting untuk menentukan apakah
program siap untuk menjalani evaluasi tersebut. Ada kesamaan dalam sifat data yang
dikumpulkan dalam EA dan evaluasi proses. EA,

EA adalah batu loncatan menuju semua jenis evaluasi, apakah itu proses besar atau evaluasi
hasil atau penilaian internal kinerja program yang lebih kecil. Selama EA berlangsung, evaluator
juga bekerja sama dengan staf program, lembaga pendanaan, administrator, dan peserta untuk
membantu program bersiap-siap untuk evaluasi. Misalnya, ia dapat membantu memperjelas
tujuan program dengan membuatnya lebih realistis dan bermakna. Ini adalah keuntungan
utama memiliki EA— ini akan meningkatkan evaluasi masa depan dengan memformalkan
kesepakatan antara evaluator dan pembuat keputusan tentang apa yang penting dalam
program, mengantisipasi masalah evaluasi, dan memperlancar proses keseluruhan.

Apakah Program Anda Siap Untuk Evaluasi?

Salah satu hasil yang mungkin dari EA adalah kesimpulan bahwa suatu program tidak siap untuk
evaluasi. Paling sering alasannya terkait dengan kekurangan dalam desain atau implementasi
program.

Masalah Desain Program

Dua kelemahan utama dapat membuat program tidak dapat dinilai:

1. Tidak ada desain atau model program formal. Seperti yang dibahas dalam Evaluasi Program
Peradilan Anak: Sebuah Tinjauan, pengarahan pertama dalam seri ini, sebuah program perlu
memiliki desain atau model yang menjabarkan tujuan dan sasarannya, serta hubungannya
dengan kegiatan program. Tanpa elemen-elemen ini, program tidak dapat dinilai secara efektif.
Sebuah model program harus ada sehingga apa yang sebenarnya terjadi dalam program dapat
dibandingkan dengan apa yang ingin dicapai oleh program tersebut.

2. Desain atau model program tidak sehat. Program dirancang untuk memenuhi kebutuhan
khusus atau untuk memecahkan masalah tertentu. Untuk mengatasi kebutuhan atau masalah
ini, program harus mengembangkan tujuan yang realistis dan dapat dicapai, tujuan yang masuk
akal yang dapat diukur, dan kegiatan yang terkait dengan tujuan tersebut. Jika tujuan atau
sasaran tidak realistis atau tidak dapat dicapai, atau kegiatan tidak terkait dengan tujuan, maka
program tidak dapat berhasil, dan evaluasi hanya membuang-buang waktu dan sumber daya.
Sasaran dan sasaran yang tidak dapat dicapai mungkin dihasilkan dari program yang
mengusulkan untuk mengubah perilaku seluruh komunitas, misalnya, sambil memberikan
layanan langsung kepada beberapa remaja yang relatif sedikit di komunitas. Aktivitas yang tidak
terkait dengan tujuan dan sasaran mungkin dihasilkan dari kesalahpahaman perancang program
tentang penyebab perilaku yang mereka targetkan untuk diubah. Bagaimanapun, memiliki
desain program yang tidak sehat membuat program tidak dapat dinilai dengan cara yang sama
seperti tidak memiliki desain program sama sekali.

Masalah Implementasi Program

Mirip dengan evaluasi proses, tugas utama EA adalah membandingkan desain program dengan
program yang sedang beroperasi. Jika operasi program sangat bervariasi dari desain aslinya,
tidak mungkin bagi evaluator untuk mengaitkan hasil program dengan program itu sendiri. Jika
ini ditemukan sejak awal di EA, waktu dan uang akan dihemat. Di EA, pertanyaan berikut
tentang implementasi program penting:

1. Apakah program tersebut melayani populasi untuk siapa program itu dirancang? Meskipun
suatu program mungkin sedang berjalan, program tersebut mungkin tidak melayani jenis
populasi yang ingin dilayaninya, dan evaluasi tentang keberhasilan program akan menyesatkan.
Misalnya, pertimbangkan program keadilan restoratif baru untuk pelanggar properti. Salah satu
tujuan program ini adalah untuk memastikan bahwa para remaja ini memberikan ganti rugi
kepada korban. Program ini telah berjalan selama sekitar satu tahun, dan telah melayani banyak
anak muda. Namun, ketika melihat data program tentang pemuda yang dilayani, ternyata hakim
yang mengirim pelanggar narkoba ke program, bukan pelanggar properti. Meskipun program
tersebut telah menghabiskan waktu setahun terakhir untuk melayani kaum muda, namun belum
berfungsi sebagaimana mestinya. Ini belum tentu kesalahan program, tetapi masih akan
membuang-buang waktu dan uang jika seorang evaluator mencoba melakukan evaluasi proses
atau hasil atas dampak program bagi pelanggar properti. Program akan lebih baik mencari tahu
tentang masalah utama ini melalui EA daripada melalui evaluasi yang lebih mahal dan memakan
waktu.

2. Apakah program memiliki sumber daya yang dibahas dalam desain program? Agar sebuah
program dapat berfungsi dengan baik, diperlukan sumber daya, seperti staf yang terlatih,
peralatan, dan ruang. Jika salah satu sumber daya yang dibutuhkan tidak ada, masalah dengan
implementasi muncul. Misalnya, jika suatu program memiliki jumlah staf yang tidak mencukupi
untuk menjalankan program atau jika anggota staf tidak memiliki kualifikasi latar belakang dan
pelatihan yang sesuai, akan sulit bagi program untuk mencapai tujuannya.

3. Apakah kegiatan program yang dilaksanakan sesuai dengan rancangan? Meskipun suatu
program dapat dirancang dengan baik, desain tersebut harus dilaksanakan sesuai rencana agar
evaluasi dapat mengaitkan hasil dengan program itu sendiri. Karena evaluasi akan
mengumpulkan data berdasarkan kegiatan aktual yang dilaksanakan, perbedaan substansial
antara rancangan yang dinyatakan dan kegiatan yang sebenarnya akan berarti bahwa evaluasi
akan menilai program sebagai implementasi.

, tidak seperti yang direncanakan. Jika kegiatan program yang dilaksanakan sangat berbeda
dengan yang direncanakan, maka yang dievaluasi pada dasarnya adalah program yang berbeda
dari yang diusulkan pada awalnya. Meskipun evaluasi dapat menilai kegiatan yang telah
dilaksanakan, evaluasi tidak dapat menilai program itu sendiri, karena hubungan logis antara
kegiatan dan tujuan serta sasaran telah terputus. Dalam hal ini, desain program harus
ditentukan ulang sebelum evaluasi dilakukan.
4. Apakah program memiliki kapasitas untuk menyediakan data untuk evaluasi? Baik evaluasi
proses maupun hasil memerlukan program untuk menghasilkan banyak data. Sangat penting
bahwa program mendokumentasikan kegiatan klien dan anggota staf mereka dan layanan yang
mereka berikan menggunakan formulir seperti penilaian penerimaan, laporan kemajuan, dan
catatan formal lainnya. Selain itu, program harus mengembangkan langkah-langkah untuk
menilai kemajuan mereka dalam mencapai tujuan dan sasaran mereka, dan harus secara
sistematis mengukur perubahan pada remaja yang mereka layani. Program harus memiliki, atau
memiliki kapasitas untuk mengembangkan, prosedur untuk menghasilkan data yang akan
diperlukan untuk evaluasi. Evaluasi tidak dapat dimulai sampai prosedur pengumpulan data ini
ada.

Bagaimana Anda Melakukan Penilaian Evaluabilitas?

EA memiliki lima tugas penting yang harus berhasil diselesaikan oleh seorang evaluator:

• Tugas 1. Mempelajari sejarah program, desain, dan operasi;

• Tugas 2. Menonton program beraksi;

• Tugas 3. Menentukan kapasitas program untuk pengumpulan, pengelolaan, dan analisis data;

• Tugas 4. Menilai kemungkinan bahwa program akan mencapai tujuan dan sasarannya; dan

• Tugas 5. Tunjukkan mengapa evaluasi akan atau tidak akan membantu program dan
pemangku kepentingannya.

Kunci keberhasilan EA adalah bagi evaluator untuk memahami program "di atas kertas" (yaitu,
desain program) dan untuk memahami teori program, atau mengapa para pendukung berpikir
program akan mencapai tujuan yang diinginkan. Wawancara staf program sangat penting untuk
umpan balik tentang hubungan yang masuk akal antara pernyataan masalah, kegiatan, dan
tujuan program.

Jika staf tersedia, program harus membentuk kelompok kerja atau tim EA yang terdiri dari staf
implementasi yang bertanggung jawab atas manajemen program, serta pemangku kepentingan
lokal dan orang yang melakukan EA. Kegiatan pertama tim harus mengidentifikasi ruang lingkup
EA, parameter program, dan individu yang akan diwawancarai.

Tugas Satu: Mempelajari Sejarah Program, Desain, dan Operasi Evaluator harus mengumpulkan
dokumentasi program yang tersedia sebelum melakukan kunjungan lapangan pertama. Setelah
dia membaca informasi ini, serangkaian kunjungan lapangan akan memberikan wawasan
tambahan tentang program ini. Anggota tim program harus menjadi bagian dari proses EA
(termasuk manajer program, staf program, dan pemangku kepentingan lokal). Pertemuan
pertama dengan anggota tim harus mencakup diskusi tentang hal-hal berikut:

1. Apa tujuan dari EA? 2. Di mana letak program ini dalam lembaga atau struktur organisasi yang
lebih besar? 3. Apa sifat dari komitmen pemangku kepentingan lokal terhadap EA? 4. Siapa yang
harus diwawancarai sebagai bagian dari EA?
Pertemuan harus membantu membiasakan staf dengan proses EA dan memberikan informasi
awal tentang program kepada orang yang melakukan EA. Selama kunjungan lapangan dan
wawancara, jawaban atas pertanyaan-pertanyaan berikut harus dicari:

1. Bagaimana sejarah programnya? Apa dorongan untuk membuat program? Apa masalah yang
dirancang untuk diatasi oleh program? Bagaimana program dimulai? Sudah berapa lama
program tersebut berjalan? Apakah program ini merupakan bagian dari agensi yang lebih besar?
Apakah program tersebut pernah dievaluasi? Apa yang dilakukan dengan informasi yang keluar
dari evaluasi?

2. Bagaimana desain programnya? Apa tujuan dan sasaran program? Apakah ada pernyataan
misi? Sumber daya apa yang tersedia untuk mengimplementasikan dan mengoperasikan
program? Berapa kapasitas maksimum program? Berapa lama program (yaitu, berapa lama klien
bisa tinggal)? Masalah apa, jika ada, yang ditemui dalam pelaksanaan program?

3. Bagaimana sebenarnya program itu beroperasi? Bagaimana kebutuhan klien dinilai? Layanan
apa yang disediakan? Bagaimana staf dilatih untuk implementasi dan operasi program? Apakah
ada rencana implementasi untuk program tersebut? Jika ini adalah program baru, apa yang
menjadi perhatian, jika ada, yang dimiliki pemangku kepentingan?

Tugas Dua: Menonton Program dalam Tindakan

Wawancara dengan staf dan tinjauan dokumentasi program hanya bisa memberi tahu begitu
banyak. Sangat penting bahwa seorang evaluator yang melakukan EA benar-benar menonton
program dalam tindakan untuk mengetahui apakah program "di atas kertas" berbeda dari
program dalam praktiknya. Misalnya, jika EA dari pengadilan narkoba remaja sedang dilakukan,
evaluator harus mengamati proses pengadilan untuk melihat bagaimana hakim berinteraksi
dengan klien dan staf lain yang terlibat, bagaimana kasus umumnya ditangani, berapa lama
waktu yang dibutuhkan, dll. Jika hanya wawancara yang dilakukan, seorang evaluator tidak akan
mendapatkan gambaran yang utuh tentang bagaimana program tersebut bekerja.

Tugas Tiga: Menentukan Kapasitas Program untuk Pengumpulan, Pengelolaan, dan Analisis
Data

Untuk menentukan apakah tujuan program telah tercapai, jumlah data berkualitas baik yang
memadai harus dikumpulkan dan

dianalisis. Dalam memutuskan apakah suatu program dapat dievaluasi, penting bagi seorang
evaluator untuk mengetahui hal-hal berikut:

• Data apa yang dikumpulkan? Bagaimana mereka dimasukkan/disimpan? Apakah mereka

kualitatif, kuantitatif, atau keduanya?

• Apakah evaluasi memerlukan pengumpulan data tambahan?

• Seberapa baik data dikumpulkan? Apakah mereka dapat diandalkan? Apakah program mampu
mengumpulkan dan mengelola data yang diperlukan untuk evaluasi?

• Siapa yang memasukkan data? Apa kualifikasi mereka?

Tugas Empat: Menilai Kemungkinan Bahwa Program Akan Mencapai Sasaran dan Sasarannya

Seperti yang dinyatakan sebelumnya, selain mempelajari apa tujuan dan sasaran suatu program,
penting bagi seorang evaluator untuk juga menilai apakah program tersebut mungkin mencapai
tujuan dan sasaran tersebut. Sebuah program yang memiliki tujuan dan sasaran yang tidak
realistis kemungkinan besar akan gagal untuk mencapainya terlepas dari seberapa baik
kinerjanya. Adalah bodoh untuk melakukan evaluasi dan menyimpulkan bahwa program
tersebut gagal berdasarkan ketidakmampuannya untuk mencapai tujuan dan sasaran yang tidak
realistis.

Tugas Lima: Menunjukkan Mengapa Evaluasi Akan atau Tidak Akan Membantu Program dan
Pemangku Kepentingannya

Setelah evaluator menyelesaikan semua kunjungan lapangan dan wawancara yang relevan dan
telah mengumpulkan semua informasi terkait, ia harus membuat laporan akhir yang
menyatakan apakah evaluasi akan memberikan informasi yang berguna bagi manajer dan
penyandang dana program atau tidak. Dalam membuat keputusan akhir ini, ia harus
memberikan analisis terperinci berdasarkan data yang dikumpulkan dari program

Untuk melakukan EA secara menyeluruh, seorang evaluator harus mengetahui sebanyak

mungkin tentang program tersebut. Meskipun seorang manajer program mungkin mengetahui
bagaimana program berfungsi sehari-hari, penting untuk memahami bagaimana staf melihat
program tersebut. Misalnya, apakah staf menganggap tujuan program sama dengan apa yang
dipikirkan manajer dan apa yang telah ditetapkan selama fase perencanaan? Hal yang sama
berlaku untuk klien; mengapa mereka berpikir mereka ada dalam program ini? Apa yang mereka
pikir mereka dapatkan dari program? Pertanyaan-pertanyaan ini dan pertanyaan lainnya sangat
penting untuk mengetahui apakah suatu program dapat dievaluasi atau tidak. Untuk kumpulan
contoh pertanyaan yang dapat digunakan dalam EA, lihat lampiran.

Bagaimana Manajer Program Dapat Memastikan Bahwa Program Mereka Dapat Dievaluasi?

Semua program tidak memiliki dana yang diperlukan untuk melakukan EA serta evaluasi.
Namun, masih sangat penting bagi manajer program untuk menyadari elemen EA yang dibahas
di sini untuk memastikan bahwa program mereka dapat dievaluasi. Setiap program harus
memiliki model yang terstruktur dengan jelas. Dalam model, tujuan dan sasaran harus dapat
diukur sehingga tingkat pencapaiannya dapat dinilai. Manajer program harus berpikir secara
objektif; yaitu, data apa yang dapat dikumpulkan yang akan memberikan bukti yang jelas bahwa
tujuan dan sasaran telah tercapai? Secara keseluruhan, manajer program harus memastikan
bahwa program mereka melayani kaum muda yang mereka layani, bahwa mereka
mengumpulkan data yang relevan dengan cara yang terorganisir dan konsisten, bahwa mereka
dikelola oleh orang-orang dengan kualifikasi dan pengetahuan yang sesuai, dan bahwa kegiatan
program dilaksanakan sesuai rancangan. Jika semua elemen ini ada, sebuah program
kemungkinan besar akan terbukti dapat dievaluasi.

Kesimpulan

Setelah EA dilakukan, salah satu dari dua kesimpulan dapat ditarik: 1. Program siap untuk
evaluasi. Program ini dianggap dapat dievaluasi dan siap menjadi bagian dari evaluasi.
Kemungkinan juga EA akan menyarankan beberapa parameter untuk evaluasi (misalnya, kriteria
dan ukuran kinerja.)

2. Program belum siap untuk dievaluasi. Program belum siap untuk dievaluasi karena masalah
perencanaan dan implementasi yang mendasar. Jika demikian halnya, evaluator yang melakukan
EA harus mengarahkan manajer program ke area program yang membutuhkan pengembangan
lebih lanjut. Jika suatu program tidak siap untuk evaluasi, evaluator harus menunjukkan
mengapa demikian dan menginstruksikan tim tentang apa yang dapat dilakukan untuk
membawanya ke tingkat yang sesuai. Dari sini, manajer program dapat mulai memikirkan
kembali program mereka dan membuat rencana untuk menerapkan perubahan yang diperlukan.

Perencanaan setiap jenis evaluasi program, yang seharusnya mengarah pada peningkatan
kinerja program, mengharuskan evaluator untuk membuat beberapa keputusan. Salah satu yang
paling penting adalah apakah suatu program siap untuk dievaluasi. Dengan melakukan EA untuk
melihat perencanaan dan implementasi program, seorang evaluator dapat menghemat banyak
waktu dan uang dengan menentukan apakah suatu evaluasi layak dan sesuai atau tidak.
Program-program yang direncanakan dan/atau dilaksanakan dengan buruk tidak boleh
dievaluasi karena temuan-temuan evaluasi paling-paling tidak meyakinkan dan paling buruk
menyesatkan. EA memulai proses evaluasi dengan melakukan penilaian awal terhadap
rancangan program. Pada kesimpulannya, program akan mengetahui apakah ia siap untuk
evaluasi skala penuh, atau penilaian kinerja program dalam skala yang lebih kecil.