Oleh:
Bagus Purnomo
NIM 20707251007
PROGRAM PASCASARJANA
2021
BAB 1
PENDAHULUAN
A. Latar Belakang
Agar efektif dalam menghasilkan perbaikan kondisi sosial yang diinginkan, sebuah
program membutuhkan lebih dari sekedar rencana yang baik. Hal yang terpenting, program
Meskipun menerapkan konsep program yang mungkin terlihat tampak mudah, dalam
dengan banyak pengaruh buruk yang dapat membahayakan bahkan upaya yang berniat
baik untuk melakukan program yang tepat. Hasilnya dapat dengan mudah menjadi
perbedaan substansial antara program sebagaimana yang dimaksud dan program yang
Pelaksanaan sebuah program tercermin dalam bentuk konkret dalam proses program
yang diberlakukannya. Fungsi evaluasi yang penting, oleh karena itu, adalah untuk menilai
kecukupan proses program: kegiatan program yang benar-benar berlangsung dan layanan
B. Rumusan Masalah
Berdasarkan latar belakang tersebut, maka disusun rumusan masalah sebagai berikut:
2. Apa saja yang unsur – unsur dalam menilai dan memantau proses program?
C. Tujuan
PEMBAHASAN
Proses evaluasi menurut Scheirer (1994) yaitu memverifikasi apa itu program dan
apakah itu disampaikan sebagaimana ditujukan kepada penerima yang ditargetkan atau
tidak. Namun, itu tidak berusaha untuk menilai efek dari program pada penerima tersebut.
Sesuai dengan perbedaan antara evaluasi proses dan hasil, pemantauan proses
program adalah dokumentasi sistematis dan berkelanjutan dari aspek-aspek utama kinerja
program yang menilai apakah program beroperasi sebagaimana dimaksud atau sesuai
dengan beberapa standar yang sesuai, sedangkan pemantauan hasil adalah pengukuran
berkelanjutan dari hasil yang dimaksudkan dari program, biasanya dari kondisi sosial yang
kinerja program dalam domain pemanfaatan layanan dan organisasi program. Menilai
pemanfaatan layanan terdiri dari memeriksa sejauh mana populasi target yang dimaksud
dilakukan program dengan apa yang sebenarnya dilakukan, terutama yang berkaitan
dengan penyediaan layanan. Evaluasi proses program ditujukan pada satu atau kedua
pertanyaan utama: (1) apakah sebuah program menjangkau populasi target yang sesuai dan
(2) apakah fungsi pengiriman dan dukungan layanannya konsisten dengan spesifikasi
desain program atau standar lain yang sesuai. Evaluasi proses juga dapat memeriksa
sumber daya apa yang sedang atau telah dikeluarkan dalam pelaksanaan program. Lebih
khusus lagi, skema evaluasi proses program dirancang untuk menjawab pertanyaan
evaluasi seperti:
Penting untuk mengenali tema evaluatif dalam pertanyaan evaluasi proses seperti
yang tercantum di atas. Hampir semua melibatkan kata-kata seperti tepat, memadai, cukup,
memuaskan, masuk akal, dimaksudkan, dan frasa lain yang menunjukkan bahwa penilaian
evaluator atau pihak lain yang bertanggung jawab tidak hanya harus menggambarkan
kinerja program tetapi juga menilai apakah itu memuaskan. Ini, pada gilirannya,
mengharuskan bahwa ada beberapa basis untuk membuat penilaian, kriteria atau standar
defensible yang akan diterapkan. Jika kriteria tersebut belum diartikulasikan dan disahkan,
evaluator mungkin menemukan bahwa menetapkan kriteria yang dapat dikerjakan sama
sulitnya dengan menentukan kinerja program pada dimensi yang bersangkutan. Ada
beberapa pendekatan untuk masalah penetapan kriteria kinerja program. Selain itu,
pendekatan yang berbeda kemungkinan akan berlaku untuk dimensi kinerja program yang
merupakan jumlah klien yang sesuai yang dilayani sangat berbeda dari yang bersangkutan
untuk memutuskan apa yang merupakan tingkat sumber daya yang memadai. Ingat bahwa
teori program, seperti yang kami sajikan, dibagi menjadi teori proses program dan teori
dampak program.
dimaksud dalam bentuk yang secara virtual merupakan rencana atau cetak biru untuk apa
yang diharapkan program dan bagaimana. Dengan demikian, sangat relevan dengan
evaluasi proses program. Ingat juga bahwa teori program dibangun berdasarkan penilaian
kebutuhan (baik sistematis atau informal) dan dengan demikian menghubungkan desain
program dengan kondisi sosial program dimaksudkan untuk menghilangkan. Dan, tentu
saja, proses di mana teori diturunkan dan diadopsi biasanya melibatkan masukan dari
pemangku kepentingan utama dan, pada akhirnya, dukungan mereka. Teori program
dengan demikian memiliki otoritas tertentu dalam menguraikan apa yang "harus"
dilakukan program dan, sesuai, apa yang merupakan kinerja yang memadai. Evaluasi
proses program, oleh karena itu, dapat dibangun di atas perancah teori proses program.
Teori proses mengidentifikasi aspek kinerja program yang paling penting untuk
digambarkan dan juga memberikan beberapa indikasi tingkat kinerja apa yang
dimaksudkan, sehingga memberikan dasar untuk menilai apakah kinerja aktual mengukur.
Deskripsi dan penilaian proses program cukup umum dalam evaluasi program, tetapi
pendekatan yang digunakan bervariasi, seperti halnya terminologi yang mereka gunakan.
Penilaian tersebut dapat dilakukan sebagai upaya satu bidikan atau dapat
berkesinambungan sehingga informasi diproduksi secara teratur dalam jangka waktu yang
lama, seperti dalam pemantauan proses program. Mereka dapat dilakukan oleh evaluator
"luar" atau "di dalam" atau diatur sebagai alat manajemen dengan sedikit keterlibatan oleh
evaluator profesional. Selain itu, tujuan mereka mungkin adalah untuk memberikan umpan
balik untuk tujuan manajerial, untuk menunjukkan akuntabilitas kepada sponsor dan
pembuat keputusan, untuk memberikan evaluasi proses yang luar biasa, atau untuk
meningkatkan evaluasi dampak. Di tengah varietas ini, dibedakan dua bentuk pokok studi
berkelanjutan.
Evaluasi Proses dan Implementasi
Evaluasi proses atau implementasi biasanya dilakukan oleh spesialis evaluasi sebagai
proyek terpisah yang mungkin melibatkan personel program tetapi tidak diintegrasikan ke
dalam rutinitas sehari-hari mereka. Ketika selesai dan, seringkali, saat berlangsung,
evaluasi proses umumnya memberikan informasi tentang kinerja program kepada manajer
program dan pemangku kepentingan lainnya, tetapi bukan bagian reguler dan berkelanjutan
Sebagai pendekatan evaluasi, evaluasi proses memainkan dua peran utama. Pertama,
dapat berdiri sendiri sebagai evaluasi program dalam keadaan di mana satu-satunya
layanan, dan hal-hal semacam itu lainnya. Ada beberapa jenis situasi yang sesuai dengan
deskripsi ini. Evaluasi proses yang berdiri sendiri mungkin sesuai untuk program yang
relatif baru, misalnya, untuk menjawab pertanyaan tentang seberapa baik ia telah
menetapkan operasi dan layanan yang dimaksudkan. Proses program sering menjadi fokus
evaluasi formatif yang dirancang untuk memberikan umpan balik yang berguna kepada
manajer dan sponsor program baru. Dalam kasus program yang lebih mapan, evaluasi
proses mungkin dipanggil ketika muncul pertanyaan tentang seberapa baik program ini
diatur, kualitas layanannya, atau keberhasilan mencapai populasi target. Evaluasi proses
juga dapat merupakan pendekatan evaluasi utama untuk program yang dibebankan dengan
memberikan layanan yang diketahui atau dianggap efektif, sehingga masalah kinerja yang
paling signifikan adalah apakah layanan tersebut dikirimkan dengan benar. Dalam
lingkungan perawatan terkelola, misalnya, evaluasi proses dapat digunakan untuk menilai
apakah protokol perawatan medis yang ditentukan diikuti untuk pasien dalam kategori
Peran utama kedua dari evaluasi proses atau implementasi adalah sebagai pelengkap
evaluasi dampak. Memang, umumnya tidak disarankan untuk melakukan evaluasi dampak
program begitu saja. Evaluasi dampak penuh, oleh karena itu, mencakup komponen proses
untuk menentukan kualitas dan kuantitas layanan yang diberikan program sehingga
informasi ini dapat diintegrasikan dengan temuan tentang apa dampak layanan tersebut.
Manajemen
Bentuk evaluasi proses program yang luas kedua terdiri dari pemantauan indikator
berkelanjutan dari aspek proses program yang dipilih. Pemantauan proses tersebut dapat
menjadi alat yang berguna untuk memfasilitasi manajemen program sosial yang efektif
dengan memberikan umpan balik rutin tentang seberapa baik program ini menjalankan
fungsi pentingnya. Jenis umpan balik ini memungkinkan manajer untuk mengambil
tindakan korektif ketika masalah muncul dan juga dapat memberikan penilaian rutin
kepada pemangku kepentingan tentang kinerja program. Untuk alasan tersebut, bentuk
penilaian proses sering diintegrasikan ke dalam sistem informasi rutin program sosial
sehingga diperoleh data yang sesuai, disusun, dan dirangkum secara berkala. Dalam kasus
seperti itu, evaluasi proses menjadi koekstensif dengan sistem informasi manajemen dalam
oleh-klien tentang layanan yang disediakan, staf yang menyediakan layanan, diagnosis atau
alasan untuk partisipasi program, data sosiodemografi, perawatan dan biaya mereka, status
hasil, dan sebagainya. Beberapa klien penagihan sistem (atau penyandang dana),
menerbitkan pembayaran untuk layanan, dan menyimpan informasi lain, seperti riwayat
perawatan klien dan partisipasi saat ini dalam program lain. Sistem Informasi Manajemen
telah menjadi sumber data utama dalam banyak kasus karena banyak informasi yang jika
tidak harus dikumpulkan dalam pengumpulan data untuk pemantauan proses tersedia
dalam Sistem Informasi Manajemen program. Bahkan ketika Sistem Informasi Manajemen
menyeluruh, itu mungkin tetap memberikan sebagian besar informasi yang dibutuhkan
evaluator untuk tujuan tersebut. Dengan demikian, Sistem Informasi Manajemen dapat
Ada dan harus tumpang tindih yang cukup besar dalam tujuan pemantauan proses
apakah mereka didorong oleh kebutuhan informasi evaluator, manajer program dan staf,
pemantauan yang dilakukan sebagai bagian dari evaluasi harus memenuhi kebutuhan
informasi semua kelompok ini. Namun, dalam praktiknya, keterbatasan waktu dan sumber
daya mungkin memerlukan prioritas pada satu set kebutuhan informasi di atas yang lain.
Meskipun ada banyak pengecualian, perspektif tiga "kelompok konsumen" utama dengan
tujuan pemantauan program biasanya bervariasi. Perbedaan dalam perspektif ini berlaku
memantau proses program. Terlalu sering dampak program berkurang tajam dan, memang,
kadang-kadang berkurang menjadi nol karena intervensi yang sesuai tidak disampaikan,
tidak disampaikan ke target yang tepat, atau keduanya. Banyak kegagalan program
berpotensi efektif. Studi pemantauan proses, oleh karena itu, sangat penting untuk
memahami dan menafsirkan temuan dampak. Mengetahui apa yang terjadi adalah prasyarat
untuk menjelaskan atau berhipotesis mengapa program melakukan atau tidak bekerja.
Tanpa pemantauan proses, evaluator terlibat dalam penelitian "kotak hitam" tanpa dasar
untuk memutuskan apakah dosis program yang lebih besar atau cara yang berbeda untuk
Informasi pemantauan proses juga sangat penting bagi mereka yang mensponsori dan
mendanai program. Manajer program memiliki tanggung jawab untuk memberi tahu
sponsor dan penyandang dana mereka tentang kegiatan yang dilakukan, tingkat
pelaksanaan program, masalah yang dihadapi, dan apa yang terjadi di masa depan. Namun,
evaluator sering diberi mandat untuk memberikan informasi yang sama atau serupa.
Memang, dalam beberapa kasus sponsor dan penyandang dana program menganggap
evaluator program sebagai "mata dan telinga mereka," sebagai baris kedua informasi
Selain penyandang dana dan sponsor, pemangku kepentingan lainnya dapat menekan
akuntabilitas program. Dalam menghadapi reservasi wajib pajak tentang pengeluaran untuk
program sosial, bersama dengan peningkatan persaingan untuk sumber daya sering
sedang meneliti program yang mereka dukung dan yang tidak mereka dukung. Pihak-pihak
program yang mereka advokasi atau temukan bawaan dengan kepentingan diri mereka dan
kepentingan, perlu dicatat, termasuk target itu sendiri. Informasi akuntabilitas adalah
senjata utama yang digunakan pemangku kepentingan dalam pertempuran mereka sebagai
pertanyaan yang sama dengan proses program atau studi akuntabilitas; perbedaan terletak
pada tujuan di mana temuan harus diletakkan. Minat evaluator dalam memantau data
umumnya berpusat pada penentuan bagaimana dampak potensial sebuah program terkait
kesesuaian kegiatan program dan untuk memutuskan apakah sebuah program harus
dilanjutkan, diperluas, atau dikontrak. Studi semacam itu dapat menggunakan basis
informasi yang sama yang digunakan oleh staf manajemen program, tetapi mereka
manajemen kurang memperhatikan dengan membuat penilaian yang menentukan dan lebih
banyak lagi dengan memasukkan langkah-langkah korektif sebagai bagian reguler dari
operasi program.
Pemantauan proses dari perspektif manajemen sangat penting selama implementasi
dan pengujian percontohan program baru, terutama yang inovatif. Tidak peduli seberapa
baik program tersebut, hasil yang tidak terduga dan efek samping yang tidak diinginkan
sering muncul di awal jalannya implementasi. Desainer dan manajer program perlu
mengetahui dengan cepat dan lengkap tentang masalah ini sehingga perubahan dapat
dilakukan sesegera mungkin dalam desain program. Untuk program yang telah bergerak
kebutuhan manajemen dengan memberikan informasi tentang proses dan cakupan (sejauh
mana program mencapai target yang dimaksudkan), dan karenanya umpan balik tentang
ketika memantau informasi menunjukkan bahwa target tidak tercapai, bahwa implementasi
program biaya lebih dari yang diproyeksikan awalnya, atau bahwa beban kerja staf terlalu
berat atau terlalu ringan. Manajer yang lalai untuk memantau program sepenuhnya dan
sistematis berisiko bahaya mengelola program yang sangat berbeda dari mandatnya.
evaluasi, beberapa masalah harus diantisipasi. Berapa banyak informasi yang masuk akal
untuk dikumpulkan dan dilaporkan, dalam bentuk apa, pada frekuensi apa, dengan
keandalan apa, dan dengan tingkat kerahasiaan apa yang menjadi salah satu masalah utama
di mana evaluator dan manajer mungkin tidak setuju. Misalnya, manajer berpengalaman
dari program rekreasi anak-anak nirlaba mungkin merasa bahwa prioritas tertinggi adalah
dengan menggabungkan data setiap bulan atau bahkan triwulanan, tetapi mungkin percaya
masalah klaim kepemilikan pada data. Bagi pengelola, memantau data, katakanlah, hasil
dari sebuah inovasi program harus dijaga kerahasiaannya hingga dibahas bersama komite
riset direksi dan disampaikan dalam rapat dewan. Penurunan serius klien dari kelompok
layanan profesional, sedangkan reaksi evaluator mungkin untuk melakukan studi untuk
menentukan mengapa penurunan terjadi. Seperti semua hubungan antara staf program dan
Masalah penting dalam pemantauan proses program adalah memastikan sejauh mana
menyangkut manajer program dan sponsor. Mengelola proyek secara efektif mengharuskan
partisipasi target disimpan pada tingkat yang dapat diterima dan tindakan korektif diambil
program bersifat sukarela atau di mana peserta harus mempelajari prosedur baru,
mengubah kebiasaan mereka, atau mengambil instruksi. Demikian pula, sebuah program
dirancang untuk memberikan informasi kepada calon pembeli rumah mungkin menemukan
bahwa hanya sedikit orang yang mencari layanan yang ditawarkan. Oleh karena itu,
pengembang program perlu memperhatikan cara terbaik untuk memotivasi target potensial
untuk mencari program dan berpartisipasi di dalamnya. Tergantung pada kasus tertentu,
mereka mungkin, misalnya, perlu membangun upaya penjangkauan ke dalam program atau
memberikan perhatian khusus pada penempatan geografis situs program (Boruch, Dennis,
cakupan dan bias. Sedangkan cakupan mengacu sejauh mana partisipasi oleh populasi
target mencapai tingkat yang ditentukan dalam desain program, bias adalah tingkat di mana
beberapa subkelompok berpartisipasi dalam proporsi yang lebih besar daripada yang lain.
Jelas, cakupan dan bias terkait. Program yang menjangkau semua peserta yang
diproyeksikan dan tidak ada orang lain yang jelas tidak bias dalam cakupannya. Tetapi
karena beberapa program sosial yang pernah mencapai cakupan total, bias biasanya
menjadi masalah.
cakupan maupun cakupan lebih. Di bawah cakupan diukur dengan proporsi target yang
dengan jumlah total peserta dalam program ini. Penggunaan sumber daya program yang
dan meminimalkan jumlah yang dilayani yang tidak membutuhkan. Masalah dalam
Catatan Program
Hampir semua program menyimpan catatan pada target yang dilayani. Data
dari sistem rekaman yang dikelola dengan baik terutama dari Sistem Informasi
asupan program dapat ditabulasikan untuk menentukan apaka unit yang dilayani
Survei
adalah dengan melakukan survei khusus peserta program. Survei sampel mungkin
diinginkan ketika data yang diperlukan tidak dapat diperoleh sebagai bagian rutin
dari kegiatan program atau ketika ukuran kelompok target besar dan lebih ekonomis
dan efisien untuk melakukan survei sampel daripada mendapatkan data pada semua
peserta.
Menilai Bias
perbedaan antara individu yang berpartisipasi dalam program dan baik mereka yang putus
sekolah atau mereka yang memenuhi syarat tetapi tidak berpartisipasi sama sekali.
Sebagian, tingkat drop-out, atau atribusi, dari proyek dapat menjadi indikator
ketidakpuasan klien terhadap kegiatan intervensi. Ini juga dapat menunjukkan kondisi di
kurangnya transportasi yang memadai dapat mencegah mereka yang bersedia dan
yang tidak berpartisipasi sama sekali atau tidak menindaklanjuti partisipasi penuh.
Informasi semacam itu tidak hanya berharga dalam menilai nilai upaya tetapi juga
dimodifikasi untuk menarik dan mempertahankan proporsi populasi target yang lebih
besar. Dengan demikian, aspek kualitatif partisipasi mungkin penting tidak hanya untuk
Pemantauan fungsi dan kegiatan organisasi penting dari sebuah program berfokus
pada apakah program berkinerja baik dalam mengelola upayanya dan menggunakan
itu, tentu saja memberikan layanan yang dimaksudkan kepada populasi target. Selain itu,
program memiliki berbagai fungsi pendukung yang harus dilakukan untuk menjaga
promosi, serta tata kelola dan manajemen. Pemantauan proses program berusaha untuk
menentukan apakah kegiatan dan pengaturan aktual program cukup memperkirakan yang
dimaksudkan.
Sistem Penyampaian
Sistem pengiriman program dapat dianggap sebagai kombinasi jalur dan tindakan
yang dilakukan untuk memberikan intervensi. Biasanya terdiri dari sejumlah fungsi dan
hubungan yang terpisah. Sebagai aturan umum, adalah bijaksana untuk menilai semua
Spesifikasi Layanan
terdiri dari menentukan layanan aktual yang disediakan oleh program dalam istilah
dalam hal kegiatan yang berlangsung dan penyedia yang berpartisipasi. Jika
Aksesbilitas
partisipasi dalam program ini. Semua program memiliki strategi semacam untuk
memberikan layanan kepada populasi target yang sesuai. Dalam beberapa kasus,
dapat diakses mungkin hanya berarti membuka kantor dan beroperasi di bawah
asumsi bahwa peserta yang ditunjuk akan "secara alami" datang dan memanfaatkan
program, dan satu penting untuk dipantau, sebagian besar program juga melakukan fungsi
dukungan penting yang sangat penting bagi kemampuan mereka untuk mempertahankan
diri dan terus memberikan layanan. Fungsi-fungsi ini menarik bagi administrator program,
tentu saja, tetapi seringkali mereka juga relevan untuk pemantauan oleh evaluator atau
pembuat keputusan luar. Fungsi dukungan vital dapat mencakup kegiatan seperti
penggalangan dana; hubungan masyarakat untuk meningkatkan citra program dengan
sponsor potensial, pengambil keputusan, atau masyarakat umum; pelatihan staf, termasuk
pelatihan staf layanan langsung; merekrut dan retensi personel utama; mengembangkan
dan memelihara hubungan dengan program afiliasi, sumber rujukan, dan semacamnya;
mendapatkan bahan yang diperlukan untuk layanan; advokasi umum atas nama penduduk
Data, tentu saja, hanya berguna ketika mereka telah dianalisis dengan tepat. Secara
umum, analisis data pemantauan proses program membahas tiga masalah berikut: deskripsi
operasi program, perbandingan antara situs, dan kesesuaian program dengan desainnya.
program seperti yang dirancang tergantung pada memiliki deskripsi lengkap dan
dari data pemantauan proses program akan membahas topik-topik berikut: perkiraan
cakupan dan bias dalam partisipasi, jenis layanan yang disampaikan, intensitas
layanan yang diberikan kepada peserta dengan jenis yang signifikan, dan reaksi
peserta terhadap layanan yang disampaikan. Pernyataan deskriptif dapat berupa akun
narasi, terutama ketika memantau data berasal dari sumber kualitatif, atau ringkasan
Ketika sebuah program menyertakan lebih dari satu situs, pertanyaan kedua
program dan, pada akhirnya, hasil, seperti perbedaan staf, administrasi, target, atau
lingkungan sekitar, dan juga dapat memfasilitasi upaya untuk mencapai standarisasi.
fungsi yang diharapkan atau karena tidak melakukannya seperti yang diharapkan.
proyek lebih dekat ke desain asli atau untuk respesifikasi desain itu sendiri. Analisis
dampak dan, jika perlu, untuk memilih evaluasi yang lebih formatif untuk
A. Kesimpulan
menjalankan fungsi yang dimaksudkan. Ini dibangun berdasarkan teori proses program,
yang mengidentifikasi komponen, fungsi, dan hubungan penting yang diasumsikan perlu
agar program efektif. Di mana evaluasi proses adalah fungsi berkelanjutan yang
melibatkan pengukuran berulang dari waktu ke waktu, itu disebut sebagai pemantauan
sebagaimana ditujukan kepada penerima yang ditargetkan dan biasanya dilakukan sebagai
proyek terpisah oleh spesialis evaluasi. Ini mungkin merupakan evaluasi yang berdiri
pengiriman layanan, dan hal-hal semacam itu lainnya. Evaluasi proses juga sering
dilakukan bersamaan dengan evaluasi dampak untuk menentukan layanan apa yang
diberikan program untuk melengkapi temuan tentang dampak apa yang ditimbulkan oleh
Rossi, P. H., Lipsey, M. W., & Henry, G. T. (2018). Evaluation: A systematic approach. Sage
publications.