Evaluasi dan Monitoring Program Kesehatan

Evaluasi Program Kesehatan?

 Apa yang akan dievaluasi?

 Untuk apa dievaluasi?
 Kapan akan mengevaluasi?
 Bagaimana mengevaluasi?

Program Evaluation : FAQ

- Apakah program berhasil ?

- Apakah program berjalan baik ?
- Apa program bisa diteruskan dg strategi yg sama ?
- Bagaimana cara memperbaiki / meningkatkan ?
- Metode/tindakan/Strategi yg memberi hasil terbaik?
- Bisakah dilakukan di tempat lain ?
- Berapa banyak uang digunakan? Efisien?
- Apakah hasil evaluasi mendukung atau menyangkal upaya program ?
- Do the program result or refute

Definisi Evaluasi

 WHO, suatu cara belajar yg sistematis dari pengalaman yg dimiliki utk meningkatkan
pencapaian, pelaksanaan dan perencanaan suatu program melalui pemilihan secara
seksama berbagai kemungkinan yg tersedia guna penerapan selanjutnya.
 The American Public Association, suatu proses utk menentukan nilai atau jumlah
keberhasilan dari pelaksanaan suatu program dalam mencapai tujuan yg telah
ditetapkan.
 Riecken, pengukuran terhadap akibat yg ditimbulkan dari dilaksanakannya suatu
program dalam mencapai tujuan yg telah ditetapkan.

Mispersepsi

• Ancaman keberlangsungan program

• Memperlihatkan kesalahan-kesalahan
• Menghasilkan informasi yang buruk

Tujuan

• Monitor perkembangan & menilai pencapaian

• Identifikasi keterbatasan untuk perbaikan
• Mengkaji keputusan,
• Public relation (funder, stake holder, mitra, komuniti)
• Pengembangan staf
• Menguji kualitas perencanaan
• Indikator prestasi
 • Menguji kualitas perencanaan dll.
• Mengalihkan kesalahan institusi.

Manfaat

• Menjauhkan dari tugas asal-asalan

• Mempertahankan image keberlangsungan
• Komunikasi user dan resources
• Sistem kewaspadaan dini thd permasalahan
• Pengembangan staf
• Mengetahui tingkat capaian manfaat
• Bahan masukan program lanjutan
• “Mempelajari” keputusan yang kontroversial

Kaitan Tujuan Program dan Evaluasi

• Tujuan jangka panjang diukur dengan evaluasi (outcome)

• Tujuan jangka menengah dan pendek diukur dengan evaluasi hasil (impact)
• Tujuan strategi diukur dengan evaluasi proses

Kaitan antara tujuan program dan analisis masalah kesehatan

• Tujuan jangka panjang berhubungan dengan masalah kesehatan

• Tujuan jangka menengah berhubungan dengan faktor resiko
• Tujuan jangka pendek berhubungan dengan hal-hal yang berkontribusi terhadap
faktor resiko

Fokus evaluasi program

• Tipe informasi
- Kuantitatif
- Kualitatif
• Peran evaluasi
- Formatif
- Sumatif
• Sumber evaluasi
- Internal
- Eksternal
• Kriteria evaluasi
- Efek program pada kelompok sasaran
- Efek program pada pelaksana
- Proses, dampak atau hasil (outcome)
Diskripsi instrumen alat ukur

Istilah 1 Istilah 2 Diskripsi

Need assesment Evauasi diagnostik Pengetahuan, sikap, resiko perilaku, status
kesehatan, kebutuhan target dan status
program promosi kesehatan
Evaluasi proses Evaluasi formatif Implementasi program, respon tempat, respon
partisipan, respon praktisi dan kompetensi
personel
Evaluasi dampak Pengetahuan, sikap, kepercayaan dan perilaku
partisipan; program dan kebijakan organisasi
dan pemerintah
Evaluasi sumatif
Evaluasi outcome Penilaian status kesehatan, morbiditas dan
mortalitas

Tingkat Evaluasi

1. Overall appropriateness – outcome - instrumentasi

2. Outcome validity – outcome - instrumentasi
3. Effectiveness – impact - instrumentasi
4. Eficiency of operation – impact - instrumentasi
5. Meeting minimum standards – output - instrumentasi
6. Activity – proses - instrumentasi

Posisi

 Need assesment
 Planning
 Implementation
Proses (redesign and implement)
 Evaluation
Sumatif (level n, level 3, level 2, level 1)

Ruang Lingkup Evaluasi

1. Deniston
• Kelayakan program
• Kecukupan program
• Efektivitas program
• Efisiensi program

2. George James
 • Effort
• Performance
• Adequancy of performance
• Efficiency
3. Milton R. Roemer
• Health Status Outcomes
• Estimated Quality of Services
• Quantity of Services Provided
• Attitude of Recipients
• Resources made available
• Cost of the program

Langkah-langkah Evaluasi

 Mac Mahon
1. Tahap menentukan macam dan ruang lingkup penilaian
2. Tahap pemahaman program yang akan dinilai
3. Tahap pelaksanaan penilaian dan menarik kesimpulan
 Audie Knutson
1. Tahap pemahaman program yang akan dinilai
2. Tahap mengembangkan rencana penilaian dan melaksanakan penilaian
3. Tahap menarik kesimpulan
 Levey and Loomba
1. Tahap menetapkan tujuan penilaian
2. Tahap melengkapkan tujuan dengan tolak ukur tertentu
3. Tahap mengembangkan model, rencana & program penilaian
4. Tahap melaksanakan penilaian
5. Tahap menjelaskan derajat keberhasilan yang dicapai
6. Tahap menyusun saran-saran
 World Health Organization
1. Tahap penentuan hal yang akan dinilai
2. Tahap melengkapkan keterangan yang dibutuhkan
3. Tahap memeriksa hubungan antara keterangan keterangan dengan tujuan
penilaian
4. Tahap menilai kecukupan keterangan
5. Tahap menetapkan kemajuan program
6. Tahap menetapkan efektivitas program
7. Tahap menetapkan efesiensi program
8. Tahap menetapkan dampak program
9. Tahap menarik kesimpulan dan menyusun saran
Tailor Evaluation

Stakeholders yang Berminat Terhadap Evaluasi

• Pembuat kebijakan dan pengambil keputusan

• Sponsor program
• Sponsor evaluasi
• Target
• Manager program dan staf
• Kompetitor program

Evaluasi Berdasar Tahapan Program

1. Evaluasi pada program yang baru, hal-hal yang perlu dipertimbangkan:

a. Identifikasi tujuan dan menetapkan tujuan
b. Mendefinisikan tujuan
- Prosedur formal untuk mendefinisikan objektif
- Memberikan peringatan percapaian tujuan
- Mengembangkan model impact/dampak
- Hipotesis penyebab
- Hipotesis intervensi
- Hipotesis aksi dan
- Manipulasi & kelayakan

Sumber-sumber hipotesis:

- Informasi sebaya
- Review literature
- Meta analisis
c. Mendefinisikan populasi target, over & under inclusion, dan antisipasi
penerimaan audiens
d. Merancang sistem pengiriman/pemberian
- Ketetapan dengan populasi target
- Pemberian intervensi dan pelayanan
- Kualifikasi dan kompetensi staf
- Mekanisme rekrutmen dan penerimaan kerjasama dengan target
- Optimalisasi akses intervensi [lokasi dan fasilitas]
- Retensi target, rujukan dan usaha tindak lanjut
e. Melaksanakan penelitian formatif dan simulasi
f. Mengembangkan rencana evaluasi
2. Evaluasi Program yang Sudah Berjalan dan Menetap, pertimbangan:
a. Melaksanakan penilaian evaluasi
- Menyiapkan gambaran program
- Wawancara dengan anggota program
- “Scouting” program
- Mengembangkan model program yang dapat dievaluasi
 - Identifikasi pengguna evaluasi
- Mencapai persetujuan untuk melakukan, dalam hal:
• Tujuan program
• Komponen program yg dianalisis, rancangan evaluasi dan prioritas
pekerjaan
• Komitmen sumber-sumber yg butuhkan termasuk kerjasama dan
kolaborasi
• Perencanaan penggunaan hasil evaluasi Perencanaan usaha yang
dibutuhkan untuk menguatkan komponen program yang dapat dievaluasi
b. Penelitian Akuntabilitas
• Akuntabilitas pencapaian
• Akuntabilitas pengiriman pelayanan
• Akuntabilitas impact
• Akuntabilitas efisensi
• Akuntabilitas fiscal
• Akuntabilitas hukum
c. Evaluasi internal vs eksternal
3. Evaluasi pada Program yang Sedang Berjalan, pertimbangan:
- Menilai kembali tujuan dan hasil
- Penilaian reputabilitas
- Perencanaan dan perancangan program

Definisi Monitoring

Monitoring atau pemantauan difocuskan pada pemantauan pra pelaksanaan dan

pelaksanaan, apabila ada penyimpangan segera dilakukan perbaikan.

Jenis monitoring

1. Rutin
• Kegiatan yang dilakukan secara regular berdasarkan sejumlah indicator
• Merupakan informasi untuk mengawasi kemajuan atau perkembangan suatu
program
• Untuk mengidentifikasi penerapan program dengan atau tanpa perencanaan

2. Isidental
• Ditujukan untuk aktivitas yang spesifik dalam suatu program
• Menilai apakah aktivitas – aktivitas sudah dilaksanakan sesuai dengan rencana
dan keluaran yang diinginkan
• Untuk membuat penyesuaian – penyesuaian dalam implementasi baru
• Dilakukan apabila ditemukan suatu masalah yang muncul yang berhubungan
dengan input atau pelaksanaan program
Perbedaan Antara Pemantauan dan Penilaian

Hal yg Pemantauan Evaluasi

dibandingkan

Frekuensi Biasanya tiap 2 mgg/2 bln Biasanya tiap 6 bln – 1 thn sekali
sekali
Pelaksana Biasanya dilakukan oleh Dpt dilakukan oleh internal &
internal evaluator eksternal evaluator

Tujuan Biasanya bersifat terbatas Bersifat lebih luas & bahkan dpt
yakni hanya memperbaiki merevisi program secara
beberapa penyimpangan saja keseluruhan