Monitoring & Evaluasi

Program Kesehatan

dr. Ni Made Sri Nopiyani, MPH

PSKM, FK UNUD
 Tujuan Pembelajaran
• Untuk mengetahui perencanaan monitoring
dan evaluasi program kesehatan
• Untuk mengetahui implementasi monitoring
dan evaluasi program kesehatan
 Definisi Evaluasi
• Evaluasi merupakan proses untuk memberikan
nilai pada suatu intervensi dengan
mengumpulkan informasi yang valid dan
reliabel tentang intervensi tsb. secara
sistematis, dan dengan membuat
perbandingan, yang bertujuan untuk
membuat keputusan yang terinformasi.

Ovretveit, J (1998) Evaluating Health Interventions.

 Monitoring & Evaluasi
• Penilaian secara terus menerus/ kontinyu terhadap kemajuan
suatu program
• Untuk memastikan bahwa program berjalan sebagaimana
Monitoring mestinya untuk mencapai tujuan
• Untuk mendapatkan umpan balik secara teratur

• Penilaian secara periodik dimensi atau aspek tertentu dari program

yang sedang berlangsung maupun yang telah selesai (evaluasi proses &
evaluasi hasil)
• Untuk menilai kontribusi program terhadap perubahan
Evaluasi • Untuk menilai kebutuhan perbaikan, kelanjutan atau perluasan
program
 Perbedaan monitoring & evaluasi
Monitoring Evaluasi
Waktu? Terus menerus Periodik
Apa yang diukur? Aktivitas keseharian, Kemajuan dalam
sering fokus pada input, pencapaian outcomes &
proses, output impacts
Siapa yang Pihak internal Pihak internal & eksternal
terlibat?
Proses? Rapat rutin, laporan, Rapat khusus, dibutuhkan
review bulanan/ 3 pengambilan data
bulanan tambahan
Pengguna hasil? Pihak internal Pihak internal dan eksternal
Penggunaan hasil? Koreksi minor program Perubahan kebijakan,
strategi program, termasuk
penghentian program
The Basic Logic Model (Model Logika Dasar)
The W.K. Kellog Foundation

(Processes) Outcomes Impact

Inputs Outputs
Activities

Monitoring Evaluasi

6
 The Basic Logic Model (Model Logika Dasar)
The W.K. Kellog Foundation

• Inputs: Sumber daya yang

diinvestasikan/disediakan untuk pelaksanaan
program
– Contoh: SDM, finansial, sarana prasarana dan sumber
daya lainnya
• Processes/activities: Apa yang dilakukan oleh
program dengan sumber daya yang ada. Aktivitas
meliputi kegiatan, proses atau intervensi yang
ditujukan untuk mencapai hasil atau perubahan
yang diharapkan.
– Contoh: Pelatihan,penjangkauan
 The Basic Logic Model (Model Logika Dasar)
The W.K. Kellog Foundation

• Outputs: produk/hasil langsung dari implementasi

aktivitas program dapat meliputi jenis, level dan target
yang dicapai program
– Contoh: jumlah nakes yang dilatih
• Outcomes: Hasil jangka pendek & menengah dari
program pada tingkat populasi
– Contoh: perubahan pada pengetahuan, sikap dan perilaku
• Impact: perubahan fundamental yang diharapkan pada
masyarakat atau sistem sebagai hasil dari aktivitas
program
– Contoh:perubahan status kesehatan
 Monitoring & Evaluasi pada IPE 3

(Processes)
Inputs Activities
Outputs Outcomes Impact

9
 Fase-fase utama dalam evaluasi

Perencanaan (idealnya direncanakan

sejak perencanaan program)

Pengumpulan & analisis data

Pelaporan & utilisasi (penggunaan)

hasil evaluasi
 Mengapa perlu dilakukan evaluasi?
• Menyediakan informasi untuk pengembangan
program
• Mengetahui proses implementasi
• Mengetahui efektivitas program
• Mengetahui apakah program bisa diterapkan di
tempat lain - transferabilitas
• Membandingkan program serupa untuk
menentukan yang lebih baik
• Meningkatkan dasar bukti ilmiah dari suatu topik
• Akuntabilitas
 Dimensi-dimensi pokok
evaluasi program kesehatan

What (apa yang dievaluasi)? Evaluand

Why (mengapa evaluasi
dilaksanakan)?
Who for (untuk siapa evaluasi
dilakukan)?
How conducted (bagaimana
pelaksanaan evaluasi)?
How communicated and used
(bagaimana hasil
dikomunikasikan & digunakan?
Tujuan / pertanyaan evaluasi
Audiens
Pendekatan evaluasi mana yang
digunakan?
Metode pengumpulan data
Pelaporan
Utilisasi (penggunaan)
 Tujuan & Pertanyaan Evaluasi
• Tujuan evaluasi dikembangkan dengan
mempertimbangkan tipe evaluasi, kepentingan
pengguna, kriteria evaluasi yang digunakan
• Tujuan yang SMART:
– Specific: menggambarkan secara jelas dan terperinci
tujuan yang hendak dicapai
– Measurable: dapat didefinisikan dengan tepat sehingga
tidak terjadi pengukuran dan interpretasi yang ambigu
– Achievable: dapat dicapai oleh evaluasi
– Relevant: menghasilkan informasi yang dibutuhkan oleh
pemangku kepentingan
– Time bound: menjelaskan kapan perubahan tertentu
diharapkan akan terjadi
 Pertanyaan & Tujuan Evaluasi
Contoh Tujuan Evaluasi Contoh Pertanyaan Evaluasi
Evaluasi Proses
Untuk mengetahui implementasi Bagaimana program tersebut
program diimplementasikan?
Apakah program diimplementasikan sesuai
dengan rencana?
Untuk mengetahui cakupan program Apakah sasaran program telah terjangkau?
Untuk mengetahui faktor penghambat Apa faktor penghambat pelaksanan program?
implementasi program
Evaluasi Hasil
Untuk mengetahui efektivitas Apakah program efektif dalam mencapai
program dalam mencapai tujuan tujuan (jangka pendek, menengah dan
(jangka pendek, menengah & panjang?
panjang)
 Indikator dalam Monev

Process
(Activities) Outputs Outcomes Impact

Contoh Indikator Contoh Indikator

Proses: Contoh Indikator
Output: Outcome
•Pengembangan
materi KIE Seluruh anggota  Peningkatan
tentang Hipertensi keluarga binaan pengetahuan keluarga
dilakukan pada mendapatkan KIE angkat terkait dengan
bulan Maret 2017 tentang hipertensi hipertensi

Peningkatan kepatuhan
minum obat Hipertensi
pada keluarga angkat
yang menderita
hipertensi

.
 Rancangan evaluasi

•Apa cara terbaik untuk membentuk evaluasi secara

keseluruhan untuk menjamin bahwa data yang valid
& komprehensif dapat dikumpulkan?
•Desain evaluasi (Ovretveit, 2002):
1. Deskriptif
2. Audit
3. Single before and after
4. Comparative
5. Randomised controlled trial
6. Impact intervensi pada organisasi kesehatan terhadap :
organisasi/staff dan/atau klien/konsumen
16
 Rancangan evaluasi apa yang dapat
digunakan dalam IPE 3?
• Untuk evaluasi proses:
– Deskriptif: menggambarkan
– Audit: membandingkan dengan standar
• Untuk evaluasi hasil:
– Before – after: membandingkan keadaan sebelum
dan sesudah intervensi  data baseline harus
tersedia
– Comparative: membandingkan kelompok yang
diberikan intervensi dengan yang tidak
 Berbagai metode pengumpulan data ...

• Kuantitatif
– Data diukur & disajikan dalam bentuk numerik
• Kualitatif
– Data non-numerik disajikan terkait dengan
karakteristik atau kualitasnya
• Kombinasi metode kuantitatif & kualitatif

18
 Bagaimana menentukan metode
pengumpulan data?

Tujuan & pertanyaan evaluasi akan memandu

pemilihan metode pengumpulan data
• Pertanyaan evaluasi akan menentukan data apa yang
diperlukan untuk menjawab pertanyaan tsb. Dan
metode apa yang paling sesuai untuk mengumpulkan
data tsb.
Tentukan sumber data, cara pengumpulan,
pengolahan serta analisis data

19
 Perbandingan metode kualitatif & kuantitatif
Kualitatif Kuantitatif
Desain Umum Spesifik, jelas, terinci
Fleksibel Ditentukan secara mantap sejak
Berkembang dalam proses awal
penelitian Menjadi pegangan langkah demi
langkah

Tujuan Memperoleh pemahaman Menunjukkan hubungan antara

makna variabel
Mengembangkan teori Mentest teori
Menggambarkan realitas yang Mencari generalisasi yang
kompleks mempunyai nilai prediktif

Teknik penelitian Observasi Eksperimen, survey, observasi

Wawancara terbuka terstruktur
Wawancara terstruktur
 Perbandingan metode kualitatif & kuantitatif

Kualitatif Kuantitatif

Instrumen Manusia Test, angket, wawancara,

penelitian Buku Catatan skala
Recording Komputer, Kalkulator

Data Deskriptif Kuantitatif

Dokumen pribadi, catatan Hasil pengukuran berdasarkan
lapangan, variabel yang
ucapan responden, dokumen, dioperasionalkan
dll dengan menggunakan
instrumen
Sampel Kecil Besar
Tidak representatif Representatif
Purposif Sedapat mungkin random
 Perbandingan metode kualitatif & kuantitatif
Kualitatif Kuantitatif
Analisis Terus menerus sejak awal sampai Pada taraf akhir setelah
akhir penelitian pengumpulan data selesai
Induktif Deduktif
Mencari pola, model, tema Menggunakan statistik
Hubungan Empati, akrab Berjarak, sering tanpa kontak
dengan Hubungan jangka lama langsung
responden Hubungan jangka pendek

Usulan Singkat Luas dan terinci

desain Sedikit literatur
Pendekatan secara umum
Masalah yang diduga relevan
Tidak ada hipotesis
Fokus penelitian sering ditulis
setelah ada data yang dikumpulkan
dari lapangan
Banyak literatur yang berhubungan
dengan masalah
Prosedur yang spesifik dan terinci
langkah-langkahnya
Masalah diuraikan dan ditujukan
kepada fokus tertentu
Hipotesis dirumuskan dengan jelas
dan ditulis terinci dan lengkap sebelum
terjun ke lapang
 Metode pengumpulan data
(Ovretveit, 2002)

1. Studi dokumentasi/ Review Dokumen:

– Data sekunder: data yang dikumpulkan untuk tujuan lain
(bukan untuk kepentingan evaluasi)
– Misalnya: data jumlah penduduk, data cakupan ANC, notulensi
rapat, catatan medis pasien
– Keunggulan: relatif murah, dapat menyediakan informasi bagi
latar belakang, dapat menghasilkan info yang tidak muncul
dengan metode lain
– Kelemahan: informasi tidak tersedia, tidak lengkap, tidak
akurat, ketinggalan jaman, memerlukan waktu lama untuk
menumpulkan, mereview dan menganalisis banyak dokumen
– Periksa: bagaimana data tsb. dikumpulkan dan dicatat 
• Mengecek validitas & reliabilitas
• Bisa dibandingkan/tidak
• Memutuskan data bisa digunakan/tidak
 Metode pengumpulan data
(Ovretveit, 2002)

2. Observasi
• Mengumpulkan data saat suatu kejadian
berlangsung
• Data tentang perilaku
• Observer independen atau partisipan
• Dengan atau tanpa pedoman observasi
• Field notes (catatan lapangan): sejujur & sefaktual mungkin
• Kekuatan: secara langsung melihat apa yang orang kerjakan
(bukan hanya yang mereka katakan), Tidak bergantung
kepada kesediaan orang dalam memberikan informasi
• Kelemahan: rentan terhadap observer bias, Hawthorne
effect (berperilaku lebih baik krn tahu diawasi, tidak dapat
menjelaskan mengapa orang berperilaku tertentu)
 Metode pengumpulan data
(Ovretveit, 2002)

3. Wawancara
• Proses memperoleh informasi antara antara pewawancara
dan yang diwawancarai dengan atau tanpa pedoman
• In-depth interview (wawancara mendalam) data
kualitatif
• Kekuatan:
– Dapat meningkatkan pemahaman mengenai pengalaman, pemahaman,
perasaan orang pada setting mereka dengan bahasa mereka.
• Kelemahan:
– Tergantung keterampilan pewawancara
– Bias pewawancara
– Responden memberi jawaban yang ‘sesuai norma’
– Isu etika  isu sensitif, pribadi, membangkitkan trauma
– Memerlukan waktu dan biaya yang relatif besar
 Metode pengumpulan data (Ovretveit, 2002)
4. Focus group discussion
• Sekelompok orang (6 -10 orang) berdiskusi tentang suatu
topik dengan dipandu oleh fasilitator/moderator
• Data kualitatif
• Kekuatan:
– Mampu memperoleh lebih banyak informasi secara lebih
cepat dari sekelompok orang
• Kelemahan:
– rentan terhadap bias pewawancara, dapat didominasi oleh
beberapa orang, data analisis perlu banyak waktu dan
persiapan yang matang, informasi tidak valid pada level
individu & tidak dapat digeneralisir pada kelompok lain
FGD
 Metode pengumpulan data
(Ovretveit, 2002)

5. Survey kuesioner
• Wawancara atau self administered (diisi sendiri oleh
responden)
• Untuk mengumpulkan data dengan topik yang
dimengerti oleh populasi
• Kelebihan:
– Responden memiliki waktu untuk berpikir & merespon secara anonim
– Cepat, relatif murah, analisis mudah
• Kekurangan:
– Susah memperoleh response rate yg tinggi (>50%)
– Kesalahpahaman pertanyaan, respon tidak komplit
– Tidak bisa menggali temuan penting
 Metode pengumpulan data
(Ovretveit, 2002)

6. Metode pengukuran
– Misalnya: pengukuran antopometri,
pengukuran tekanan darah, pengukuran kadar
Hb
 Bagaimana menentukan metode
pengumpulan data?

Tujuan & pertanyaan evaluasi akan memandu

pemilihan metode pengumpulan data
Pertanyaan evaluasi harus ditetapkan untuk
menentukan data apa yang diperlukan untuk
menjawab pertanyaan tsb. Dan metode apa yang
paling sesuai untuk mengumpulkan data tsb.
Tentukan sumber data, cara pengumpulan,
pengolahan serta analisis data

30
 Analisis Data Kuantitatif
• Deskriptif:
Data digambarkan secara:
– Numerik: jumlah, persentase, rerata, median
– Grafis: tabel atau grafik
• Inferensial:
Dilakukan uji hipotesa (statistik):
– Uji parametrik
– Uji non-parametrik
 Contoh penyajian data kuantitatif

Apakah pernah mendapatkan informasi mengenai

HIV-AIDS dari teman yang menjadi anggota
KSPAN?
100.00% 90.10%
80.00%
60.00% 49.70% 50.30%
40.00%
20.00% 9.90%
0.00%
Sekolah dengan KSPAN aktif Sekolah dengan KSPAN tidak
aktif/ tidak ada ekskul KSPAN
p< 0.001 Ya Tidak
 Analisis Data Kualitatif
• Thematic analysis
– Transkripsi hasil wawancara
– Membaca transkrip
– Koding
– Penentuan kategori, tema
 Contoh Penyajian Data Kualitatif
• Bagi sebagian sekolah, dana masih menjadi
faktor penghambat bagi mereka untuk
melaksanakan kegiatan secara optimal.
“sekarang itu yang perlu diusulkan ke KPA provinsi,
masalah dana untuk KSPAN, jadi betul-betul kami
tidak ada dana, karena kami nggak bisa mungut
apa-apa dari orangtua siswa (itv_dks_na)
 Pelaporan dan Penggunaan Hasil
Format laporan monitoring
• Latar belakang
• Deskripsi Program
• Pertanyaan monitoring
• Tujuan Monitoring
• Manfaat Monitoring
• Tempat dan Waktu Monitoring
• Metode Pengumpulan, Pengolahan
dan Analisis Data
• Hasil dan Pembahasan
• Simpulan
• Saran
• Timeline, Penggunaan Dana dan
Pembagian Tugas Personel
• Instrumen yang digunakan
Format laporan evaluasi
• Latar belakang
• Deskripsi Program
• Pertanyaan Evaluasi
• Tujuan Evaluasi
• Manfaat Evaluasi
• Tempat dan Waktu Evaluasi
• Metode Pengumpulan, Pengolahan
dan Analisis Data
• Hasil dan Pembahasan
• Simpulan
• Saran
• Timeline, Penggunaan Dana dan
Pembagian Tugas Personel
• Instrumen yang digunakan
 Etika dalam Evaluasi
• Do not harm!
• Etik terkait dengan:
– Informed consent (aktif & pasif)
– Menjaga privacy (mencegah invasi terhadap kehidupan pribadi
peserta),
– Menjaga confidentiality (menjaga kerahasiaan peserta dengan
menyamarkan identitas peserta dalam analisis dan pelaporan),
– Anonimity (tidak mencantumkan nama, alamat, atau identitas lain)
– Juga terkait dengan integritas evaluator (kode etik profesi):
menganalisis dan melaporkan hasil secara beretika, menghindari
penyalahtafsiran hasil evaluasi, plagiarisme, transparansi dan
penghargaan untuk partisipan