MODUL EVALUASI PROGRAM

(BAGIAN MODUL SISTEM PELAYANAN KESEHATAN PRIMER)

Tim Penyusun:

TIM MODUL SISTEM PELAYANAN KESEHATAN PRIMER

Diterbitkan Oleh:

Medical Education Unit

Fakultas Kedokteran

Universitas Indonesia

Jalan Salemba Raya No.6 Jakarta Pusat

Phone/Fax : (021) 3908643

Email : meu.fkui@gmail.com

Hak cipta dipegang oleh Medical Education Unit Fakultas Kedokteran Universitas Indonesia

Dilarang mengutip, menyalin, mencetak dan memperbanyak isi buku dengan cara apapun tanpa izin tertulis dari
penulis/penerbit.

Dicetak di Jakarta, Indonesia

ISBN : 978-602-409-369-3
LATAR BELAKANG

Modul evaluasi program ini merupakan bagian dari modul sistem program kesehatan primer di Fakultas
Kedokteran Universitas Indonesia. Modul evaluasi program ini menerapkan konsep lingkaran pemecahan
masalah (problem solving cycle) dalam mengevaluasi suatu program kesehatan dari intitusi program kesehatan,
baik di Puskesmas, Rumah Sakit, maupun Klinik. Proses pembelajaran yang diselenggarakan berupa
merencanakan, menyelenggarakan dan menilai pelaksanaan program kesehatan (problem solving cycle) pada
sarana program kesehatan dasar dengan memperhatikan kerjasama lintas program dan lintas sektoral.

TUJUAN

Setelah selesai mengikuti materi ini, peserta memiliki kompetensi melakukan, membuat evaluasi program dan
plan of action (rencana kerja), yang dapat diterapkan selama bekerja di Puskesmas, Rumah Sakit, Klinik.

CAPAIAN PEMBELAJARAN

Bila dihadapkan dengan masalah kesehatan dan program kesehatan di rumah sakit, puskesmas atau klinik di
layanan tingkat dasar/sesuai target kompetensi dokter, peserta mampu:

1. Menganalisis situasi kesehatan masyarakat dan program kesehatan pada sarana program kesehatan
primer

2. Mampu menyelesaikan permasalahan kedokteran/kesehatan dengan cara melakukan problem solving

cycle melalui tahap-tahap identifikasi masalah, identifikasi penyebab, membuat rencana solusi,
melaksanakan, dan menilai hasil solusi

3. Mampu merencanakan, menyelenggarakan dan menilai pelaksanaan upaya kesehatan dan program
kesehatan pada sarana program kesehatan primer dengan memperhatikan kerjasama lintas program dan
lintas sektoral

4. Membuat rekomendasi dan rencana kerja yang bisa diterapkan selama bekerja di puskesmas, rumah
sakit, klinik
EVALUASI PROGRAM

Program kesehatan memiliki tujuan yang luas, termasuk upaya promosi kesehatan, pencegahan atau kontrol
penyakit, pencegahan cedera dan disabilitas, tatalaksana penyakit, serta rehabilitasi. Dalam konteks program
yang bersentuhan dengan pasien, komunitas dan masyarakat luas, perencanaan dan pelaksanaan program
kesehatan menjadi lebih kompleks. Program kesehatan yang sukses dijalankan di sebuah daerah atau kondisi
dapat saja gagal pada daerah dan kondisi lainnya. Banyak faktor yang dapat memengaruhi hal tersebut, seperti
keterbatasan anggaran, sosioekonomi, demografi, geografi, hubungan interpersonal hingga pola kinerja dalam
organisasi. Tuntutan dari pengelola program, terutama pada program yang bersifat vertikal, untuk memenuhi
pencapaian target dengan indikator yang sudah ditetapkan juga menjadikan beberapa program kesehatan
kompleks untuk dijalankan dan dinilai.

Bertambah rumitnya implementasi program kesehatan menuntut adanya upaya pemantauan dan evaluasi
terhadap pelaksanaan program tersebut agar hasil yang diharapkan dapat dicapai secara optimal. Oleh
karenanya, evaluasi program yang kuat menjadi sangat penting. Meski demikian, tidak ada bentuk evaluasi
program yang saklek, mutlak harus dipakai, atau yang paling ’benar’. Terdapat banyak pendekatan dalam
melakukan evaluasi program dan masing-masing pendekatan memiliki kelebihan dan kekurangannya tersendiri.
Hal yang terpenting dalam evaluasi program adalah kesesuaian dan kerangka berpikir yang logis dalam
menganalisis antara tujuan program, penentuan indikator atau target, dan penilaian capaian sehingga dapat
memberikan umpan balik berupa saran atau rekomendasi terhadap pelaksanaan program kesehatan tersebut
selanjutnya.

Evaluasi

Menurut The American Public Association, evaluasi adalah suatu proses untuk menentukan nilai atau jumlah
keberhasilan dari pelaksanaan suatu program dalam mencapai tujuan yang telah ditetapkan. Sedangkan menurut
The International Clearing House on Adolescent Fertility Control for Population Options, evaluasi adalah suatu
proses yang teratur dan sistematis dalam membandingkan hasil yang dicapai dengan tolok ukur atau standar
yang telah ditetapkan, dilanjutkan dengan pengambilan kesimpulan serta penyusunan saran-saran, yang dapat
dilakukan pada setiap tahap dari pelaksanaan program.

Program dapat didefinisikan secara beragam. Secara umum, program dapat diartikan sebagai serangkaian
aktivitas yang terorganisir dan didukung oleh sumber daya tertentu, baik manusia, finansial ataupun material,
untuk mencapai hasil spesifik yang diinginkan. Program kesehatan berarti segala program yang berkaitan
dengan upaya kesehatan yang dilakukan oleh sekelompok orang atau institusi, baik terhadap individu,
kelompok, maupun populasi secara umum.

Evaluasi program berdasarkan pendekatan sistem

Untuk dapat mengevaluasi sebuah program dengan baik, perlu pengenalan terhadap apa yang dimaksud dengan
sistem, unsur apa yang ada di dalam sistem, dan bagaimana melakukan evaluasi berdasarkan pendekatan sistem.

Konsep unsur sistem yang dominan dan mendasar adalah konsep input-procces-output (IPO). Konsep ini
kemudian berkembang sedemikian rupa sehingga memunculkan unsur-unsur baru di dalam sistem yang dikenal
sebagai outcome (dampak), feedback (umpan balik), dan environment (lingkungan) (Lihat Tabel 1).

Tabel 1 Unsur-unsur dalam sistem

Unsur Definisi
Masukan (input) Kumpulan bagian atau elemen yang terdapat dalam
sistem dan yang diperlukan untuk dapat berfungsinya
sistem tersebut. Dalam sistem program kesehatan,
masukan terdiri dari tenaga, dana, metoda,
sarana/material –yang dikenal dengan istilah 4M (man,
money, material, and method).
Proses (Process) Kumpulan bagian atau elemen yang terdapat dalam
sistem dan yang berfungsi untuk mengubah masukan
menjadi keluaran yang direncanakan. Dalam sistem
program kesehatan terdiri dari perencanaan,
pengorganisasian, pelaksanaan dan penilaian.
Keluaran (Output) Kumpulan bagian atau elemen yang dihasilkan dari
berlangsungnya proses dalam sistem. Contoh: Keluaran
dalam program BIAS Campak adalah cakupan program
di suatu wilayah.
Dampak (Impact) Akibat yang dihasilkan oleh keluaran suatu sistem.
Biasanya dilakukan pengamatan dalam jangka panjang
atau kerangka yang lebih luas untuk menilai dampak.
Lingkungan Dunia di luar sistem yang tidak dikelola oleh sistem,
(environment) tetapi mempunyai pengaruh besar terhadap sistem.

Keenam unsur sistem ini saling berhubungan dan mempengaruhi satu sama lain. Dalam skema sederhana,
keenam unsure tersebut dapat digambarkan seperti pada Gambar 1.

Gambar 1. Skema sederhana keberkaitan antar unsur di dalam sistem

Evaluasi Program berdasarkan pendekatan sistem adalah suatu proses yang teratur dan sistematis dalam
membandingkan hasil yang dicapai dengan tolok ukur atau standar dari masing-masing indikator yang telah
ditetapkan dari unsur keluaran (output), dilanjutkan dengan menemukan kausa (penyebab) pada unsur lain dari
sistem tersebut, kemudian dilakukan pengambilan kesimpulan serta penyusunan saran-saran yang akan
memperbaiki pencapaian sistem itu.

LANGKAH-LANGKAH EVALUASI PROGRAM BERDASARKAN PENDEKATAN SISTEM

1. Analisis Situasi Program Kesehatan

Analisis situasi dapat dilakukan dengan melakukan observasi, pengamatan program kesehatan, mengumpulkan
data, dapat diperoleh melalui pengumpulan data primer (wawancara dengan pelaksana
program/dokter/perawat,bidan) dan/atau melalui data sekunder (misalkan dari aktivitas monitoring/laporan
bulanan/tahunan). Data primer dapat dikumpulkan menggunakan metode apapun, termasuk kuesioner, FGD,
wawancara, ceklist dsb.

2. Mengidentifikasi dan mendefinisikan masalah

Untuk mendefinisikan masalah, kita perlu melihat dan mengetahui standar program yang telah ditentukan.
Indikator standar program ini kemudian dibandingkan dengan program yang terrealisasi untuk menemukan
masalah dalam implementasi standar program terssbut. Jika dibutuhkan, terutama jika standar yang ditetapkan
sebelumnya tidak sesuai dengan kebutuhan, evaluator diizinkan untuk membuat atau menyesuaikan dengan
standar nasional. Tentu saja, standar tersebut harus mengacu kepada literatur.

3. Menentukan prioritas masalah

Karena berbagai keterbatasan, maka daftar masalah yang sudah diperoleh harus dikerucutkan menjadi prioritas
masalah yang paling penting diselesaikan. Ada berbagai metode pemilihan prioritas. Panduan ini akan
menggunakan dua metode, matriks kriteria I×T×R dan metode matriks USG ; dapat dipilih diantara
keduanya.
Matriks Kriteria I×T×R

I×T×R terdiri atas Importance, Technical Feasibility, dan Resources Availability. Importance diukur
menggunakan penjumlahan dari beberapa parameter, yaitu Prevalence (besarnya masalah), Severity (besarnya
akibat yang ditimbulkan), Rate of Increase (kenaikan besar masalah), Degree of Unmet Need (derajat kebutuhan
masyarakat yang tidak terpenuhi), Social Benefit (keuntungan sosial jika masalah diselesaikan), Public Concern
(kepedulian masyarakat), dan Political Climate (suasana politik). Semua parameter ini memiliki aspek yang
mungkin tumpang tindih, sehingga dengan kesepakatan tim, tidak perlu dimasukkan semuanya. Parameter
tersebut masing-masing diberi skor 1-5. Nilai akhir adalah perkalian dari ketiga aspek I, T, dan R.

Penetapan masalah dengan teknik criteria matriks

a. Pentingnya masalah (I = importancy)

b. Kelayakan teknis (T = technical feasibility)
c. Sumber daya yang tersedia (R = resources availability)
d. Masalah yang dipilih sebagai prioritas adalah yang memiliki nilai I x T x R yang tertinggi.

Ad. a. Pentingnya masalah (I = importancy) diukur berdasarkan:

 Besarnya masalah (P = prevalence)

 Akibat yang ditimbulkan masalah (S = severity)
 Kenaikan besarnya masalah (RI = rate of increase)
 Derajat keinginan masyarakat yang tidak terpenuhi (DU = degree of unmet need)
 Keuntungan social karena selesainya masalah (SB = social benefit)
 Kepedulian masyarakat (PB = public concern)
 Suasana atau iklim politik (PC = political climate)
 I = P + S + RI + DU + SB + PB + PC

Ad. b. Kelayakan teknis (T = technical feasibility)

Makin layak teknologi yang tersedia dan yang dapat dipakai untuk mengatasi masalah, maka makin
diprioritaskan masalah tersebut.

Ad. c. Sumber daya yang tersedia (R = resources availability)

Makin tersedia sumber daya yang dapat dipakai untuk mengatasi masalah, maka makin diprioritaskan
masalah tersebut.

Untuk semua variable (unsur-unsur I, T dan R) diberikan nilai antara 1 (tidak penting) sampai dengan 5
(sangat penting), misalkan untuk variable P (prevalensi), prevalensi yang paling tinggi diberikan nilai yang
tertinggi (5), sedangkan prevalensi terendah diberi nilai 1.
 No. Daftar Masalah Importance (P+S+RI+DU+SB+PB+PC) T R I×T×R

P S RI DU SB PB PC Sum

KRITERIA MATRIKS USG

Penetapan masalah dengan teknik criteria matriks

a. Seberapa mendesak isu itu harus dibahas dan diselesaikan (U = Urgency)

b. Seberapa serius, kaparahan akibat yang ditimbulkan jika tidak diselesaikan (S = Severity)
c. Seberapa besar kemungkinan akan memburuk jika isu atau masalah dibiarkan saja (G = Growth)
 Skor = U + S + G
Untuk semua variable (unsur-unsur U, S dan G) diberikan nilai antara 1 (tidak penting) sampai dengan 5
(sangat penting), misalkan untuk variable U (Urgensi), urgensi yang paling tinggi diberikan nilai yang tertinggi
(5), sedangkan urgensi terendah diberi nilai 1.

Example of USG criteria

• Peraturan Menteri Kesehatan Nomor 44 Tahun 2016 tentang
Pedoman Manajemen Puskesmas

Keterangan:
U = urgency (seberapa mendesak isu tersebut harus dibahas)
S = seriousness (seberapa serius dampak yang diakibatkan isu
tersebut)
G = growth (seberapa besar kemungkinan isu tersebut semakin
memburuk apabila dibiarkan)
4. Membuat kerangka konsep yang menghubungkan masalah diprioritaskan dengan kemungkinan
penyebab
Setelah memilih salah satu masalah spesifik yang dianggap paling penting, maka masalah tersebut perlu
dieksplorasi untuk mencari kemungkinan penyebab. Perlu diperhatikan bahwa kerangka konsep yang akan
dibuat harus melibatkan semua hubungan sebab-akibat secara teori, dan bukan sekedar aspek yang kita curigai
secara personal sebagai penyebab. Hal ini untuk memastikan bahwa tidak ada unsur yang terlewat, walaupun
ada kemungkinan bahwa aspek tersebut tidak sesuai untuk kasus saat ini. Penggunaan istilah yang netral, alih-
alih negatif, juga penting dalam pembentukan kerangka ini. Sebagai contoh, gunakan istilah “pendanaan” dan
bukan “tidak ada dana” untuk menyebutkan salah satu kemungkinan penyebab masalah.

Dua metode yang akan dijelaskan dalam panduan ini adalah diagram pohon masalah dan tulang ikan; dapat
dipilih diantara keduanya.

Perlu diperhatikan bahwa setiap penyebab masalah dapat saling berhubungan. Oleh karena itu, hubungan ini
harus dapat ditemukan, dan jika memungkinkan, beberapa penyebab dapat dikelompokkan dan akar penyebab
dicari. Hal ini harus teridentifikasi dalam diagram manapun yang digunakan.

Diagram Pohon Masalah

Prinsip dalam pembuatan diagram pohon masalah adalah terus bertanya MENGAPA sampai elemen paling
dasar ditemukan. Diagram ini dapat berupa pohon vertikal maupun horizontal. Contoh dapat diamati di bawah.
Diagram Tulang Ikan atau Ishikawa

Diagram tulang ikan adalah bentuk yang lebih terstruktur dari diagram pohon, di mana setiap penyebab
digolongkan menurut kriteria tertentu. Salah satu kategori generik adalah Man (sumber daya manusia), Material
(alat dan sarana), Method (proses, SOP), Material (bahan habis pakai, komoditas), Money (biaya atau dana),
dan Environment (pengaruh lingkungan). Tidak semua M harus digunakan dalam setiap kasus. Metode lain
adalah penggolongan departemen dalam rumah sakit, seperti Farmasi, Dokter, Ners Station, dsb untuk masalah
pemberian obat yang tepat, atau dibagi berdasarkan struktur sebuah program (untuk evapro), seperti Input,
Proses biasanya di isi komponen POAC (Planning, Organizing, Actuating, Controlling), Lingkungan, dan
Umpan Balik. Contoh dapat diamati di bawah.
5. Mengidentifikasi dan mendefinisikan serta prioritas penyebab masalah
Pada prinsipnya, penyebab masalah dapat diidentifikasi menggunakan tahap yang sama dengan
identifikasi masalah, yaitu dengan melihat adanya perbedaan antara indikator dan pencapaian di aspek input,
proses, dan lingkungan. Selisih ini yang kemudian didefinisikan sebagai penyebab masalah yang harus
diselesaikan. Oleh karena itu, pengamatan mendalam terhadap indikator yang telah ditetapkan oleh pelaksana
layanan menjadi penting, dan jika diperlukan, kita dapat membuat indikator yang sama sekali baru dengan
literature yang sesuai, apalagi jika data yang tersedia dari monitoring tidak mencukupi. Jika dibutuhkan,
penyebab masalah dapat diprioritaskan untuk menyempitkan fokus pencarian alternatif penyelesaian
masalah, menggunakan matriks I×T×R atau USG yang sudah dibahas sebelumnya.

6. Membuat alternatif penyelesaian masalah

Untuk dapat mencari akar penyebab masalah, maka beberapa alternatif solusi dapat diajukan. Karena pihak
yang paling mengerti pelaksanaan program atau layanan adalah pelaksana itu sendiri, maka penting untuk
mendapatkan sudut pandang mereka terkait hal ini. Wawancara atau FGD dapat menjadi metode untuk
mendapatkan pandangan dari pelaksana. Sumber lainnya dapat diperoleh dari para ahli atau literatur ilmiah.

7. Membuat prioritas alternatif penyelesaian masalah

Solusi yang telah diputuskan di atas harus diprioritaskan sesuai dengan kemampuan laksana dan pengaruh
terhadap akar penyebab, jika kondisi membatasi kemampuan tim untuk melaksanakan semuanya. Metode yang
digunakan dalam panduan ini adalah matriks kriteria (M×I×V)/C.

(M×I×V)/C terdiri atas Magnitude (besarnya kemampuan solusi dalam mengatasi masalah), Importance
(seberapa permanen solusi tersebut mampu bertahan), Vulnerability (seberapa cepat solusi tersebut mampu
mempengaruhi masalah), dan Cost (seberapa besar biaya implementasi masalah tersebut). Keempat komponen
diberi skor 1-5, dengan komponen M, I, dan V diberikan skor tinggi jika kemampuan mempengaruhinya besar,
sedangkan komponen C diberi skor tinggi seiring dengan peningkatan biaya. Kemudian prioritas (P) dihitung
dengan mengalikan M, I, V sebagai bagian dari Effectivity dan dibagi dengan C yang merupakan komponen
Efficiency.

P (Prioritas) Pemecahan Masalah = (M x I x V) / C

M = Magnitude

Besarnya masalah yang dapat diselesaikan. Makin besar masalah yang dapat diatasi makin tinggi
prioritas jalan keluar tersebut.

I = Importancy

Pentingnya jalan keluar dikaitkan dengan kelanggengan penyelesaian masalah. Makin lama bebas
masalah, makin penting jalan keluar tersebut.

V = Vulnerability

Sensitivitas jalan keluar, dikaitkan dengan kecepatan jalan keluar untuk mengatasi masalah. Makin cepat
teratasi, makin sensitive jalan keluar tersebut.
C = Cost

Ukuran efisiensi alternatif jalan keluar. Nilai efisiensi ini biasanya dikaitkan dengan biaya (cost) yang
diperlukan untuk melaksanakan jalan keluar. Makin besar biaya yang diperlukan, makin tidak efisien
jalan keluar tersebut. Berikan angka 1 (biaya paling sedikit) sampai dengan angka 5 (biaya paling besar).

Nilai prioritas (P) untuk setiap alternatif jalan keluar dihitung dengan membagi hasil perkalian nilai M x I x V
dengan C. Jalan keluar dengan nilai P tertinggi adalah prioritas jalan keluar terpilih.

No. Alternatif Penyelesaian Masalah Effectivity C 𝑀×𝐼×𝑉

𝐶
M I V

8. Menyusun proposal Rekomendasi

Untuk modul ini, evaluasi program selesai dengan membuat kesimpulan berupa ringkasan dan rekomendasi
yang konkrit/mampu laksana, bagaimana solusi yang ditawarkan dapat dilaksanakan

- Dari pemecahan masalah terbaik, dibuat proposal lengkap, yang terdiri dari:.
a. Latar belakang

b. Tujuan

c. Metode atau bentuk kegiatan program

d. Sasaran

- Tentukan cara membuat pengukuran keberhasilan ketika rekomendasi diterapkan

- Harus diingat bahwa dalam membuat proposal rekomendasi harus selalu menerapkan metoda 5W &
1H
- 5W
Why Mengapa perbaikan harus dilakukan?

What Apa rencana perbaikannya?

Where Dimana lokasi perbaikan akan dilakukan?

When Kapan (rentang waktu) dilakukannya perbaikan?

Who Siapa yang bertanggung jawab?

- H (how)
Ada beberapa jenis penerapan dalam mengajukan pertanyaan h (How) yang pada dasarnya semua
benar dan bisa digunakan.
 a. Menggunakan satu H Bagaimana cara melaksanakan perbaikan?
b. Menggunakan dua H
How Bagaimana cara melaksanakan perbaikan?

How much Berapa besar hasil yang akan dicapai setelah perbaikan?

c. Menggunakan tiga H
How Bagaimana cara melaksanakan perbaikan?

How much effort Berapa besar daya upaya atau usaha yang telah dilakukan dalam perbaikan
ini?

How much benefit Berapa nilai hasil yang akan dicapai setelah perbaikan ini?

Daftar Pustaka

1. Azwar A. Pengantar administrasi kesehatan. Edisi 3. Jakarta: Binarupa Aksara. 1996.

2. Arief MR. Penilaian program kesehatan jiwa periode 2003 di Puskesmas Cengkareng, Jakarta Barat. Jakarta:
Departemen Ilmu Kedokteran Komunitas FKUI. 2004. Tidak dipublikasikan.
3. Hassarief MI. Penilaian program pengelolaan obat di Puskesmas Kecamatan Pulogadung Periode Januari-
Juli 2006. Jakarta: Departemen Ilmu Kedokteran Komunitas FKUI. 2006. Tidak dipublikasikan.
4. Kadir A, Larasati A, Utami DM, Hardian FS, Purwanto HPA, Chandra JR, et al. Evaluasi program
kunjungan rumah Puskesmas Tanah Sareal Tahun 2015. Jakarta: Departemen Ilmu Kedokteran Komunitas
FKUI. 2015. Tidak dipublikasikan.
5. Maselia. Penilaian program BIAS campak periode April 2006 di Puskesmas Kelurahan Pulogadung, Jakarta
Timur. Jakarta: Departemen Ilmu Kedokteran Komunitas FKUI. 2006. Tidak dipublikasikan
6. Pyzdek T. The Six Sigma Handbook. Jakarta: Penerbit Salemba Empat. 2002.
7. US Department of Health and Human Services, Centers for Disease Control and Prevention. Framework for
program evaluation in public health. Atlanta: Centers for Disease Control and Prevention. 1999.
8. US Department of Health and Human Services, Centers for Disease Control and Prevention. Introduction to
program evaluation for public health programs: a self-study guide. Atlanta: Centers for Disease Control and
Prevention. 2011.