Evaluasi Sistem

Surveilans
DEVI OCTAVIANA, S.SI., M.KES
MASALAH UMUM SURVEILANS

 Data sering tidak tepat waktu

 Data tidak lengkap
 Data tidak representatif
FAKTOR YANG MEMPENGARUHI KUALITAS DATA
 Mengumpulkan informasi tentang terlalu banyak penyakit dan kondisi
 Kemampuan staf rendah:
 tidak tahu bagaimana penggunaan data
 tidak melihat surveillans sebagai hal yang dapat memenuhi kebutuhan manajerial
dan program
 Data hanya ditabulasi, jarang dianalisis atau diinterpretasikan untuk tujuan spesifik
penyediaan informasi yang diperlukan bagi kepentingan kesehatan masyarakat
 Kurangnya keseragaman dan adanya kompleksitas bentuk dan prosedur administratif
 menimbulkan kebingungan:
 siapa yang melaporkan data,
 apa dan bagaimana bentuk pelaporan
 kepada siapa mesti dilaporkan
 PENGERTIAN EVALUASI
 Evaluasi adalah upaya yang sistematik dan objektif, dalam
melihat relevansi, adekuasi, efektivitas dan efisiensi dari
suatu program/sistem pelayanan kesehatan atau
komponen program/ sistem pelayanan kesehatan untuk
melihat apakah tujuan dari program/ sistem pelayanan
kesehatan tersebut tercapai
 Evaluasi digunakan untuk mengukur kualitas dan
integritas dari suatu program/sistem pelayanan
kesehatan secara bertahap terhadap capaian/kinerja
secara menyeluruh. (WHO, 2010)
 Secara garis besar dapat diketahui bahwa evaluasi
merupakan proses atau kegiatan membandingkan
antara hasil yang dicapai dengan rencana yang telah
ditentukan
 RUANG LINGKUP EVALUASI
1. Penilaian terhadap masukan
Penilaian terhadap masukan (input) ialah menyangkut pemanfaatan berbagai
sumber daya baik tenaga (man), dana (money), sarana-prasarana (material and
machines) maupun metode (methode) (Azwar, 2008; Wiyono, 2000).
2. Penilaian terhadap proses
Penilaian terhadap proses (process) lebih dititikberatkan pada pelaksanaan program,
apakah sudah sesuai dengan rencana yang telah ditetapkan atau tidak.
Proses yang dimaksud disini mencakup semua tahap administrasi, mulai dari tahap
perencanaan, pelaksanaan serta penilaian (monitoring dan evaluasi) program
(Azwar, 2008; Wiyono, 2000).
3. Penilaian terhadap keluaran
Penilaian terhadap keluaran (output) ialah penilaian terhadap hasil
yang dicapai dari dilaksanakannya suatu program (Azwar, 2008;
Wiyono, 2000).
4. Penilaian terhadap dampak
Penilaian terhadap dampak (impact) suatu program mencakup
pengaruh yang ditimbulkan dari dilaksanakannya suatu program
(Azwar, 2008; Wiyono, 2000).
 TUJUAN EVALUASI
Supriyanto (2003) menyatakan bahwa pada dasarnya evaluasi dilakukan
dengan tujuan sebagai berikut:
1. Sebagai alat untuk memperbaiki pelaksanaan kebijakan dan perencanaan
program yang akan datang.
2. Sebagai alat untuk memperbaiki alokasi sumber dana, sumber daya dan
manajemen (resources) saat ini serta dimasa datang.
3. Memperbaiki pelaksanaan perencanaan kembali suatu program antara lain
dengan kegiatan mengecek relevansi program, mengukur kemajuan
terhadap target yang direncanakan secara terus menerus serta menentukan
sebab dan faktor di dalam maupun di luar yang mempengaruhi pelaksanaan
program.
 CARA EVALUASI

Dalam menilai dalam suatu evaluasi biasanya

dilakukan dengan cara:
 i) melakukan perbandingan dengan nilai standar,
 ii) merujuk pada tujuan evaluasi dan
 iii) memahami mekanisme yang terjadi pada
saat evaluasi.
 EVALUASI SURVEILANS EPIDEMIOLOGI

 Menjamin bahwa permasalahan kesehatan dipantau secara efektif

dan efisien
 Mengetahui kualitas informasi yang dihasilkan oleh sistem surveilans
 Mengetahui peran dan dampak surveilans dalam menunjang tujuan
program kesehatan dan pembuatan kebijakan
 Mengetahui kelebihan dan kekurangan sistem surveilans yang sedang
berjalan
 Mengetahui manfaat surveilans bagi stakeholder
 METODOLOGY

 Jenis: penelitian evaluasi

 Kualitatif dan kuantitatif
 Informan: petugas surveilans
 Pengumpulan data: indepth interview, wawancara dan
study dokumen
 Instrumen: panduan indepth interview, kuesioner dan
check list
 GARIS BESAR KEGIATAN

A. Uraian pentingnya suatu peristiwa kesehatan dilihat

dari segi kesmas
B. Uraian sistem yang akan dievaluasi
C. Tingkat pemanfaatan data
D. Evaluasi sistem menurut atribut
E. Sumber yang digunakan untuk melaksanakan
F. Uraian kesimpulan dan saran
 SISTEM SURVEILANS

Sistem surveilans epidemiologi merupakan tatanan

prosedur penyelenggaraan surveilans epidemiologi
yang terintegrasi antara unit-unit penyelenggara
surveilans dengan laboratorium, sumber-sumber data,
pusat penelitian, pusat kajian dan penyelenggara
program kesehatan, meliputi tata hubungan surveilans
epidemiologi antar wilayah Kabupaten/Kota, Propinsi
dan Pusat
 MANAJEMEN SISTEM SURVEILANS

 Manajemen surveilans epidemiologi dilakukan melalui

pendekatan sistem yaitu input, proses, dan output (Ditjen
P2PL, 2003).
 Pendekatan input terdiri
atas 5 M (man, method, money,
material-machine, dan market) (Wiyono, 2000; Ditjen P2PL,
2003).
 Pada pendekatan proses dan output dari sistem manajemen
disesuaikan dengan kebutuhan dari manajemen tersebut
(Ditjen P2PL, 2003).
1. INPUT
Input merupakan unsur-unsur program yang diperlukan untuk
diproses kemudian menghasilkan output. Input yang terdiri
dari 5M (Man, Material, Method, Money, and Market) (Ditjen
P2PL, 2003; Wiyono, 2000).

1. Sumber Daya Manusia (man)

 Jumlah tenaga surveilans, tenaga surveilans yang terlatih
untuk sistem surveilans, kualifikasi tenaga surveilans, tenaga
pengelola program terlatih di kabupaten/kota, tenaga
laboratorium yang terlatih, dll. (Depkes 2003a; Ditjen P2PL,
2003; Amiruddin, 2013).
Menurut pedoman penyelenggaraan sistem surveilans epidemiologi kesehatan, sumber daya
manusia penyelenggara sistem surveilans epidemiologi kesehatan terdiri dari:
a) Tenaga ahli epidemiologi (S2, S3).
b) Tenaga pelaksana surveilans epidemiologi terlatih, Adapun kriteria terampil yang dimaksud
adalah petugas tersebut mampu mengisi lengkap formulir pengumpulan data pasien hipertensi
dengan benar, mampu menggunakan perangkat komputer dan alat komunikasi dalam kegiatan
pelaporan kasus hipertensi, mampu melakukan pelacakan kasus, menganalisis dan memuat
laporan serta dapat melaporkan ke Dinkes Kota/ Kabupaten
c) Manajer unit kesehatan yang mendapat orientasi epidemiologi.
d) Jabatan fungsional epidemiologi.
e) Jabatan fungsional entomologi.
f) Jabatan fungsional sanitarian.
g) Jabatan fungsional statistisi.
h) Sumber daya manusia laboran
i) Sumber daya manusia lainnya yang terkait.
 Input....

2. Sarana-Prasarana (material-machine)
 Sarana dan prasarana pendukung kegiatan surveilans meliputi komputer,
software, SIG-PPM, ATK seperti pen, kertas, dan tinta, buku
pedoman/petunjuk teknis pelaksanaan surveilans epidemiologi, formulir
pengumpulan data surveilans, Surveillance kits berupa calculator scientific;
kertas grafik; formulir perekam, prngolahan, dan laporan; telpon dan
faksimile atau alat komunikasi lainnya, komputer untuk pengolahan data dan
program aplikasi, Perangkat seminar, sarana/media KIE, sarana transportasi,
dll. (Ditjen P2PL, 2003; Depkes 2003a; Depkes RI, 2006).
3. Dana (money)
 Sumber dana dalam pelaksanaan kegiatan surveilans meliputi dana
program APBD Kabupaten/Kota, APBD provinsi, APBN, Block Grant dan
dana bantuan yang berasal dari LSM/Swasta nasional dan daerah,
swadaya masyarakat, dan bantuan Luar Negeri (Ditjen P2PL, 2003).
4. Metode (method)
 Metode dalam pelaksanaan kegiatan surveilans meliputi pedoman
pelaksanaan suatu kegiatan surveilans, juklak-juknis, surat keputusan
pelaksanaan suatu kegiatan, dll. (Ditjen P2PL, 2003).
5. Sasaran (market)
 Sasaran dari setiap manajemen surveilans epidemiologi suatu penyakit
tidak sama, tergantung pada siapa yang membutuhkan informasi yang
dihasilkan dari pelaksanaan kegiatan surveilans (Ditjen P2PL, 2003).
2. PROSES
 Proses yaitu pengaplikasian fungsi-fungsi manajemen yang
dimulai dari perencanaan program sampai pada pelaksanaan
program.
 Proses dalam pelaksanaan kegiatan surveilans disesuaikan
dengan kegiatan yang diusulkan melalui perencanaan
tahunan.
 Jenis kegiatan dalam tahapan proses pelaksanaan kegiatan
surveilans epidemiologi yaitu pengumpulan data, pengolahan
data, kajian data, disseminasi informasi, penyelidikan KLB, dan
sebagainya sesuai dengan kebutuhan dari surveilans masing-
masing penyakit (Ditjen P2PL, 2003; Depkes, 2006).
3. OUTPUT

 Output yang dihasilkan dari setiap kegiatan surveilans

tidak sama, tergantung dari kegiatan surveilans masing-
masing penyakitnya.
 Namun demikian, secara umum output yang dihasilkan
dari kegiatan surveilans epidemiologi penyakit berupa
buletin surveilans (Ditjen P2PL, 2003).
 Penyelengaraan sistem surveilans epidemiologi kesehatan diukur
dengan indikator masukan, proses, output. Ketiga indikator tersebut
merupakan satu kesatuan, dimana kelemahan salah satu indikator
tersebut menunjukan kinerja sistem surveilans yang belum memadai.
 Dalam menilai manfaat suatu sistem surveilans, harus dimulai
dengan meninjau tujuan dari sistem tersebut disamping
mempertimbangkan peranan kebijaksanaan-kebijaksanaan yang
ada dalam pengambilan keputusan dan tindakan pencegahan.
 Kegunaan/ manfaat sistem surveilans dipengaruhi oleh beberapa
atribut dari sistem tersebut meliputi kesederhanaan, fleksibilitas,
akseptabilitas, sensitivitas, nilai predektif positif, kerepresentatifan,
ketepatan waktu. (Sugiasih, 2012)
EVALUASI SISTEM MENURUT ATRIBUT
Atribut sistem surveilans :
1. Kesederhanaan (Simplicity)
2. Fleksibilitas (Flexibility)
3. Akseptabilitas (Acceptability)
4. Sensitivitas (Sensitivity)
5. Nilai prediktif positif (Positive Predictive
Value)
6. Kerepresentatifan (Representativeness)
7. Ketepatan waktu (Timeliness)
8. Kualitas Data (Data Quality)
9. Stabilitas (Stability)
1. Simplicity

Mencakup:
 Struktur (rancangan dan besarnya)
 Pengoperasiannya

Cara penilaian:
 Kesederhanaan  mencapai tujuan
 Metode penilaian  diagram alur data
Simplicity (lanj.)
Ukuran-ukuran yang perlu dinilai :
1. Jumlah & jenis info u/ diagnosis
2. Jumlah & jenis sumber pelaporan
3. Cara mengirim data
4. Jumlah institusi atau organisasi yang terlibat
5. Kebutuhan pelatihan staf
6. Jenis dan analisis kedalaman data
7. Jumlah dan jenis penguna info
8. Cara diseminasi
9. Waktu yang dibutuhkan untuk: Menjaga kesinambungan 
- Mengumpulkan informasi
- Mengirim informasi
- Menganalisis informasi
- Menyiapkan dan menyebarluasan laporan
Simplicity (lanj.)
 Jumlah & tipe data yang dibutuhkan
 Tingkat integrasi dengan sistem lain
 Metode pengumpulan data  jumlah, jenis dan waktu yang
dibutuhkan
 Jumlah follow up yang dibutuhkan untuk untuk peremajaan data
 Metode manajemen data  waktu yang dibutuhkan untuk
pengiriman, entri, editing, penyimpanan dan backup data
 Metode dan kedalaman analisis & diseminasi data, termasuk waktu
yang dibutuhkan untuk mempersiapkan diseminasi data
 Perawatan sistem
Simplicity (lanj.)
Rancangan sederhana
- Definisi kasus mudah diterapkan
- Orang yang mengidentifikasi kasus juga pemroses data dan
penguna informasi

Rancangan kompleks
- Perlu laboratorium untuk konfirmasi
- Perlu pelacakan oleh petugas untuk mengumpulkan keterangan yg
lebih rinci
- Ada berbagai tingkat pelaporan

 KESEDERHANAAN TERKAIT DENGAN ATRIBUT ACCEPTABILITY DAN

TIMELINESS
 BERPENGARUH PADA SUMBER DAYA YANG DIBUTUHKAN SISTEM
SURVEILANS
 Masalah Kesehatan

Diagnosis

Sumber data
Dokter Oleh siapa
Masyarakat RS bagaimana
Lab
Sekolah
Proses pelaporan
Catatan statistik

Penerima data Pengolahan data

-kumpul
Tingkat kab. -rekam
-edit
Tingkat Prop. -analisis
-susun laporan
Pusat -deseminasi laporan
2. Flexibility

 Dapat menyesuaikan diri dengan perubahan infomasi

yang dibutuhkan atau situasi pelaksanaan tanpa
peningkatan berarti akan kebutuhan biaya, tenaga,
waktu
 Dapat menerima penyakit / masalah kesehatan yang
baru diidentifikasi
 Ditentukan dengan cara retrospektif  mengamati
bagaimana suatu system memenuhi kebutuhan –
kebutuhan baru
3. Acceptability

 Penerimaan dan kesediaan seseorang atau

organisasi untuk berpartisipasi dalam sistem
1. Orang diluar instansi yang mengembangkan system
2. Orang-orang yang melaksanakan system
Acceptability (lanj.)

Kuantitatif studi dokumen surveilans & survei:

 Kelengkapan laporan
 Jumlah keikutsertaan
 Angka pelaporan dari pelayanan kesehatan
 Ketepatan waktu pencapaian/pelaporan
Acceptability (lanj.)

Indikator:
1. Angka keikutsertaan (perorangan/instansi)
2. Seberapa cepat tercapai
3. Kelengkapan wawancara/penolakan pertanyaan
4. Kelengkapan formulir
5. Angka pelaporan dari dokter, lab, RS / fas. Kesehatan
6. Ketepatan waktu pelaporan
Acceptability (lanj.)

Faktor yang mempengaruhi acceptability:

 Pentingnya kejadian kesehatan masyarakat
 Diseminasi informasi
 Tanggapan sistem terhadap saran & komentar
 Kemudahan dan biaya pelaporan data
 Jaminan kerahasiaan data & informasi
4. Sensitifity

Terdiri dari 2 tingkatan:

 Pelaporan  proporsi kasus yang terdeteksi oleh surveilans
 Kemampuan dalam deteksi KLB  kemampuan memonitor
perubahan jumlah kasus
Dipengaruhi oleh:
 Orang-orang dengan penyakit / masalah kesehatan
tertentu yang mencari upaya kesehatan
 Sensitivitas alat diagnosis
 Kasus yang akan dilaporkan dalam sistem
Sensitifity (lanj.)

Pengukuran sensitivitas perlu :

 Validitas informasi
 Pengumpulan informasi diluar sistem untuk menentukan
frekuensi dari keadaan dalam masyarakat

 suatu sistem dengan sensitivitas tidak terlalu tinggi masih

berguna untuk memantau trend penyakit, selama
sensitivitasnya konstan; tidak konstan jika kesadaran
meningkat, alat baru, artefak surveilans (perubahan)
 37
contoh: Sensitivitas dari Telephone Based Surveillance System,
morbiditas atau faktor risikonya dipengaruhi oleh :

 Jumlah penduduk yang mempunyai telepon, dan berada

di rumah ketika di telepon serta bersedia untuk
berpartisipasi.
 Kemampuan dari seseorang untuk memahami
pertanyaan dan menentukan status mereka secara tepat.
 Kemauan dari responden untuk melaporkan statusnya.
5. Positive Predictive Value (NPP)

 Adalah proporsi dari populasi yang diidentifikasi

sebagai kasus oleh suatu sistem, dan ternyata
memang kasus
 Menggambarkan sensitivitas dan spesifisitas
definisi kasus serta prevalensi
 Pengukuran ditekankan pada konfirmasi kasus
Positive Predictive Value (lanj.)

Manfaat:
1. Alokasi sumber daya
2. Pendeteksian KLB

NPP rendah:
1. `Kasus` yang dilacak sebenarnya bukan kasus
2. Salah dalam identifikasi KLB

NPP tinggi: menghindari pemborosan

Berhubungan dengan spesifisitas diagnosis kasus
6. Representativeness

 Sistem yang representatif akan menggambarkan

secara akurat:
1. Kejadian peristiwa kesehatan dalam periode
waktu tertentu
2. Distribusi kejadian menurut tempat dan orang
Representativeness (lanj.)

 Dinilai
dengan membandingkan karakteristik dari
kejadian dengan semua kejadian yang ada dalam
hal:
 Karakteristik populasi
 Riwayat
 Upaya kesehatan yang tersedia
 Sumber data yang ada
Kerepresentatifan 42

(Representativeness)
Suatu sistem surveilans yang representatif akan
menggambarkan secara akurat :
 Kejadian dari suatu peristiwa kesehatan dalam
periode waktu tertentu;
 Distribusi peristiwa tersebut dalam masyarakat
menurut tempat dan orang.
 43
Karakteristik dari populasi
Misal: umur, status sosial ekonomi, lokasi geografis.

Riwayat dari peristiwa kesehatan

Misal: periode laten, cara penyebaran, fatal outcome

Upaya kesehatan yang tersedia

Misal: tes diagnosis di tempat, pola rujukan oleh dokter.

Sumber-sumber data
Misal: - angka mortalitas, untuk dibandingkan dengan data insidens;
- laporan laboratorium. untuk dibandingkan dengan
laporan dokter.
7. Timeliness
Menggambarkan kecepatan atau kelambatan diantara langkah-
langkah dalam sistem surveilans:
Masalah kesehatan

Identifikasi

Laporan ke Unit
Yang Bertanggungjawab

Tindakan Umpan Balik

8. Data Quality (Kualitas Data)
 Kelengkapan dan validitas data surveilans

Metode:
 Persentase jawaban kosong dan “tidak tahu”
 Review sampel data
 Wawancara penderita
 Sensitivity
 Predictive Value Positive

KUALITAS DATA BERHUBUNGAN DENGAN ATRIBUT

ACCEPTABILITY DAN REPRESENTATIVENESS
9. Stability

Terdiri dari:
 Reliability  kemampuan untuk pengumpulan,
manajemen dan menyediakan data secara
benar
 Availability  kemampuan untuk melaksanakan
surveilans jika dibutuhkan
Stability (lanj.)

Metode:
 Jumlah kejadian tak terjadwal
 Jumlah kejadian kerusakan sistem/komputer
 Biaya yang dikeluarkan untuk memperbaiki kerusakan sistem
(hardware, software, service dan waktu yang dibutuhkan)
 Persentase waktu sistem dapat berjalan secara penuh
 Waktu yang direncanakan dan waktu dibutuhkan dalam
mengumpulkan, menerima, manajemen (transfer, entry, editing,
penyimpanan & backup), mengeluarkan data
 SUMBER-SUMBER UNTUK MELAKSANAKAN 48
SISTEM
Tenaga yang dibutuhkan
 Langkah pertama adalah memperkirakan waktu yang dibutuhkan untuk
melaksanakan sistem sistem (contoh: Jumlah orang hari yang dibutuhkan
untuk melaksanakan sistem). Bila diinginkan, ukuran ini dapat diubah
menjadi besarnya biaya yang diperlukan dengan cara mengalikan
jumlah orang-hari dengan pengeluaran per orang-hari

Sumber-sumber lain
 Disini termasuk biaya untuk perjalanan, pelatihan, peralatan,
perlengkapan dan pengeluaran-pengeluaran lain (telepon, pos,
komputer, dsb)
 Penggunaan sumber-sumber ini pada semua tingkatan sistem kesehatan
masyarakat dari petugas kesehatan lokal, Kabupaten/Kota, propinsi
maupun pusat harus dipertimbangkan.
KESIMPULAN DAN SARAN 49

 harus menyatakan apakah sistem bisa

menjelaskan pentingnya suatu masalah
kesehatan dilihat dari segi kesehatan masyarakat

 apakah sistem mencapai tujuan yang telah

dilakukan.

 rekomendasi juga harus dinyatakan bagaimana

kelanjutan dari sistem, atau perlunya suatu
modifasi dari sistem.
INDIKATOR KINERJA

• kelengkapan laporan
• ketepatan laporan
• distribusi data
• umpan balik
• penerbitan bulletin epidemiologi
• penerbitan profil tahunan atau buku data surv
epid