1

MONITORING DAN EVALUASI

A. DESKRIPSI SINGKAT MATERI

Evaluasi merupakan suatu tahapan penting dalam keseluruhan program pelayanan
kesejahteraan sosial. Proses inilah yang akan menunjukkan apakah program pelayanan
yang dilaksanakan telah menjawab persoalan yang muncul atau tidak, apakah program
yang telah dilaksanakan benar-benar memenuhi kebutuhan klien atau tidak, sesuai dengan
prosedur atau tidak, bagaimana hambatan yang dialami, dan sebagainya. Dengan kata lain,
evaluasi merupakan proses penting yang harus dilaksanakan untuk melihat apakan suatu
program pelayanan mengalami kegagalan atau keberhasilan secara lengkap.

Evaluasi merupakan proses penting yang harus dilakukan secara seksama agar tujuan yang
hendak dicapai dapat terlaksana dengan baik. Agar proses ini dapat mencapai tujuan
sesuai dengan yang diharapkan, maka evaluasi harus dilakukan sesuai dengan kaidah-
kaidah tertentu secara sistematis. Karena proses yang dilakukan dimaksudkan untuk
mengetahui situasi dan kondisi program yang sedang atau telah dilakukan, maka pada
dasarnya proses ini merupakan proses penelitian atau penilaian secara mendalam yang
ditujukan untuk mendapatkan gambaran lengkap mengenai proses intervensi maupun
program pelayanan yang dilakukan. Oleh karena itu, kaidah-kaidah dalam penelitian
ilmiah sangat diperlukan dalam proses evaluasi ini.

Pembahasan konsep evaluasi dalam modul ini diarahkan untuk mengingatkan kembali para
peserta sertifikasi tentang proses maupun kaidah evaluasi. Modul ini tidak dimaksudkan
untuk mengulas secara lengkap mengenai konsep evaluasi secara panjang lebar, akan tetapi
dipilih beberapa komponen penting yang dianggap penting dalam suatu proses evaluasi
kegiatan pelayanan. Modul ini diarahkan untuk memperkuat pemahaman tentang konsep
evaluasi bagi peserta sertifikasi yang telah memiliki pemahaman awal tentang metode
penelitian.

Materi ini akan membahas beberapa konsep penting antara lain :

1. Manfaat evaluasi dalam praktek pelayanan sosial.

1
 2

2. Proses evaluasi, yang meliputi beberapa konsep penting dalam penelitian, seperti
evaluasi formatif dan sumatif, baseline, validitas dan reliabilitas, peluang
generalisasi, metode pengumpulan data, variabel bebas dan variabel terikat.
3. Desain Evaluasi yang terutama difokuskan pada lima disain utama, yaitu disain
subyek tunggal (Single subject design), skala pencapaian tujuan (Goal attainment
scaling), Skala pencapaian tugas (task achievement scaling), kuesioner kepuasan
klien (Client satisfaction questionaires), serta analisis proses dan dampak program
pelayanan.
Topik-topik ini sengaja dipilih karena sangat erat kaitannya dengan pekerjaan sehari-hari
para praktisi pelayanan, terutama Tenaga kesejahteraan sosial.

B. KOMPETENSI DASAR
1. Merancang disain evaluasi dan monitoring pelayanan.
2. Melakukan Evaluasi Pelayanan Langsung
3. Melakukan Evaluasi Pelayanan tak langsung

C. TUJUAN PEMBELAJARAN
1. Tujuan Umum.
Peserta sertifikasi mampu merancang sebuah disain evaluasi serta melaksanakan
rancangan tersebut untuk mengevaluasi praktik pelayanan yang diberikannya.
2. Tujuan Khusus.
Peserta sertifikasi diharapkan :
a. Mampu memahami konsep evaluasi partisipatoris
 Mampu memahami dengan benar manfaat evaluasi dalam proses pelayanan
yang diberikan.
 Mampu memahami proses-proses, terutama beberapa konsep penting dalam
evaluasi.
 Mampu memahami serta merancang lima disain utama dalam evaluasi, yaitu
disain subyek tunggal, skala pencapaian tujuan, skala pencapaian tugas,
kuesioner kepuasan klien, serta analisis proses dan dampak program.

b. Mampu memahami dan menggunakan beberapa alat partisipatoris yang dapat

digunakan dalam evaluasi program.

2
 3

D. MATERI
1. PENGANTAR
Untuk menjadi seorang pengembangan masyarakat yang efektif, seseorang harus
memahami apakah intervensi yang dikembangkannya dapat dilakukan secara efektif atau
tidak, sesuai dengan harapan klien atau tidak, dapat mencapai tujuan atau tidak, dsb. Hal
ini nampaknya merupakan sesuatu yang sangat sederhana, akan tetapi untuk
mengembangkan strategi dalam mengevaluasi praktek yang kita lakukan secara efektif
tidak selalu menjadi suatu pekerjaan yang mudah untuk dilakukan. Bahkan walaupun kita
telah memiliki rencana yang jelas untuk mengevaluasi hasil praktek yang telah dilakukan,
atau untuk mengevaluasi program yang dijalankan. Banyak tantangan yang harus dihadapi
untuk mengukur efektivitas ini.

Proses evaluasi secara tipikal merupakan suatu proses yang berkelanjutan (ongoing
process), sehingga kita harus selalu menilai apakah tujuan-tujuan jangka pendek yang telah
ditentukan dapat tercapai dengan baik. Evaluasi juga dapat dipandang sebagai tahap akhir
dalam sebuah kegiatan, yang seringkali mendasari suatu keputusan bersama antara pekerja
sosial dengan klien untuk mengakhiri hubungan profesional yang terjalin (Termination).
Secara umum, diskusi tentang bahasan ini akan membantu pembaca untuk :
a. Menemukenali serta memilih metode yang sesuai untuk mengevaluasi praktek
pengembangan masyarakat yang dilakukan.
b. Menemukenali beberapa metode yang dapat dan mudah digunakan untuk
melakukan evaluasi program.
c. Menemukenali serta mampu membedakan secara jelas berbagai konsep penting
dalam melakukan evaluasi secara benar, seperti validitas, reliabilitas, generalisasi,
“baseline”, evaluasi formatif dan evaluasi sumatif.
d. Menemukenali rancangan (design) yang dapat digunakan dalam melakukan
evaluasi terhadap praktek yang telah dilakukan maupun mengevaluasi suatu
program pelayanan tertentu.

2. MANFAAT EVALUASI.
Sumber daya penyandang dana belakangan ini sudah begitu tinggi dalam memberikan
perhatian pada pentingnya pertanggung jawaban (accountability) pelaksanaan program-

3
 4

program pelayanan. Oleh karena itu tuntutan untuk melakukan evaluasi atas pelaksanaan
program-program tersebut juga meningkat dengan sangat signifikan. Para penyandang
dana ini memberikan tuntutan yang begitu tinggi untuk memperoleh jaminan bahwa dana
yang dialokasikan bagi program-program tersebut dimanfaatkan sesuai dengan tujuan dan
manfaat yang telah ditentukan. Di lain pihak, juga banyak lembaga-lembaga pelayanan
yang memberikan perhatian untuk mengukur praktek apa yang telah dilakukannya, sampai
seberapa jauh proses pelayanan telah sesuai dengan rencana, dan bagaimana pencapaian
tujuan akhirnya.

Gambar 1. Evaluasi dalam Model Intervensi Pemberi pelayanan.

Landasan bagi Praktek pengemb. Masy.:

Pengetahuan (Knowledge)
Ketrampilan (Skills)
Nilai (Values)

Asesmen (Assessment)

Perencanaan

Penerapan
Prinsip-prinsip
Intervensi Penelitian

EVALUASI

Review tingkat pencapaian tujuan

Tujuan Tingkat Pencapaian Terminasi atau
assessment ulang

4
 5

Misalnya suatu lembaga yang menyatakan bahwa mereka mampu meningkatkan beban
kasus sampai 25 % walaupun tidak ada peningkatan dalam jumlah karyawannya. Dengan
demikian diasumsikan bahwa masing-masing karyawan atau stafnya telah bekerja lebih
keras. Ukuran yang digunakan pada contoh tersebut di atas menunjukkan informasi
tentang apa yang telah dilakukan oleh lembaga. Akan tetapi informasi tersebut samasekali
tidak menunjukkan apakah lembaga tadi telah melaksanakan fungsi dan tugasnya kepada
klien dengan baik atau tidak.

Selain pentingnya manfaat ekonomis dalam evaluasi, aspek politis juga sangat menonjol
dalam evaluasi. Suatu evaluasi yang dilakukan dengan baik, terukur secara akurat, dan
dipublikasikan secara luas akan berpengaruh besar dalam pengambilan keputusan pada
tingkat kebijakan. Suatu evaluasi terhadap berhasilnya suatu program pelayanan terhadap
keluarga dan anak, misalnya, dapat memperkuat sistem legislatif (DPR) untuk
mengalokasikan sumberdaya yang ada bagi keberlanjutan program pelayanan yang
diberikan. Evaluasi semacam ini akan sangat bermanfaat untuk meyakinkan pihak-pihak
yang skeptis, pesimis, serta menentang keberlanjutan program.

Pergerakan keberdayaan para pengguna pelayanan (Consumer Movement dengan lembaga

konsumennya) juga telah berpengaruh terhadap pentingnya evaluasi yang baik. Klien
memiliki hak untuk mengetahui efektivitas pelayanan yang dia dapatkan. Klien
menginginkan suatu jaminan apakah mereka memperoleh pelayanan sesuai dengan apa
yang telah dijanjikan.

Perbaikan, perubahan penyederhanaan suatu proses pelayanan dapat selalu dilakukan

secara serius melalui evaluasi atas proses yang dijalankan. Supervisi secara berkelanjutan
untuk mencapai tujuan di atas hanya dapat dilakukan atas dasar evaluasi secara terukur.
Supervisor hanya dapat melakukan fungsi dan tugasnya dengan baik jika dilandasi suatu
proses evaluasi yang baik pula. Tanpa evaluasi, sama dengan orang yang tidak pernah
bercermin. Dia tidak mengetahui apa hasil yang telah dicapai, dia tidak mengetahui proses
mana yang tidak sesuai dengan tujuan, dia tidak mengetahui harapan-harapan klien yang
terabaikan. Supervisor pekerja sosial hanya mampu berbicara tanpa dasar, jika tidak
dilakukan evaluasi secara terrencana.

5
 6

Ada beberapa alasan mengapa evaluasi seringkali tidak dilakukan dalam praktek-praktek
pelayanan kepada masyarakat :
a. Pembei pelayanan khawatir bahwa dirinya akan merasa gagal jika dievaluasi.
b. Pemberi pelayanan terlalu sibuk untuk melakukan evaluasi.
c. Lembaga atau pemberi pelayanan belum atau tidak memberikan perhatian yang
cukup terhadap pentingnya evaluasi.
d. Pemberi pelayanan tidak memiliki ketrampilan yang memadai untuk melakukan
evaluasi secara baik.

Toseland dan Rivas, 1984 (dalam Ashman, 1993) menyebutkan pentingnya evaluasi dalam
praktek pemberian pelayanan sosial :
a. Dapat memberikan pemahaman kepada pemberi pelayanan tentang dampak dari
praktek pertolongan yang telah dilakukannya.
b. Dapat memberikan umpan balik (feedback) kepada pemberi pelayanan dalam
meningkatkan keterampilannya dalam bekerjasama dengan klien.
c. Dapat menunjukkan kemanfaatan program-program yang dilaksanakan, yang
berguna untuk perbaikan program di masa yang akan datang.
d. Menjadi media untuk memahami kemajuan-kemajuan yang telah dicapai klien.
e. Dapat menjadi media bagi klien untuk mengekspresikan sikap, harapan, serta
pandangan-pandangannya.
f. Dapat menjadi media untuk mengembangkan pengetahuan yang bermanfaat bagi
praktek orang lain.

Kettner dan Nichols, 1985 (dalam Ashman, 1993) seringkali membedakan antara evaluasi
dan monitoring, yang menyebutkan bahwa monitoring dan evaluasi memiliki fungsi saling
melengkapi (complementary). Monitoring merupakan upaya untuk melihat proses
pemberian pelayanan, sedangkan evaluasi merupakan upaya untuk melihat efektivitas
pelayanan. Ahli lain (Rivas dan Barker) menyatakan bahwa monitoring sebenarnya juga
merupakan suatu evaluasi. Jadi mereka ini hanya membedakan antara evaluasi formatif
dan evaluasi sumatif. Evaluasi formatif dilakukan untuk melihat proses pelayanan (identik
dengan monitoring), sedangkan evaluasi sumatif dilakukan untuk melihat efektifitas
pelayanan, bersifat komprehensif dan dilakukan di akhir kegiatan.

6
 7

3. PROSES EVALUASI
Proses evaluasi suatu praktek pelayanan sebenarnya juga mengikuti tahapan proses
pemecahan masalah itu sendiri (Duehn, 1985). Pada tahap awal, kita harus menentukan
atau mendefinisikan masalah yang akan diukur atau akan dievaluasi serta
mempertimbangkan berbagai pendekatan penelitian yang mungkin relevan (assessment).
Dari pertimbangan-pertimbangan tersebut, kemudian dipilih salah satu pendekatan dan
merancang tahapan kerja berikutnya yang akan dilakukan (planning). Setelah rencana
disusun dengan matang, maka penelitian dilakukan secara intensif (intervention).
Akhirnya perlu dilakukan pengkajian dan evaluasi atas temuan yang diperoleh dari
penelitian tersebut.

Ada beberapa konsep kunci yang sangat penting untuk memahami serta melakukan
evaluasi. Konsep-konsep ini antara lain : Evaluasi sumatif dan formatif, Baselines,
Variabel Bebas dan Variabel Terikat (independent Variables dan Dependent Variables),
validitas dan reliabilitas, metode pengumpulan data, dan generalisasi.

a. Evaluasi formatif dan sumatif

Banyak ahli yang menyatakan bahwa evaluasi memiliki fungsi sebagai alat untuk
monitoring. Evaluasi semacam ini dilakukan pada saat intervensi atau pelayanan sedang
dilakukan. Evaluasi semacam ini disebut dengan evaluasi formatif (Formative
Evaluation). Fokus utama dari evaluasi formatif atau monitoring lebih pada proses
pemberian pelayanan dibandingkan pada hasil akhirnya. Misalnya suatu evaluasi yang
berupa penyampaian kuesioner kepada kelayan suatu lembaga yang berisi tentang
pelaksanaan suatu pelayanan bimbingan dan konseling dalam suatu rangkaian pelayanan
terhadap remaja nakal. Evaluasi semacam ini bertujuan untuk melakukan assessment
apakah kemajuan-kemajuan yang telah direncanakan dapat tercapai. Pretest dan post-test
dalam suatu sesi pelayanan dapat juga digunakan sebagai evaluasi semacam ini.

Selain evaluasi formatif atau monitoring, evaluasi sumatif (Summative Evaluation), yaitu
untuk mengetahui apakah hasil akhir yang diharapkan telah tercapai atau belum. Evaluasi
semacam ini dilakukan setelah suatu proses pelayanan diselesaikan.

b. Baselines.

7
 8

Konsep ini berasal dari penelitian perilaku. Istilah ini merujuk pada kondisi awal sebelum
diadakan suatu intervensi atau suatu pelayanan tertentu. Tanpa mengetahui informasi
lengkap tentang kondisi awal, hampir mustahil seseorang mengetahui bahwa sesuatu telah
berkembang. Baseline ini digunakan sebagai patokan untuk mengukur perkembangan atau
perubahan yang telah dicapai. Frekuensi, intensitas, serta durasi suatu perilaku yang akan
diubah dapat dikatakan sebagai baseline. Dalam suatu bentuk evaluasi tertentu, baseline
ini mungkin perlu dibuat lebih dari satu. Proses identifikasi awal yang dilakukan secara
serius, lengkap, dan akurat terhadap calon klien dari sebuah lembaga mungkin dapat
dijadikan baseline yang sangat berguna yang dapat dijadikan patokan awal untuk
mengukur perubahan atau kemajuan yang diperoleh sehubungan dengan intervensi yang
dilakukan..

c. Validitas dan Reliabilitas.

Ketika pemberi pelayanan akan melakukan suatu evaluasi, harus diyakini bahwa dia telah
menggunakan alat ukur atau instrumen yang tepat. Validitas merujuk pada suatu kondisi
atau sampai seberapa jauh suatu alat ukur yang digunakan dapat mengukur hal yang akan
diukur. Jika kita akan mengukur bagaimana sikap klien terhadap perilaku kriminal tertentu
dengan menggunakan instrumen untuk mengukur perasan klien, maka instrumen tersebut
dapat dikatakan tidak valid. Ada tiga tipe uji validitas (Rubin, 1986) Yaitu

Reliabilitas merujuk pada kondisi sampai seberapa jauh suatu instrumen atau alat ukur
yang mengukur fenomena yang sama akan menghasilkan nilai yang sama dari waktu ke
waktu. Konsep kunci dalam pengertian tersebut adalah “dari waktu ke waktu”, Artinya,
jika alat ukur tersebut digunakan untuk mengukur fenomena yang sama pada waktu yang
berbeda, dengan catatan situasinya tetap, maka hasilnya harus tetap sama. Instrumen atau
alat ukur yang demikian adalah alat ukur yang reliabel. Alat ukur yang reliabel akan
menghasilkan temuan evaluasi yang konsisten dalam rentang waktu yang berbeda.

d. Peluang untuk Generalisasi (Generalizability)

Kemungkinan atau peluang untuk dilakukannya generalisasi sebenarnya mengacu pada
suatu kondisi yang diperlukan yang memungkinkan penarikan kesimpulan pada populasi
secara lebih luas atas hasil penelitian atau evaluasi yang kita lakukan. Persoalan yang
seringkali dihadapi adalah sampel yang diambil terlalu kecil untuk membuat generalisasi.

8
 9

Dengan demikian, evaluator harus memiliki keyakinan tentang keterwakilan

(Representativeness) dari sampel yang diambil sehingga kita mempunyai keyakinan yang
cukup kuat bahwa hasil penelitian atau evaluasi yang dilakukan memang benar merupakan
dampak dari grogram yang dilaksanakan, bukan pengaruh variabel lain yang menyela
(Intervening Variable).

e. Metode Pengumpulan Data.

Pilihan tentang metode serta teknik pengumpulan data apa yang akan digunakan dalam
evaluasi ditentukan oleh tujuan intervensi yang dilakukan yang akan dievaluasi. Biasanya,
metode yang digunakan adalah interview kepada pihak utama yang terkait, studi
dokumentasi, dan observasi, diskusi kelompok terfokus (Focused Group Discussion), dsb.
Wawancara dapat menggunakan alat ukur yang terstruktur maupun yang tak terstruktur.
Observasi dapat dilakukan secara langsung tatap muka maupun menggunakan media
seperti video tape atau digital recording. Produk atau hasil karya juga sering digunakan
untuk mengevaluasi pencapaian prestasi tertentu. Kadangkala evaluator diharuskan untuk
memperoleh data subyektif seperti kemarahan, ketakutan, kecemasan, depresi, dan
sebagainya. Untuk itu gunakan alat ukur yang sudah dikembangkan oleh peneliti lain yang
sudah teruji validitas dan reliabilitasnya. Seperti “Self Report”.

f. Varibel Bebas dan Variabel Terikat

Dua konsep penting lain dalam praktek evaluasi adalah variabel bebas dan variabel terikat.
Variabel bebas (Independent Variables) meliputi “Faktor-faktor yang diperkirakan akan
mempengaruhi atau akan menyebabkan kondisi tertentu”. Dalam konteks praktek
pelayanan dapat berupa program pelayanan yang dilakukan serta proses pelayanan yang
dilakukan. Dengan kata lain, variabel bebas ini adalah seluruh upaya yang dilakukan oleh
pekerja sosial atau lembaga pelayanan untuk membantu klien.

Faktor yang dipengaruhi disebut variabel terikat (Dependent Variables). Dalam konteks
praktek pemberian pelayanan, dapat berupa “hasil akhir dari proses pelayanan”.
Asumsinya, bahwa hasil akhir dipengaruhi oleh proses pertolongan atau pelayanan yang
diberikan. Perlu diperhatikan bahwa variabel bebas seringkali tidak sepenuhnya

9
 10

bertanggung jawab dalam mempengaruhi variabel terikat. Banyak variabel lain yang
mungkin ikut terlibat, variabel ini disebut Variabel penyela (Intervening Variables).

4. DISAIN EVALUASI
Banyak diantara para praktisi pemberi pelayanan yang terlibat dalam praktek secara
langsung dengan klien atau sistem klien. Hakikat serta tingkatan praktek yang dilakukan
sangat tergantung dari pengetahuan, ketrampilan, tingkat pendidikan yang dimiliki,
tuntutan dari lembaga tempat kerja, sistem klien yang dilayani, dan sebagainya. Oleh
karena itu, pemberi pelayanan harus memiliki pemahaman yang cukup baik tentang
berbagai teknik untuk melakukan evaluasi praktek-praktek yang dilakukan. Banyak teknik
yang dapat dilakukan dalam hal tersebut, untuk pembahasan kali ini akan dipusatkan pada
disain sistem tunggal, skala pencapaian tujuan, skala pencapaian tugas, kuesioner
kepuasan klien, analisis proses, serta Analisis dampak program. Untuk itu akan dibahas
secara garis besar sebagai berikut.

a. Evaluasi Pelayanan Langsung.

1) Disain Subyek Tunggal (Single Subject Design)
Bloom dan Fischer (1982) menyatakan bahwa disain sistem tunggal ini memiliki banyak
nama yang dikemukakan oleh ahli yang berbeda, akan tetapi intinya adalah sama. Nama-
nama lain tersebut adalah Single N Research, Single Subject Research, Single Case Study,
AB Design, dan sebagainya. Disain ini merupakan disain yang cukup sederhana, Pada
dasarnya, petugas sosial bekerja dengan klien yang memiliki masalah sosial. Masalah
yang dihadapi oleh klien akan diatasi melalui suatu bentuk atau suatu proses intervensi
yang dilakukan oleh petugas tersebut. Dari berjalannya proses intervensi tersebut akan
memunculkan suatu hasil sebagai dampak intervensi yang dilakukan. Dampak intervensi
kemudian dibandingkan dengan kondisi sebelum intervensi. Seringkali disain ini disebut
dengan “disain AB”, dimana A menggambarkan kondisi sebelum intervensi dan B
menggambarkan intervensi yang dilakukan. Disain Subyek Tunggal dapat digambarkan
dalam bagan sebagai berikut (pada Panti Kenakalan Anak)

Jumlah Perilaku Nakal

Anak

6- Fase A

10
 11

5- * * * * Fase B
4- *
3- *
2- * * *
1-

1 2 3 4 5 6 7 8 9 (waktu)

Periode Baseline

Dari bagan tersebut terlihat adanya kemajuan yang sangat baik, dimana perilaku kenakalan
yang muncul pada saat proses intervensi berlangsung menunjukkan penurunan yang cukup
jelas. Disain AB ini juga dapat dilakukan tanpa adanya baseline seperti yang dapat
digambarkan sebagai berikut :

Jumlah perilaku Nakal

Anak

6-
5- * * *
4- *
3- *
2- * *
1- * *

1 2 3 4 5 6 7 8 9 (waktu)
Permulaan
intervensi

Pada saat petugas pemberi pelayanan tidak memiliki kesempatan untuk mengumpulkan
data yang dapat digunakan sebagai baseline, petugas itu tetap dapat melakukan pengukuran
selama proses intervensi. Disain ini disebut disain tipe B.

2) Skala pencapaian Tujuan (Goal Attainment Scaling)

11
 12

Tidak jarang intervensi yang dilakukan oleh pemberi pelayanan memiliki banyak tujuan
secara berurutan sesuai tahapan intervensi yang dilakukan. Skala pencapaian tujuan ini
dapat dibuat dengan mengembangkan skor yang dapat digunakan untuk menilai
pencapaian masing-masing tujuan yang telah ditentukan terlebih dahulu. Misalnya :
Tujuan intervensi : Meningkatnya ketrampilan anak dalam memenuhi kebutuhan
belajarnya

-3 -2 -1 0 1 2 3
Gagal Sangat Sedikit Titik Sedikit jauh Tujuan ter-
Total Buruk lebih brk Awal lebih lebih capai spnh-
drpd seblm- baik baik nya
nya

3) Skala Pencapaian Tugas (Task-Achievement Scaling)

Proses intervensi seringkali dapat dirinci menjadi beberapa tugas spesifik yang dapat
diamati secara langsung. Skor 4 menunjukkan bahwa tugas telah terlaksana secara tuntas,
skor 3 menunjukkan ada tugas yang belum terselesaikan, akan tetapi sebagian besar telah
terselesaikan. Skor 2 menunjukkan bahwa setengah dari tugas telah terselesaikan dan
setengahnya lagi belum terselesaikan, skor 1 menunjukkan bahwa hanya sebagian kecil
saja tugas yang ada telah terselesaikan, skor o menunjukkan bahwa seluruh tugas
samasekali belum terselesaikan.

Tugas Skor

a. Pelibatan masyarakat 3
b. Pendalaman kasus dan asesmen 4
c. Pemahaman sumber daya yang dimiliki 4
d. Kerjasama dalam penyusunan Rencana aksi 2
e. Kerjasama dalam menggerakkan sumber daya. 1

Jumlah 14

Bagaimana kesimpulannya ?

12
 13

Dari 5 tugas yang ada dengan maksimum skor adalah 4, kalikan 5 tugas tersebut dengan
skor 4 (skor tertinggi) dan didapat total skor 20.
Dari skor yang ada dijumlahkan dan didapat jumlah skor yaitu 14, kemudian jumlah
tersebut dibagi dengan skor tertinggi (20) didapat 14 : 20 = 0.70. Dari situ dikonfersikan
dengan persen, yaitu rata-rata 70 % tugas telah diselesaikan.

4) Kuesioner Kepuasan Klien (Client Satisfaction Questionnaires)

Dalam berbagai situasi, pemeri pelayanan perlu mengetahui bagaimana reaksi atau
tanggapan klien terhadap intervensi yang diberikan. Untuk mengetahui kepuasan klien
yang kita layani ini dapat menggunakan kuesioner kepuasan klien. Kusioner ini bisa
digunakan untuk klien individual, kelompok atau bahkan seluruh klien yang dilayani oleh
sebuah lembaga sosial.

Contoh kuesioner :
Mohon dilingkari skor yang menggambarkan tanggapan anda :
1 Bagaimana tanggapan anda tentang kualitas keseluruhan proses pelibatan masyarakat
pada lembaga sosial ini ?
4 3 2 1
Sempurna/ Baik Cukup Buruk
Sangat baik

Komentar : _____________________________________

2. Apakah anda memperoleh pelayanan sesuai dengan yang anda harapkan ?

1 2 3 4
Benar-benar Tidak sepenuhnya Ya, pada Ya, benar-
Tidak umumnya benar yakin
Komentar : _______________________________________

3. Sampai sejauh mana pemberi pelayanan ini mampu memenuhi kebutuhan anda ?
4 3 2 1
Hampir semua Sbgn besar Sebagian kecil tak ada kebutuhan
Kbthn saya kbthn saya saja kbthn saya saya yg terpenuhi
Terpenuhi terpenuhi yg terpenuhi

13
 14

Komentar : _______________________________________

5) Analisis Proses dan Dampak Program Pelayanan

Jika kita kaji kembali beberapa disain yang telah kita ulas secara garis besar di atas,
nampaknya skala pencapaian tujuan, skala pencapaian tugas, serta kuesioner kepuasan
klien dapat digunakan sebagai alat evaluasi proses pelayanan atau evaluasi pelaksanaan
suatu program pelayanan. Untuk itu tidak akan diulas kembali tentang hal tersebut. Yang
perlu dikaji kembali adalah apa sebenarnya yang membedakan antara proses dengan
dampak.

Proses, menunjukkan kepada kita tentang apa saja yang telah dilakukan, sampai seberapa
jauh hal itu dilakukan, serta bagaimana tanggapan klien terhadapnya. Sedangkan dampak,
merupakan hasil akhir yang dicapai sehubungan dengan proses yang dilakukan. Jika
asumsi yang mendasari intervensi adalah untuk meningkatkan kemampuan fungsi sosial
manusia / klien, maka yang masuk dalam kategori dampak, adalah sejauh mana klien
mampu melaksanakan fungsi sosialnya dengan baik.

b. Evaluasi pelayanan/ praktek tak langsung.

1) Peer Review.
Merupakan suatu bentuk evaluasi yang dilakukan secara berkelompok bersama anggota
yang memiliki fungsi dan tugas yang sejenis, tanggung jawab yang sejenis, dan proses
pekerjaan yang sejenis. Kegiatan ini berbentuk diskusi kelompok terfokus dari para
pemberi pelayanan yang bertujuan untuk mengetahui, memonitor, serta mencari jalan
keluar atas masalah-maalah praktek yang dihadapi.

Evaluasi seperti ini dilakukan pula untuk membahas topik-topik khusus, baik yang bersifat
sederhana maupun kompleks, akan tetapi perlu evaluasi tindak lanjut yang bersifat lebih
kompleks. Evaluasi seperti ini tidak memerlukan biaya, tenaga, maupun ketrampilan
khusus, dan sangat mudah dilakukan akan tetapi jarang dilakukan.

14
 15

TKS
TKS

TKS

TKS
TKS

Evaluasi seperti ini harus dilakukan secara periodik setiap minggu atau setiap bulan sekali,
sehingga dapat diperoleh manfaat :
 Masing-masing anggota dapat selalu mengikuti perkembangan proses pelayanan
 Masing-masing anggota dpt saling bertukar pengalaman.
 Saling belajar.
 Saling memperbaiki proses-proses yg dilakukan.
 Juga dapat dilakukan ceramah dengan topik tertentu dari salah satu anggota dengan
tujuan pengayaan.
 Dsb.

Evaluasi ini harus selalu disertai dengan laporan tertulis atas proses-proses diskusi secara
lengkap, sehingga dapat dimanfaatkan atau dibaca ulang di waktu lain secara seksama
untuk dipelajari.

Formulir berikut dapat pula dijadikan contoh :

No Item Ya Tidak Komentar / catatan
1. Permasalahan dicatat scr
jelas.
2. Partisipan utama dilibatkan
scr optimal.
3. Perencanaan dilakukan
dengan jelas.
4. Strategi intervensi tergambar
dng jelas.
5. Frekuaensi dan durasi kontak

15
 16

dilakukan secara memadai

6. Pemanfaatan sumber secara
memadai.
7. Indikator kemajuan
tergambar dengan jelas.

Komentar Lain :
-------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------
--------------------------------------------------

2) Evaluasi Program.
Evaluasi ini ditujukan untuk menentukan sejauh mana sebuah program telah mampu
mencapai tujuan-tujuannya dengan baik.

Program sosial dapat didefinisikan sebagai suatu rangkaian aktivitas terencana yang
disusun untuk mencapai perubahan individual maupun perubahan sosial tertentu. Dengan
demikian, evaluasi program merupakan pengujian sistematis yang dilakukan untuk
menentukan apakah program tersebut telah mampu mencapai tujuan-tujuannya. Dengan
demikian, evaluasi program harus mampu mengukur 4 demensi program : Input, Proses,
output, dan outcome. Kemudian, masing-masing demensi diukur dan dikaji apakah
masing-masing telah sesuai dengan tujuan yang ingin dicapai. Pengukuran dan penilaian
dapat menggunakan disain yang telah dibahas di muka.

3) Evaluasi kelembagaan
Evaluasi ini bertujuan untuk menilai atau mengkaji kinerja yang berkelanjutan dari sebuah
lembaga.

Lembaga sosial diharapkan merupakan suatu lembaga yang memiliki efisiensi dan
efektivitas dalam memberikan pelayanan sosial. Organisasi pusat seringkali
mengharapkan suatu lembaga sosial untuk melakukan evaluasi secara reguler. Beberapa

16
 17

topik berikut merupakan yang perlu dipertimbangkan dalam melakukan evaluasi sebuah
lembaga :
 Responsiveness /
Apakah lembaga ybs tanggap terhadap kebutuhan publik atau kebutuhan penyandang
masalah.
 Relevansi
Apakah pelayanan yang diberikan oleh lembaga yang bersangkutan relevan dengan
kebutuhan spesifik klien, pelayanan yang diberikan sudah sesuai dengan maksud
sesungguhnya dari pelayanan tersebut.
 Ketersediaan
Apakah jumlah dan tipe pelayanan yang diberikan mencukupi untuk memenuhi
kebutuhan publik.
 Kemudahan akses
Apakah lokasi, biaya yang dikeluarkan, serta waktu yang digunakan sudah sesuai
dengan harapan publik, apakah proses-proses pelayanan mudah dijangkau, apakah
masih banyak calon-calon klien yang tak terlayani akibat kesulitan akses.
 Kualitas
Apakah pelayanan yang diberikan sesuai dengan standar pelayanan, apakah terdapat
standar yang dapat dijadikan acuan kualitas pelayanan, klien memiliki kepuasan atas
pelayanan yang diberikan.
 Produktivitas.
Apakah lembaga yang bersangkutan telah memanfaatkan sumber daya yang ada secara
efisien dalam mencapai tujuan lembaga.

5. ISU-ISU DAN MASALAH DALAM EVALUASI

Setiap program evaluasi, baik yang dilakukan oleh petugas pemberi pelayanan maupun
dilakukan oleh suatu lembaga sosial, memiliki potensi untuk dilakukan secara salah atau
diinterpretasi secara kurang tepat. Salah satu penyebab kesalahan ini disebabkan oleh
hakikat alat penelitian (Research Tools) yang tersedia dan digunakannya. Selain itu juga
ada isu lain yang berkenaan dengan persoalan etik, misalnya jika kita akan menggunakan
disain eksperimental yang akan membandingkan antara klien yang telah diberi intervensi
dengan yang belum. Persoalan etik ini perlu diperhatikan sebelum petugas melaksanakan
evaluasi. Beberapa isu maupun persoalan yang berkaitan dengan evaluasi anatara lain :

17
 18

a. Masalah dalam generalisasi.

Seperti yang telah dibahas pada topik terdahulu, bahwa hasil evaluasi seringkali
menunjukkan hasil tertentu, yang menyimpulkan suatu program berhasil atau telah gagal.
Dari kesimpulan tersebut ditarik kepada kelompok lain yang lebih luas (Generalisasi).
Yang perlu dipahami secara lebih baik, adalah bahwa suatu program atau suatu kegiatan
pelayanan tertentu yang berhasil di suatu kelompok tertentu belum tentu berhasil pula jika
diterapkan pada kelompok lain. Ada banyak hal yang berkaitan dengan pemahaman
tersebut. Salah satunya adalah masalah dengan generalisasi. Suatu alasan paling mendasar
yang berkenaan dengan masalah generalisasi adalah teknik sampling yang digunakan.

Prinsip penting yang harus selalu dijunjung tinggi dalam penarikan sampel adalah “Prinsip
Keterwakilan” (Representativeness). Semakin tinggi sampel tersebut dapat mewakili
elemen-elemen dalam populasi yang diteliti atau dievaluasi, maka semakin luas pula
kemungkinannya bagi penarikan generalisasi. Teknik Random Sampling, misalnya,
didasari asumsi bahwa setiap unit populasi akan memiliki kesempatan yang sama untuk
terambil menjadi unit sampling. Akan tetapi terbuka kemungkinan pula bahwa unit
populasi yang terambil ternyata tidak / kurang mewakili pengelompokan-pengelompokan
yang ada dalam populasi tersebut, misalnya jenis kelamin. Dengan teknik random
sampling ini ada kemungkinan bahwa salah satu jenis kelamin terambil lebih besar
dibandingkan dengan jenis kelamin lain, Padahal, informasi dari kedua unit sampel
tersebut akan memberikan warna yang berbeda pada hasil evaluasi yang akan dilakukan.
Dengan demikian, hasil evaluasi juga akan menyimpang dari kondisi yang sebenarnya.
Kondisi inilah yang harus diperhatikan dalam generalisasi suatu hasil evaluasi.

b. Pemilihan alat evaluasi yang kurang tepat.

Alat yang digunakan dalam suatu evaluasi harus benar-benar dipertimbangkan dengan
matang, karena alat evaluasi dapat digunakan secara tidak tepat akan tetapi hasilnya
seolah-olah lengkap seperti tidak ada masalah. Tetapi jika didalami secara serius maka
hasil evaluasi tersebut tidak menggambarkan situasi yang sebenarnya. Misalnya,
Penggunaan kuesioner kepuasan klien untuk mengevaluasi pencapaian tujuan program
pelayanan di lembaga pelayanan kepada anak nakal. Penggunaan alat ini dapat dikatakan
kurang tepat, karena tujuan pelayanan adalah untuk mengurangi tingkat kenakalan anak,

18
 19

bukan mengembangkan potensi anak. Jadi evaluasi yang dilakukan harus dapat
menggambarkan apakah kenakalan anak menurun, tetap, atau meningkat.

c. Kegagalan untuk melibatkan klien dalam proses evaluasi.

Idealnya, suatu proses evaluasi harus melibatkan klien semaksimal mungkin, sehingga
hasil evaluasi benar-benar menggambarkan situasi sebenarnya yang hendak diketahui. Di
lain pihak, ada hambatan etik tertentu yang tidak memperbolehkan untuk melakukan
penelitian terhadap klien tanpa pemberitahuan tentang hakikat penelitian yang dilakukan.
Hal ini sangat berpengaruh terhadap keterlibatan klien dalam proses yang dilakukan.
Selain itu, prinsip kerahasiaan seringkali terbongkar dengan adanya penelitian evaluasi
secara mendalam. Kekhawatiran klien terhadap penyebarluasan informasi pribadi akan
sangat berpengaruh terhadap motivasinya untuk terlibat dalam proses evaluasi.

d. Ketidak percayaan staf terhadap evaluasi.

Telah diketahui bahwa tidak semua lembaga pelayanan sosial telah melaksanakan evaluasi
secara rutin. Pada lembaga seperti ini, evaluasi yang dilakukan, terlebih lagi jika
dilaksanakan secara mendadak, akan menimbulkan ketakutan, kekhawatiran, atau bahkan
ketidak percayaan terhadap proses dan manfaat evaluasi yang dilakukan. Mereka merasa
bahwa dirinya sedang dinilai, atau akan dikritik. Dampak selanjutnya adalah pemberian
informasi yang kurang akurat, pemberian dukungan yang sangat terbatas, dan sebagainya
yang mengakibatkan evaluasi tidak memiliki manfaat apapun bagi lembaga tersebut.

e. Proses evaluasi “mencampuri” pemberian pelayanan.

Proses evaluasi hendaknya dilaksanakan sedemikian rupa agar tidak mengganggu proses
intervensi yang dilakukan (Austin, 1982). Untuk menghindari masalah tersebut, telah
dikembangkan sistem informasi dengan menggunakan komputer untuk menghindari
hilangnya data, penjagaan kerahasiaan, serta sangat mudah dilakukan. Akan tetapi,
penggunaan komputer ini mengharuskan penyusunan kuesioner secara panjang dan
lengkap, akibatnya, dibutuhkan waktu yang panjang untuk mengisi kuesioner tersebut,
menghabiskan waktu, serta menjemukan. Hal ini jelas sangat berpengaruh terhadap proses
intervensi yang sedang dilakukan yang tidak boleh terganggu oleh proses evaluasi yang
dilakukan. Sebaliknya, jika waktu yang diperlukan tersebut dipotong, maka dampaknya

19
 20

mengakibatkan kurangnya data yang dapat dianalisis, kurang mendalam, dan akhirnya,
evaluasi tersebut kurang bermanfaat.

MONITORING DAN EVALUASI PARTISIPATIF

Pada dasarnya, landasan konseptual serta kerangka pikir dari moneva partisipatif tidak
berbeda dengan moneva biasa, hanya saja dilakukan melalui suatu proses kerja partisipatif
serta menggunakan alat kerja yang disusun dan dikembangkan secara partisipatif. Artinya
dilakukan oleh kelompok sasaran dari program yang akan dievaluasi. Dengan demikian,
kepemilikan, sustainabilitas dari program yang dilakukan lebih terjamin. Selain itu, proses
evaluasi tidak sekedar memberikan penilaian atas proses yang dilakukan serta hasil yang
dicapai begitu saja, melainkan penilaian itu lebih berfungsi sebagai tenaga pendorong
(drives) bagi berjalannya program dengan lebih baik.

Evaluasi partisipatoris ini tidak hanya berhenti pada penilaian atas proses maupun hasil,
akan tetapi juga berupaya untuk mengeksplor apa yang menjadi hambatan serta apa
rekomendasi yang diberikan. Semuanya ini dilakukan oleh sasaran (target group) dari
pelayanan yang dilakukan.

Untuk mempermudah evaluasi yang dilakukan, maka diperlukan 2 buah matriks, yaitu
form yang digunakan seagai alat moneva. Matriks ini adalah matriks evaluasi proses dan
matriks evaluasi hasil.

1. Matriks Evaluasi Proses / monitoring.

Adalah suatu matriks yang berisi tentang aspek pengembangan masyarakat atau aspek
sub kegiatan sebagai proses yang dimonitor. Di samping itu juga berisi tentang
penilaian atas tingkat pelaksanaan sub kegiatan tersebut yang masing-masing diberi
skor. Penilaian tingkat pelaksanaan ini terbagi mejadi 4 tingkatan :
 Tidak terlaksana / tidak berjalan ----------- skor 1
 Sebagian kecil terlaksana / sebagian kecil berjalan ----------- skor 2
 Sebagian besar terlaksana / sebagian besar berjalan ----------- skor 3
 Terlaksana / berjalan secara penuh ----------- skor 4

20
 21

Contoh :
Lembar Indikator
Aspek Aspek 1 2 3 4
Pengembang- Kegiatan
an masy Tidak Sebagian Sebagian Terlaksana
Terlaksana Kecil besar Secara
Terlaksana Terlaksana Penuh
1. Persiapan 1. sosialisasi Tdk Ada org Hanya org Sebagian Seluruh
yg tertentu yg bsar komp masy
mengetahui mengetahui kompnen mengetahui
masy
mengetahui

2. Dukungan Hanya Didukung

msy thd Tdk ada didukng oleh seluruh
pelayanan dukungan oleh org-org Didukung komponen
msy tertentu saja oleh msy
sebagian
besar
komponen
masy
2. Identifikasi Tidak ada Hanya Sebagian bsr Seluruh
Pemahaman Masalah org yg orang-org komponen komponen
dan Analisis terlibat tertentu yg masy terlibat masy terlibat
Masalah dalam terlibat dlm dlm proses dlm proses
proses proses

Penentuan Sebagian bsr Seluruh

prioritas Hanya komponen komponen
masalah Tidak ada orang-org masy terlibat masy terlibat
org yg tertentu yg dlm proses dlm proses
terlibat terlibat dlm
dalam proses
dst proses dst Dst

Dst

Dst

Lembar Penilaian Monitoring

Aspek Pengemb Kegiatan Nilai
Masyarakat
Persiapan Sosial 1. Sosialisasi.
2. Penggalangan dukungan masy thd

21
 22

pelayanan
3. dst
Nilai Rata-rata
Pemahaman dan 1. Identifikasi masalah / kebutuhan.
analisis mslh 2. Penentuan prioritas masalah.
3. Identifikasi sistem sumber
4. dst
Nilai rata-rata
Perencanaan 1. Perumusan nama program pelayanan.
perumusan 2. Perumusan tujuan.
masalah 3. Perumusan langkah-langkah kegiatan
4. Pembentukan Kelompok kerja
5. Penyusunan anggaran.
6. Perumusan indikator keberhasilan
7. dst

Nilai rata-rata
Pelaksanaan 1. Mobilisasi sumber
2. Penerapan langkah-langkah kegiatan
3. pemeliharaan
4. dst
Nilai rata-rata
Moneva 1. Pelaksanaan monitoring
2. Pelaksanaan evaluasi hasil
Nlai rata-rata

Lembar Gambaran Hasil Monitoring

ASPEK /TAHAPAN PELAYANAN YG DIBERIKAN 1 2 3 4
Persiapan sosial
Pemahaman dan analisis masalah
Perencanaan
Pelaksanaan
Moneva

Lembar pengungkapan hambatan dan rekomendasi.

ASPEK HAMBATAN REKOMENDASI
PENGEMBANGAN
MASY/AKTIVITAS
Persiapan
Pemahaman dan analisis
masalah
Perencanaan
Pelaksanaan
Moneva

22
 23

Harus Diingat : Pembuatan dan pengisian seluruh matriks dan lembar-lembar

monitoring ini harus dilakukan sediri oleh masyarakat / kelompok sasaran
secara penuh.

2. Matriks Evaluasi Hasil.

Adalah suatu matriks yang berisi tentang aspek pengembangan masyarakat atau aspek
sub kegiatan sebagai aspek yang dievaluasi. Di samping itu juga berisi tentang
penilaian atas tingkat pencapaian hasil pelaksanaan sub kegiatan tersebut yang masing-
masing diberi skor. Penilaian tingkat pelaksanaan ini terbagi mejadi 4 tingkatan :
 Tidak berhasil -------- Skor 1
 Kurang berhasil ------ Skor 2
 Cukup berhasil ------- Skor 3
 Berhasil --------------- Skro 4

Contoh :
Penyusunan indikator.
ASPEK YG TIDAK KURANG CUKUP BERHASIL
DINILAI BERHASIL BERHASIL BERHASIL
1 2 3 4
Ketepatan Jadwal yg telah Jadwal yg telah Jadwal yg telah Jadwal yg telah
Waktu disusun disusun disusun disusun
terlaksana terlaksana terlaksana terlaksana
< 25% 26% - 50 % 51 - 75% > 75%
Ketepatan Target sasaran Target sasaran Target sasaran Target sasaran
sasaran tepat tepat tepat tepat
< 25% 26% - 50 % 51 - 75% > 75%
Kesesuaian Dst
jumlah sasaran
Kesesuaian Dst
kualitas
Perubahan yg Dst
terjadi
Kesesuaian
lokasi
Penerimaan
warga thd
pelayanan
Manfaat yang
dirasakan

23
 24

Lembar penilaian evaluasi hasil

ASPEK YG DINILAI NILAI

Ketepatan Waktu
Ketepatan sasaran
Kesesuaian jumlah sasaran
Kesesuaian kualitas
Perubahan yg terjadi
Kesesuaian lokasi
Penerimaan warga thd program
Manfaat yang dirasakan

Lembar gambaran hasil evaluasi hasil. (Tinggal diarsir sesuai dengan nilai yang ada pada
tabel di atas
ASPEK PENGEMBANGAN MASYARAKAT 1 2 3 4
Ketepatan waktu
Ketepatan Sasaran
Kesesuaian jumlah sasaran
Kesesuaian kualitas
Perubahan yang terjadi
Kesesuaian lokasi
Penerimaan warga thd pelayanan yang diberikan
Manfaat yang dirasakan

Lembar pengungkapan hambatan dan rekomendasi

ASPEK YG DINILAI HAMBATAN REKOMENDASI

Ketepatan Waktu
Ketepatan sasaran
Kesesuaian jumlah sasaran
Kesesuaian kualitas
Perubahan yg terjadi
Kesesuaian lokasi
Penerimaan warga thd pelayanan
Manfaat yang dirasakan

Harus Diingat : Pembuatan dan pengisian seluruh matriks dan lembar-lembar

Evaluasi hasil ini harus dilakukan sediri oleh masyarakat / kelompok sasaran
secara penuh.

24
 25

Kepustakaan :
Ashman, Karen K. Kirst, Grafton H. Hull Jr, 1993. Understanding Generalist
Practice, Nelson Hall Publishers Chicago.

Bloom, Martin, Joel Fischer, 1982. Evaluating Practice, Guidelines for accountable
Professional, Prentice Hall, Englewood Cliffs. NJ.

Mukherjee, Nilanjana, Christien Van Wijk, 2000. Sustainability Planning and Monitoring
A Guide on methodology for Participatory Assessment for Community Driven
Development Program, IRC International Water and Sanitation Centre.

Pietrzak, Jeanne, Malia Ramler, Tanya Renner, Lucy Ford, Neil Gilbert, 1990.
Practical Program Evaluation. Sage Publications, London.

Sheafor, Bradford W., Charles Horesjsi, 2003. Techniques and Guidelines for Social Work
Work Practice, Pearson Education Inc, Boston.

25