EVALUASI PROGRAM SOSIAL

Susilawati, M.Si., Ph, D.

Matrikulasi Magister Terapan Pekerjaan Sosial,

STKS, 9 Agustus 2020
Target Capaian
Mahasiswa:
 Mampu menjelaskan konsep dan desain
evaluasi program sosial
 Mampu membeda-bedakan disain evaluasi
program sosial
 Memahami bagaimana menyusun desain &
melakukan evaluasi program sosial.
Pokok Bahasan
1. Pengantar:
2. Konsep Evaluasi Program Sosial
3. Berbagai Alternatif Desain
Metode Evaluasi Program
4. Masalah dalam Evaluasi Program
1 Pengantar
Kompetensi Lulusan MT-PS; Mahasiswa MT-PS
Perekayasa teknologi/model pelayanan perlu
pekerjaan sosial (terapi psikososial, mempelajari
manajemen HSO/pengubahan masy, evaluasi program
analisis kebijakan) agar mampu
melakukan
• Model pelayanan diimplementasikan & evaluasi program
dievaluasi melaui program sebagai dasar
• Evaluasi program menjadi dasar rekayasa model
pengembangan model pelayanan

Pentingnya Evaluasi Program:

• Memahami dampak/kemanfaatan program untuk perbaikan
• Umpan balik untuk peningkatan keterampilan pemberi pely
• Media untuk memahami kemajuan penerima pely
• Media ekspresikan suikap/ pandangan/harapan bagi penerima pely
• Media peningkatan pengetahuan dan praktik lain
(Kirst-Ashman & Hull, 2015)
2 Konsep Evaluasi Program Sosial
 Evaluasi program idealnya dirancang sejak
perencanaan program.

 Perencanaan Program Sosial

merupakan usaha yang dilakukan secara sadar,
terorganisasi dan terus menerus untuk memilih
alternatif program yang mencakup serangkaian
kegiatan yang terbaik untuk menghasilkan
perubahan dalam mencapai tujuan yang diinginkan
dalam rangka memelihara atau meningkatkan
kesejahteraan sosial.
2…
 Alur Program Sosial
Perumusan
Hipotesis
Program Perencanaan:
• Tujuan Perubahan
Asesmen • Kegiatan

Situasi •
•
Jadwal
Bahan/perlengkapan
• Partisipan/Org
Evaluasi Sosial Pelaporan &
pencatatan•
pelaksana
Manajemen informasi
Hasil • Anggaran
• Desain evaluasi
Pelaksaan &
Monitoring
2…
 Apa Evaluasi Program?
Evaluasi program merupakan upaya
sistematik untuk memahami impact suatu
program sehingga menyediakan informasi
keberhasilan atau kegagalan yang dapat
dimanfaatkan untuk meningkatkan
pengelolaan pengambilan keputusan,
memperbaiki pelaksanaan program, dan yang
terpenting untuk memaksimalkan manfaat
bagi klien [penerima manfaat].
(Kettner, Moroney & Martin, 2012).
2…
 Apa Evaluasi Program?
Program evaluation is the use of social research
procedures to systematically investigate the
effectiveness of social intervention programs.
More specifically, evaluators use social research
methods to study, appraise, and help improve
social programs in all their important aspects,
including diagnosis of social problems they
address, their conceptualization and design, their
implementation and administration, their outcome
and their efficiency.
(Rossi & Freeman, 2016: 4)
2…
 Tujuan Evaluasi Program
Rossi & Freeman (2016) menyatakan
bahwa: “The purpose of program
evaluation is to assess and improve
the design, planning, administration,
implementation, effectiveness, efficiency,
and utility of social interventions and
human services programs”
2…
 Aktivitas Evaluasi
Schuman (dalam Kettner, Moroney & Martin,
2012) menyatakan bahwa`aktivitas penting dalam
evaluasi program meliputi:
◦ Analisis masalah [atau fokus program]
◦ Identifikasi tujuan-tujuan yang akan dievaluasi
◦ Penggambaran dan standarisasi kegiatan
◦ Pengukuran tingkat perubahan
◦ Penentuan apakah biaya sesuai dengan hasil yang
dicapai
◦ Penetapan apakah perubahan yang terlihat tersebut
benar-benar karena kegiatan atau karena sebab lain.
2…
 Tipe Evaluasi
Rossi & Freeman (2016):
◦ Evaluasi Rancangan Program
◦ Monitoring sewaktu berjalan)
◦ Evaluasi setelah program

Kettner, Moroney, dan Martin (2012)

membagi evaluasi ke dalam dua tipe:
◦ Formatif (monitoring atau evaluasi proses)
◦ Sumatif (evaluasi hasil)
2 … a. Evaluasi Rancangan Program
 Cakupan masalah yang diatasi dan potensi
 Kebutuhan program baru atau perubahan, pengembangan,
 Kelayakan Program (Cakupan, aksesibilitas, kualitas,
kemungkinan keberlanjutan)
◦ Target Populasi
◦ Tujuan/hasil
◦ Tata Kelola:
Manajemen & Pengorganisasian
SDM
Pendanaan
Pengelolaan Informasi
Sarana & Prasarana
◦ Proses dan Kegiatan pelayanan
◦ Penerimaan dan fisibilitas
◦ Kemungkinan Keberlanjutan
2…
b. Monitoring
 Karakteristik

Dilaksanakan Menelaah proses

selama dan memberi
pelaksanaan peringatan dini

Mengidentifikasi
- apakah pengelolaan Merupakan
kegiatan dan biaya telah proses umpan
sesuai prosedur balik yang
- apakah perlu berkelanjutan
penyesuaian/ perbaikan
2…

Mendeteksi Rekomendasi
segera (Perbaikan
penyimpangan dapat segera
Pemantauan (yang tidak sesuai dilakukan
sejak awal harapan) akibat sehingga
salah pengelolaan memperkecil
atau kesalahan kemungkinan
penetapan standar resiko)
2…
• Aspek Yang Dimonitor
Mengacu pada dokumen rencana
Evaluasi upaya:
-Refleksi pelayanan yang
diberikan/troughput
– Menguji penyelesaia kegiatan &
pencapaian tujuan proses
Evaluasi Efisiensi Biaya:
⁃ Evaluasi input, throughput, ouput
- Menguji perbandingan sumber
yang digunakan dengan
pelayanan
- Menguji biaya dari pelayanan
Kettner, Moroney, dan Martin (2912)
Yang dimonitor:
• Kesesuaian kriteria, jumlah
penerima manfaat, keluasan
cakupan wilayah sasarannya
• Kegiatan yang dilakukan
◦ Siapa/unit apa saja yang terlibat,
kesesuaian kualifikasi masing-
masing , dan pelaksanaan tugas
• Langkah-langkah kegiatan
• Kesesuaian penggunaan metode/
teknik/pendekatan
 Kesesuaian waktu
 Ketepatan pengelolaan dana
 Pencatatan dan pelaporan
 Kemajuan/perubahan yang dicapai
pada setiap tahapan
 Faktor penghambat dan
pendukung
2…

Aspek yang dimonitor menurut Rossi dan

Freeman (2016) sama saja, hanya mereka
mengkategorikan hal yang dimonitor ke
dalam:
 Coverage
 Service delivery
2…
 Proses Monitoring

Hasil
Penilaian Dideskripsikan Kesimpulan
 Coverage Dikategori-
 Service sasikan
Delivery Dianalisis
Ditafsirkan Rekomendasi
2…
c. Evaluasi Sumatif (Evaluasi Hasil)
 Karakteristik

Dilaksanakan Penilaian terhadap

setelah keberhasilan
pelaksanaan program secara
program keseluruhan

- Menguji apakah perubahan Mengidentifikasi

benar-benar karena perubahan:
pelaksanaan program - indikator pencapaian
- Menilai kemampuan tujuan
program dalam memenuhi - Konsekuensi yang tidak
kebutuhan pelayanan.- diharapkan
2…
Hal yang perlu dievaluasi meliputi:
1) Evaluasi Dampak/Efektivitas
Evaluasi hasil (outcomes) antara maupun hasil
akhir
Melihat hasil perubahan akibat pelaksanaan
program (dapat menggunakan skor):
menguji seberapa besar hasil yang dicapai
dibandingkan dengan hasil yang diharapkan .
Untuk itu perlu baseline data.

Kondisi ? Kondisi
awal Di mana yang
kondisi akhir? diharapkan
2…

 Evaluasi dampak menguji hipotesis

program, tujuan, hasil, desain program
dalam rencana.

 Evaluasi dampak dapat dilengkapi dengan

menanyakan manfaat yang dirasakan
oleh popolasi target/penerima
pelayanan.
2…
2) Evaluasi Kememadaian Pemberian
Pelayanan
 Evaluasi kemampuan program dalam
memenuhi kebutuhan pelayanan:
mengukur apakah pelayanan/kegaiatan yang
dilaksanakan benar-benar telah sesuai dan
memenuhi kebutuhan-kebutuhan yang sangat
urgen dan penting untuk dipenuhi.

 Perlu untuk melihat kembali hasil analisis

yang mendasari penyusunan rencana dan
desain programnya
2…
3) Evaluasi efisiensi
o Cost-Benefit Analysis
Cost & benefit (bagi populasi target,
masyarakat pada umumnya, dan
sponsor/dari perspektif yang berbeda-
beda).
Dalam penghitungan rasio manfaat
dengan biaya, semua manfaat (yang
terlihat maupun tak terlihat) dan biaya
ditransfer dalam nilai uang.
2…
 Evaluasi Cost & benefit mengukur keseuaian
antara biaya yang dibayar (termasuk biaya
sosial atau resiko yang tidak diharapkan)
dengan manfaat yang diperoleh.

Misalnya dengan menghitung biaya per

orang penerima manfaat dibandingkan
dengan manfaat yang diperoleh.

Evaluasi: input dan dampak

 Evaluasi ini berhubungan dengan tahap
perencanaan: rumusan tujuan hasil, desain
program, dan biaya.
2…
o Cost-Effectivness Analysis
Analisis ini membandingkan berbagai
program untuk tujuan yang sama.
2…

Pencapaian tingkat keberhasilan dapat

dianalisis dengan menelaah beberapa
hambatan yang ditemui.

 Berdasarkan analisis tersebut dapat

dirumuskan rekomendasi untuk
mengembangkan program selanjutnya.
3 Desain Evaluasi Program Sosial
Desain evaluasi program sosial merupakan kerangka kerja
yang menjadi pedoman untuk melakukan evaluasi
pelaksanaan dan hasil suatu program sosial.
Sekurang-kurangnya memuat :
 Latar belakang (menjelaskan mengapa evaluasi program
tersebut dilakukan)
 Rumusan Masalah (menguraikan apa yang akan dievaluasi)
 Tujuan dan Manfaat evaluasi
 Logical framework (dibangun dari hasil kajian pustaka relevan)
 Metode (menjelaskan bagaimana evaluasi akan dilakukan)
 Metode
 Sumber data, sampel & teknik pemilihannya
 Teknik pengumpulan data & alat yang akan digunakan.
 Bagaimana analisis data
 Tahapan dan waktu evaluasi
 Siapa yang akan melakukan evaluasi tersebut.
 Biaya
3 Mengapa perlu Desain Evaluasi
Program?

Agar efektif
Untuk Agar kegiatan menghasilkan
memberi evaluasi informasi yang
pedoman terorganisasi diperlukan untuk
kerja dan sistematis rencana
selanjutnya

Evaluasi yang tidak direncaanakan sering gagal

menyediakan nformasi yang diperlukan untuk
memperbaiki program.
3 Alternatif Desain Metode Evaluasi
 Nonpartisipatif:
Pelaku : ahli, pihak di luar penerima manfaat
Pendekatan kuantitatif

 Partisipatif
Evaluai dilakukan bersama/penerima manfaat
program
Pendekatan kualitatif

• Mix Method
3…
Evaluasi Nonpartisipatif
1) Evaluasi proses, dengan metode:
o Survey deskriptif
o Survey eksplanatori terutama untuk
melihat faktor pendukung dan
penghambat
2) Evaluasi hasil, dengan metode:
o Survey eksplanatory
 Cross-sectional survey
 Time series analyses (studi panel)
o Eksperimen
3…
Alternatif Desain Eksperimen:
 Single Subject Design
- Pretest-post test design
(tergolong Praeksperimen)
O1 X O2
- Time-series design (tergolong Quasi eksperimen)
O1 O2 O3 O4 X O1 O2 O3 O4

 Static group comparison design

(tergolong Praeksperimen)
Disimbolkan :
X O1
-------- - - - - - - - - - - - -
O2
3…
 Nonequivalent control group design
(Quasi eksperimen)
O1 X O2
---------------------
O1 O2

 Separate-sample pretest-posttest design

(Quasi eksperimen)
R O X
R X O
3…
 Rangkaian waktu dengan kelompok kiontrol
(Quasi eksperimen)
O1 O 2 O3 O4 X O 1 O2 O3 O4
- - - - - - - - - - - - - - - - -- - -- - - - - - - - - - - - - - -
O1 O 2 O3 O4 O1 O2 O3 O4

 Pretest-posttest control group design (eksperimen

sebenarnya).
R O1 X O2
R O1 O2
3…
 Posttest-only control group design
(eksperimen sebenarnya)

R X O
R O

 Solomon Four-group design

(eksperimen sebenarnya)
R O X O
R O O
R X O
R O
3…
Beberapa skala/alat ukur yang dapat
digunakan antara lain yang melihat:
 pencapaian tujuan
 pencapaian tugas
 kepuasan klien
3…
 Skala Pencapaian Tujuan
Skala dibuat dengan skor untuk menilai
pencapaian masing-masing tujuan yang telah
ditentukan.

Misalnya dibuat skala dengan skor untuk mengukur

pencapaian tujuan meningkatnya keterampilan anak
dalam mengendalikan emosi. Skor dapat
menempatkan pada kategori hasil intervensi:
• jauh lebih buruk dari sebelumnya
• sedikit lebih buruk dari sebelumnya
• tidak ada perubahan
• sedikit lebih baik
• jauh lebih baik (tujuan tercapai sepenuhnya).
3…
 Skala Pencapaian Tugas
 Proses intervensi seringkali dapat dirinci
menjadi beberapa tugas spesifik yang dapat
diamati secara langsung.
 Skala skor misalnya dibuat merentang dari 0
hingga 4/
 Skor 4: Tugas telah diselesaikan secara tuntas.
 Skor 3: Ada tugas yang belum diselesaikan, akan tetapi
sebagian besar telah terselesaikan.
 Skor 2: Sekitar setengah dari tugas yang telah diselesaikan
 Skor 1: Hanya sebagian kecil saja tugas yang ada telah
terselesaikan.
 Skor 0: Seluruh tugas samasekali belum dilaksanakan.
 Skor dijumlahkan kemudian dibandingkan dengan
total skor ideal.
3…
 Kuesioner Kepuasan Klien

 Evaluasi keberhasilan pelayanan dapat

diukur dengan kepuasan klien yang kita
layani.
 Pengukurannya dapat menggunakan
kuesioner.
3…
Alternatif sumber data
 Parapihak yang terlibat secara langsung
(pemohon pelayanan, penerima manfaat,
dropout penerima pelayanan, pemberi
pelayanan, dan pihak-pihak lain yang terlibat
dalam program)
 Masyarakat lainnya
 Dokumen (laporan-laporan/catatan-catatan
program)
 Kejadian-kejadian selama pelaksanaan program
atau yang terkait dengan program yang dapat
diamati.
3…
Sampling
Dalam pendekatan kuantitatif sampel harus
memenuhi syarat:
 Jumlah sampel memadai (ada perhitungan sampel
minimal sesuai dengan tingkat kepercayaan (1-α)
yang ditetapkan.
 Representatif, sehingga teknik sampling harus
Random Sampling
◦ Simple Random Sampling
◦ Stratitipied Random Sampling
◦ Cluster/Area Random Sampling)
◦ Gabungan Stratified-Cluster Randong Sampling
3…
Evaluasi Partisipatif
 Evaluasi dilakukan secara terbuka atas
dasar pengetahuan, pengalaman dan
dampak proyek yang diterima oleh
partisipan program/proyek.
 Aspek efektifitas dan Efisiensi ditentukan
dari hasil diskusi dengan para penerima
manfaat program
 Teknik partisipatif yang digunakan adalah
dengan diskusi penilaian bersama dengan
instrumen yang disepakati.
 Contoh alat bantu yang dapat digunakan
untuk evaluasi pelaksanaan
Tingkat Ketepatan Pemberian Pelayanan
Kegiatan

Kriteria Jumlah Cakup Kualifikasi Pelaksanaan Waktu Penggu- Tertib Kema- Hambat-
sasaran sasaran an pelaksana tugas/ naan admin juan yg an/ Pen-
lokasi metode biaya dicapai dukung

1. ……

2. ……

3. ……

4. …Dst
 Contoh alat bantu untuk menilai
perubahan yang dihasilkan
Aspek yang Kondisi Kondisi Kondisi yang Kesimpulan
dirubah dari Awal setelah ingin dicapai Tingkat
kelompok pelaksanaan Pencapaian
sasaran program Hasil
1.
……………….

2. ………………

3……. ……..…..

4. ………….Dst
Contoh alat bantu yang dapat digunakan untuk
evaluasi hasil

Aspek Derajat Keberhasilan Hambatan Rekomendasi

evaluasi
akhir
1 2 3 4 5

Dampak/
perubahan
yang dicapai
Kemampuan
memenuhi
kebutuhan

Efisiensi
Pilihan desain metode evaluasi berimplikasi
pada penentuan rancangan sumber data,
tenik pengumpulan data, pengujian
keabsahan/validitas-reliabilitas, serta analisis
data.
4 ISU-ISU DAN MASALAH DALAM
EVALUASI
 Masalah dalam generalisasi.
Masalah ini berhubungan dengan sampel dan
pengukuran.
 Ancaman validitas internal, seperti bias instrumen
(pemilihan alat evaluasi yang kurang tepat), bias
pengukuran, sejarah, kematangan, berkurangnya
subjek penelitian, regresi statistic, Hawthorne effect
(krn menyadari sedang dievaluasi)
 Kegagalan melibatkan klien dalam proses evaluasi.
 Ketidakpercayaan terhadap evaluasi atau
sebaliknya placebo effect
 Proses evaluasi yang mengganggu pemberian
pelayanan.
Referensi
Kettner, Moroney & Martin, (2012).
Designing and managing programs: An
effectiveness-based approach, 4th Ed.
Los Angeles: Sage.
Kirst-Ashman, K. K. & Hull, G. H. (2015).
Understanding generalist practice, 7th Ed.
Boston: Cengage Learning.
Rossi, P. H, & Freeman, H. E. (2016).
Evaluation: A Systematic Approach, 7 th
Ed.Thousand Oaks: Sage.