Program Evaluasi dan

Program Pengembangan

Jika Anda atau anak-anak Anda bersekolah di sekolah umum di Amerika Serikat
dalam 30 tahun terakhir, ada kemungkinan Anda memiliki pengalaman dengan program
pencegahan penyalahgunaan zat yang disebut DARE (Pendidikan Perlawanan
Penyalahgunaan Narkoba). DARE melibatkan petugas polisi yang pergi ke ruang kelas di
sekolah-sekolah lokal untuk menyajikan kurikulum selama beberapa minggu. Petugas
menyajikan informasi tentang bahaya penggunaan narkoba dan mengajarkan keterampilan
penolakan untuk membantu siswa yang berpartisipasi menolak tekanan teman sebaya untuk
menggunakan narkoba. Program ini awalnya didasarkan pada kebijakan nol toleransi
terhadap penggunaan narkoba, dan siswa didorong untuk menandatangani janji yang
menyatakan bahwa mereka tidak akan menggunakan narkoba. Siswa yang menyelesaikan
program menerima sertifikat, T-shirt, dan materi lainnya yang mempromosikan pesan
"katakan saja tidak pada narkoba".

Jika Anda berpartisipasi dalam program DARE, luangkan waktu sejenak untuk
berpikir kembali. Apa yang Anda ingat tentang program ini? Apakah Anda menikmatinya?
Apakah Anda pikir itu efektif? Apakah Anda pikir itu membantu mencegah penyalahgunaan
narkoba di sekolah atau komunitas Anda? Sudahkah pemikiran Anda tentang program
berubah di tahun-tahun sejak partisipasi Anda?

DARE dimulai pada tahun 1983 oleh Departemen Kepolisian Los Angeles
bekerjasama dengan Los Angeles Unified School District. Selama bertahun-tahun, ia telah
mengembangkan sejumlah kurikulum yang berbeda yang menargetkan berbagai tingkatan
dan topik (seperti penyalahgunaan obat resep). Ini terus menjadi program pencegahan
penggunaan narkoba berbasis sekolah yang paling populer di Amerika Serikat. Menurut situs
web organisasi, DARE diajarkan di semua 50 negara bagian dan sebagian besar distrik
sekolah dan di 43 negara, menjangkau jutaan anak sekolah (DARE, 2009).

Tetapi sejumlah evaluasi kurikulum sekolah yang disampaikan oleh DARE hanya
memberikan bukti terbatas tentang keefektifannya. Misalnya, hasil dari evaluasi longitudinal
dari program di 36 sekolah di Illinois menunjukkan hanya dampak kecil pada penggunaan
narkoba siswa segera setelah intervensi dan tidak ada bukti dampak pada penggunaan
narkoba satu atau dua tahun setelah menerima instruksi DARE. Selain itu, evaluasi
menunjukkan bahwa program DARE hanya membatasi efek positif pada variabel seperti
harga diri dan tidak berpengaruh pada variabel keterampilan sosial seperti resistensi terhadap
tekanan teman sebaya (Enett et al., 1994, hal. 113). Evaluasi negatif terus menumpuk selama
bertahun-tahun. Pada 1998, sebuah laporan kepada National Institute of Justice
menyimpulkan bahwa DARE tidak efektif (Sherman et al., 1998), dan pada tahun 2001,
Surgeon General Amerika Serikat menempatkan DARE dalam kategori program pencegahan
“Tidak Berfungsi” ( Satcher, 2001).

Apakah hasil negatif ini sesuai dengan pengalaman Anda tentang program ini?
Menurut Anda apa yang mungkin menyebabkan hasil negatif ini?

Dalam bab ini, kita akan membahas bagaimana evaluasi program digunakan untuk
membantu mengembangkan, meningkatkan, dan mengevaluasi efektivitas program seperti
DARE. Salah satu tujuan bab ini adalah memberikan Anda beberapa model dan keterampilan
yang sangat spesifik yang dapat Anda gunakan untuk melakukan evaluasi jenis ini. Kami
akan kembali ke DARE, tetapi pertama-tama kami ingin menegaskan bahwa Anda sudah tahu
banyak tentang evaluasi program.

EVALUASI DALAM KEHIDUPAN SETIAP HARI

Evaluasi bukan hanya kegiatan yang dilakukan oleh para ilmuwan sosial. Kita semua
terlibat dalam apa yang pada dasarnya evaluasi program, dan pada dasarnya kita
melakukannya setiap hari. Ketika Anda pergi ke restoran baru atau menonton tim olahraga
favorit Anda, Anda terlibat dalam evaluasi. Di sebuah restoran, Anda berpikir tentang
kualitas layanan, kualitas makanan, biaya, dan suasana. Jika layanan lambat, makanan itu
tidak istimewa, dan biayanya tinggi, Anda mungkin tidak akan pergi ke sana lagi. Dan Anda
mungkin akan "menyebarluaskan hasil Anda." Jika seorang teman bertanya tentang
pengalaman Anda dengan restoran, Anda akan memberikan data Anda (layanan yang buruk,
makanan biasa-biasa saja, dan harga tinggi) dan evaluasi keseluruhan Anda (jangan repot-
repot pergi ke sana).

Ketika Anda menonton tim olahraga favorit Anda, Anda berpikir tentang kinerja
individu para pemain (dalam pertandingan itu, sepanjang musim, dan di musim-musim
sebelumnya), kinerja tim melawan tim lawan di masa lalu, kualitas pelatihan, dan mungkin
biaya untuk tim merekrut pemain individu. Anda juga mungkin akan mempertimbangkan
konteks permainan yang sedang dimainkan. Beberapa faktor kontekstual yang dapat Anda
pertimbangkan adalah cuaca, jika tim bermain di rumah atau jauh, apakah tim memiliki
kesempatan untuk beristirahat sejak pertandingan terakhir mereka, dan pendapat populer
tentang peluang tim untuk menang. Dengan tim olahraga, evaluasi Anda dan data yang Anda
pertimbangkan mungkin akan sangat tergantung pada tujuan Anda untuk tim. Jika tim tampil
jauh lebih baik daripada musim sebelumnya, dengan sejumlah pemain baru yang berbakat
dan pelatih baru, evaluasi Anda cenderung positif, bahkan jika tim tidak memiliki musim
yang luar biasa. Jika Anda mengevaluasi tim sepak bola anak Anda dan tujuan Anda adalah
agar para pemain belajar rukun dan bersenang-senang, dengan setiap anak memiliki
kesempatan untuk bermain, kinerja tim yang sebenarnya mungkin tidak ada hubungannya
dengan evaluasi Anda tentang keberhasilan tim.

Sementara kegiatan evaluasi kadang-kadang dapat menghasilkan keputusan ya atau

tidak (seperti dalam kasus restoran ketika Anda memutuskan untuk tidak kembali ke sana),
mereka lebih cenderung menghasilkan keputusan mengenai langkah-langkah yang harus
diambil untuk mendorong peningkatan (seperti dengan olahraga favorit Anda tim).
Kebanyakan penggemar olahraga tidak menyerah pada tim favorit mereka hanya karena
mereka memiliki musim yang kalah dan pelatih dan pemilik tentu saja tidak. Sebagai
gantinya, mereka menghabiskan banyak waktu meninjau data evaluasi mereka untuk
memutuskan bagaimana membantu tim meningkat.

Tampak Seperti Ide Bagus, Tapi Apakah Ini Benar-Benar Bekerja ?.

(Akuntabilitas Berbasis Hasil)

Program DARE menggambarkan pentingnya evaluasi program yang komprehensif.

DARE menggunakan banyak sumber daya publik (sumber pendanaan utamanya adalah
lembaga negara bagian dan federal) dan waktu kelas yang relatif besar yang dapat digunakan
untuk tujuan pendidikan lainnya. Mungkin yang lebih penting, distrik sekolah yang
menerapkan DARE tidak menerapkan program lain yang tersedia, yang telah terbukti berhasil
mencegah penyalahgunaan zat remaja (misalnya, Botvin & Tortu, 1988; Greenberg et al.
2003; Hawkins, Catalano et al., 1992) . Terlepas dari itu, banyak sistem sekolah yang terus
menggunakan pendekatan DARE, sebagian karena hal itu sudah umum dan kadang-kadang
karena penegakan hukum dan dana lainnya telah digunakan sehingga sistem sekolah dapat
menghabiskan lebih sedikit uangnya sendiri.

Setiap tahun, miliaran dolar uang pajak, sumbangan amal, dan hibah dari yayasan
filantropi dihabiskan untuk melakukan hal-hal baik di masyarakat. Jutaan warga sukarela
waktu dan upaya untuk mempromosikan tujuan-tujuan ini. Bahkan anggota staf yang dibayar
dalam organisasi masyarakat sering memilih untuk bekerja dengan gaji rendah untuk
mempromosikan tujuan tersebut. Apakah waktu, tenaga, dan uang itu membuat perbedaan?
Sektor pemerintah, nirlaba, dan swasta ditantang untuk menunjukkan hasil (lihat Kantor
Akuntansi Pemerintah AS di http://www.gao.gov dan United Way di
http://liveunited.org/pages/about-united-wayworldwide) ). Ini biasanya disebut sebagai
akuntabilitas berbasis hasil. Pada awalnya, ini bisa menjadi prospek yang menakutkan bagi
orang yang menjalankan program. Berikut adalah beberapa keluhan dan kekhawatiran umum
tentang evaluasi program (disusun oleh Northwest Regional Education Laboratory, 1999):

1. Evaluasi dapat menciptakan kecemasan di antara staf program.

2. Anggota staf mungkin tidak yakin bagaimana melakukan evaluasi.

3. Evaluasi dapat mengganggu kegiatan program atau bersaing dengan layanan untuk sumber
daya yang langka.
4. Hasil evaluasi dapat disalahgunakan dan disalahtafsirkan, terutama oleh lawan program.

Bayangkan diri Anda sebagai anggota dewan yayasan yang harus membuat keputusan
pendanaan tentang program komunitas. Anda mendapatkan lebih banyak permintaan
pendanaan daripada yang dapat Anda danai. Masuk akal untuk bertanya kepada penerima,
"Bagaimana kami bisa tahu jika program Anda, didukung oleh dana hibah kami, benar-benar
mencapai tujuannya?" Schorr (1997) menggambarkan beberapa jenis respons terhadap
pertanyaan ini yang sering diberikan oleh organisasi nirlaba dan lembaga pemerintah.

Kepercayaan dan Nilai-Nilai “Percayai kami. Apa yang kami lakukan sangat berharga,
sangat rumit, sangat sulit untuk didokumentasikan, sangat sulit untuk dinilai, dan kami sangat
bermaksud bahwa masyarakat harus mendukung kami tanpa menuntut bukti keefektifan.
Jangan biarkan penghitung kacang yang mengetahui biaya segala sesuatu dan nilai dari tidak
ada yang menghalangi upaya kita yang gagah berani untuk menyelesaikan pekerjaan dunia
”(Schorr, 1997, hal 116).

Masalah potensial dengan jawaban ini: Jika pendanaan program didasarkan pada
kepercayaan, warga dan pembuat keputusan tidak mengetahui proses bagaimana program
bekerja dan tidak tahu apakah ada hasil.

Proses dan Keluaran “Agen kami melihat 200 klien yang memenuhi syarat setiap tahun
dalam 20 program pendidikan orang tua yang kami tawarkan dengan 2 anggota staf berlisensi
kami yang didanai oleh hibah Anda.” Ini mungkin jawaban yang paling umum, dengan
dokumentasi terperinci dari program atau layanan yang disediakan dan sumber daya yang
dikeluarkan.

Masalah potensial: Menyediakan layanan tidak berarti bahwa layanan tersebut efektif.
Layanan mungkin salah arah, sehingga tidak mengatasi masalah sebenarnya. Mereka
mungkin direncanakan dengan baik tetapi tidak kuat atau tidak cukup dana untuk membuat
perbedaan. Mereka mungkin memiliki efek samping yang tidak diinginkan. Harapan yang
harapan tetapi tidak berdokumen mendasari banyak program komunitas.

Akuntabilitas Berbasis Hasil. Dengan menggunakan evaluasi program, staf lembaga dan
evaluator dapat menunjukkan bahwa program tertentu mencapai efek yang diinginkan.
Mereka juga dapat memodifikasinya untuk menjadi lebih efektif. Masalah potensial:
Seringkali, anggota staf lembaga tidak dilatih untuk melakukan evaluasi. Juga, apa yang
terjadi jika evaluasi menunjukkan bahwa program tidak memiliki hasil yang diinginkan?
Apakah program akan diberi kesempatan untuk meningkatkan dan sumber daya yang
diperlukan untuk melakukannya?

Evaluasi program dan keinginan untuk perbaikan. Anda dapat melihat sejumlah tema ini
dalam tanggapan dari direktur DARE terhadap hasil evaluasi negatif. Laporan 1998 dari
National Institute of Justice menyatakan bahwa, “Para pendukung DARE menentang hasil
evaluasi DARE ilmiah. Pejabat DARE Amerika sering dikutip mengatakan bahwa dukungan
publik yang kuat untuk program ini merupakan indikator yang lebih baik dari kegunaannya
daripada studi ilmiah ”(Sherman et al., 1998). Alih-alih menggunakan hasil evaluasi untuk
memperkuat program, para pendukung DARE awalnya menolak validitas hasil.

Tapi itu bukan akhir dari kisah DARE. Bahkan dengan hasil evaluasi yang
mengecewakan, ada alasan bagus untuk tidak hanya menghilangkan program DARE. DARE
memiliki sesuatu yang tidak dimiliki oleh program lain: dukungan pencegahan dan sistem
pengiriman nasional dan internasional yang sangat berhasil. Ingat diskusi kita tentang sistem
ini sebagai bagian dari Kerangka Sistem Interaktif untuk Penyebaran dan Implementasi di
Bab 10? DARE telah menunjukkan selama beberapa dekade bahwa petugas kepolisian dapat
berhasil dilatih untuk menyediakan program yang dirancang (petugas menerima minimal 80
jam pelatihan) dan bahwa sekolah dan departemen kepolisian yang bekerja bersama dapat
mengimplementasikan program dengan kesetiaan yang tinggi kepada audiens yang dituju
(Merrill et al., 2006). Seperti yang Anda ingat dari Bab 10, dukungan pencegahan dan sistem
pengiriman berskala besar yang efektif adalah sesuatu yang tidak dapat dikembangkan oleh
banyak program berbasis bukti, dan fakta bahwa DARE telah berhasil mengembangkannya
adalah temuan penting.

Selain itu, program DARE penuh termasuk kurikulum yang dikembangkan untuk
siswa sekolah dasar hingga sekolah menengah. Kurikulum sekolah dasar adalah yang paling
sering dievaluasi, tetapi para ilmuwan pencegahan setuju bahwa pendekatan yang
komprehensif dan sesuai dengan perkembangan direkomendasikan. Akhirnya, ingat diskusi
kita tentang efikasi vs studi efektivitas pada Bab 9? Studi efikasi umumnya dilakukan dalam
kondisi yang terkendali sementara program masih dalam pengembangan dan dirancang untuk
menguji apakah program tersebut mampu menghasilkan hasil yang positif. Studi efektivitas
dilakukan dalam berbagai pengaturan, seringkali dengan kontrol jauh lebih sedikit, dan
dirancang untuk menguji apakah program dapat menghasilkan hasil positif dalam kondisi
kehidupan nyata. Banyak program yang telah berhasil dalam studi efikasi telah gagal untuk
mereplikasi hasil tersebut dalam studi efektivitas. Karena keadaan unik di sekitar
perkembangannya, DARE pada dasarnya tidak pernah memiliki studi kemanjuran dan pada
dasarnya langsung ke standar efektivitas yang lebih sulit.

Para pejabat DARE mulai mengakui bahwa ada masalah dengan program mereka, dan
mereka mulai membuat modifikasi dan mengembangkan program baru. Bahkan program-
program baru ini seringkali menghasilkan hasil yang mengecewakan (Sloboda et al., 2009).
Baru-baru ini, DARE telah mengadopsi kurikulum sekolah menengah berbasis bukti baru
yang dikembangkan oleh para peneliti di Penn State University dan Arizona State University.
Program tersebut, yang disebut keepin 'REAL, telah dimasukkan dalam SAMSHA National
Registry Program dan Praktek Berbasis Bukti
(http://www.nrepp.samhsa.gov/ViewIntervention.aspx?id=133). Pada saat tulisan ini dibuat,
DARE baru memulai penggunaan program baru ini. Akan sangat menarik untuk melihat apa
yang terjadi ketika sebuah program berbasis bukti dikombinasikan dengan dukungan program
dan sistem pengiriman DARE yang telah terbukti.
 Kisah DARE mengilustrasikan beberapa tema penting dalam bab ini: 1) Evaluasi
tentang efektivitas suatu program dapat mengarah pada upaya peningkatan program, dan 2)
apakah program bekerja dan untuk siapa harus memengaruhi pengambilan keputusan
berdasarkan informasi di masyarakat (misalnya, saat awal pendidikan pencegahan
penyalahgunaan zat adalah ide yang baik, pendekatan pendorong lanjutan dalam tahun-tahun
berisiko tinggi juga harus dipertimbangkan). Singkatnya, evaluasi program dan
pengembangan program perlu dihubungkan sehingga data dapat menginformasikan
keputusan. Tanpa keterkaitan itu, keputusan tentang program komunitas dibuat dengan
banyak informasi yang salah dan angan-angan tentang apa sebenarnya efek program tersebut.
Jika evaluasi program dan pengembangan program dikaitkan, bahkan hasil yang
mengecewakan pada awalnya dapat mengarah pada peningkatan sistematis dalam suatu
program dan keputusan berdasarkan informasi tentang strategi apa yang harus diterapkan
dengan siapa.

Evaluasi program tidak harus menakutkan. Akuntabilitas berbasis hasil mengharuskan

kita untuk memahami evaluasi program dan bagaimana program dapat ditingkatkan untuk
mencapai tujuan mereka. Ketika evaluasi dilakukan dengan baik, itu dapat memperkuat
kualitas program serta kemampuannya untuk melawan kritik.

LOGIKA EVALUASI PROGRAM

Untuk DARE, seperti halnya banyak program masyarakat, studi evaluasi pada awalnya
dirancang untuk menghasilkan putusan akhir tentang efektivitas program, bukan untuk
memberikan informasi spesifik tentang cara memperbaikinya. Studi tersebut sering
membandingkan kelompok intervensi yang menerima program dengan kelompok
pembanding yang tidak. Apakah kelompok berbeda secara signifikan atau tidak, studi hasil
seperti itu tidak memberi tahu kami secara spesifik mengapa intervensi berhasil (atau tidak
berhasil) atau apa yang harus dilakukan untuk meningkatkan hasil. Tanpa informasi tersebut,
staf program dan anggota masyarakat hanya memiliki sedikit panduan untuk keputusan
mereka tentang masa depan program.

Dalam evaluasi program, kami sering memusatkan perhatian pada dua poin utama: 1)
Apakah berhasil? dan 2) Mengapa atau mengapa tidak? Bagaimana kita bisa menganalisis
suatu program untuk melihat apakah program itu berfungsi (hasil) dan mengapa program itu
bekerja atau tidak berfungsi (proses)?

Setidaknya ada dua alasan mengapa program tidak bekerja: kegagalan teori dan
kegagalan implementasi. Kegagalan teori berkaitan dengan teori program: alasan mengapa
intervensi tertentu dianggap sesuai untuk masalah tertentu dengan populasi target tertentu
dalam konteks budaya dan sosial tertentu. Teori program juga membantu memilih
pengukuran atau metode yang tepat untuk mempelajari efek program. Mari kita kembali ke
penelitian tentang DARE yang dijelaskan di awal bab ini. Dalam kasus DARE, teori
programnya adalah: Menyajikan informasi kepada siswa tentang efek berbahaya dari
penggunaan narkoba, bersama dengan keterampilan penolakan tekanan teman sebaya, akan
menghasilkan lebih sedikit penyalahgunaan narkoba pada remaja. Kegagalan implementasi
menyangkut kualitas implementasi program. Anda mungkin memiliki teori program yang
sangat baik yang telah ditunjukkan di tempat lain untuk bekerja dengan populasi target Anda,
tetapi implementasi di lokasi Anda mungkin lemah karena kurangnya sumber daya, personel
yang tidak berpengalaman, pelatihan yang tidak memadai, atau alasan lain (lihat Bab 10).
Lihat logika DARE pada Tabel 13.1.

Sejak 1960-an, bidang evaluasi program telah mengembangkan konsep dan metode
berdasarkan metode ilmu sosial untuk mempelajari teori dan implementasi program. Bab ini
menggunakan banyak konsep evaluasi program dasar ini. Namun, kami fokus pada
pendekatan yang membuat evaluasi program ramah pengguna dan dapat diakses oleh audiens
yang lebih luas. (Untuk ulasan yang lebih detail, lihat Patton, 2008; Rossi, Lipsey, &
Freeman, 2004)

T A B L E 13.1 Logika DARE

Kebutuhan Kegiatan Hasil

1. Mencegah penyalahgunaan 1. Tujuh belas minggu dari 1. Sangat sedikit bukti
narkoba remaja. kurikulum di sekolah. penurunan penggunaan
narkoba di antara peserta.
2. Seluruh komunitas. 2. Menyajikan informasi
tentang bahaya narkoba. 2. Dukungan kuat untuk
3. Menggunakan kolaborasi program di antara
departemen kepolisian dan 3. Memberikan pelatihan departemen kepolisian,
sekolah setempat. keterampilan penolakan distrik sekolah, dan anggota
teman sebaya. masyarakat.

4. Mengajak komitmen dari

siswa untuk tidak
menggunakan narkoba

Penilai profesional dilatih untuk berpikir secara kausal. Mereka mengakui bahwa
kegiatan intervensi atau pencegahan harus didasarkan pada penggunaan teori atau model
variabel yang menyebabkan masalah (model masalah) dan teori program strategi yang akan
mengubah variabel-variabel ini untuk menghasilkan perbaikan (model solusi) ) (lihat
Goodman & Wandersman, 1994). Model-model ini dapat dengan jelas dinyatakan oleh
pengembang program atau program hanya dapat didasarkan pada asumsi implisit. Efek yang
diinginkan tidak akan terjadi jika:

1. Asumsi yang mendasari teori program tidak sesuai untuk konteks program.

2. Program diimplementasikan dengan baik namun tidak mempengaruhi variabel yang

ditentukan oleh teori program.

3. Kegiatan atau program tidak diimplementasikan secara memadai.

 Bagi para ilmuwan sosial, tipe pemikiran ini menjadi begitu otomatis sehingga mudah
untuk melupakannya dan tidak universal. Anggota staf agensi sering membutuhkan “teman
kritis” untuk membantu mereka mengidentifikasi asumsi mendasar mereka tentang teori,
tujuan, dan implementasi program mereka.

Misalnya, kegiatan pencegahan masyarakat yang umum mensponsori Kampanye

Kesadaran Pita Merah. Kelompok lokal ingin mengurangi secara signifikan alkohol,
tembakau, dan penggunaan obat-obatan lainnya (ATOD) dengan meminta warga untuk
memperlihatkan pita merah. Mengapa memakai pita merah menyebabkan pengurangan
penggunaan ATOD? Misalnya, logikanya adalah pita merah merangsang kesadaran akan
bahaya penggunaan alkohol, yang kemudian mengurangi konsumsi alkohol seseorang atau
setidaknya merangsang teman yang sadar untuk mengemudi. Mempertanyakan koneksi
antara tampilan pita merah dan hasil akhir dari pengurangan mengemudi dalam keadaan
mabuk memerlukan pemikiran kritis tentang sebab dan akibat. Penting bagi sekolah dan
praktisi komunitas untuk menggunakan pemikiran kausal dan, sebanyak mungkin, untuk
mengembangkan model kausal untuk program komunitas. "Model logika" itu kemudian dapat
menunjukkan pertanyaan untuk evaluasi proses dan hasil program, yang akan membantu
menunjukkan efektivitas program.

Tujuan utama dari model logika kausal adalah untuk menunjukkan secara sederhana,
cara yang dapat dimengerti hubungan logis antara kondisi yang berkontribusi pada kebutuhan
akan suatu program dalam suatu komunitas, kegiatan yang ditujukan untuk mengatasi kondisi
ini, dan hasil serta dampak yang diharapkan terjadi. hasil dari kegiatan (misalnya,
http://toolkit.childwelfare.gov/toolkit).

Model logika adalah representasi grafis tentang cara kerja program. Gambar 13.1
mengilustrasikan model logika empat langkah yang dapat diterapkan untuk evaluasi program.
Baris teratasnya terdiri dari empat lingkaran, mewakili kondisi program, kegiatan, hasil, dan
dampak. Lingkaran dihubungkan bersama dengan garis-garis yang menunjukkan hubungan
logis yang diharapkan di antara mereka berdasarkan teori program. Hubungan-hubungan ini
di antara lingkaran juga menunjukkan urutan peristiwa yang dimaksudkan yang terjadi
sebagai akibat dari kegiatan program.

Pada lingkaran pertama, kondisi mencakup faktor atau proses risiko, masalah
komunitas, atau kesulitan organisasi yang ingin ditangani oleh program. Lingkaran kedua
mencakup kegiatan yang membahas setiap kondisi; satu atau lebih kegiatan dapat bertujuan
untuk menyelesaikan masing-masing kondisi. Lingkaran ketiga berisi hasil langsung yang
dihasilkan dari aktivitas (mis., Perubahan dalam pengetahuan atau sikap peserta program atau
perubahan dalam undang-undang setempat atau kebijakan organisasi). Lingkaran keempat
menyangkut dampak program pada akhirnya bagi masyarakat luas. Sebagai contoh, dampak
dalam ATOD mungkin termasuk menurunkan alkohol dan penyalahgunaan obat-obatan
lainnya di suatu komunitas serta konsekuensi terkait, seperti kejahatan yang lebih rendah dan
kesehatan pribadi yang lebih baik.

Pada Gambar 13.1, baris tengah menggambarkan langkah-langkah dalam

pengembangan program dan hubungannya dengan model logika. Pengembang program
menilai kebutuhan akan suatu program (seringkali dengan survei komunitas atau wawancara),
merencanakan program untuk memenuhi kebutuhan, mengimplementasikan program, dan
mengevaluasi apakah program telah berhasil. Baris bawah Gambar 13.1 menunjukkan
bagaimana model empat langkah evaluasi program berhubungan dengan model logika dan
pengembangan program.

Pada tahun 1996, jaringan United Way organisasi filantropi komunitas mulai
mempromosikan buku kerja tentang pengukuran hasil, yang telah merevolusi evaluasi di
antara banyak organisasi komunitas nirlaba di Amerika Serikat. Sementara model United
Way berbeda dalam beberapa terminologi dari model empat langkah kami (dijelaskan di
bagian selanjutnya), esensinya serupa. Model United Way memberikan contoh model logika
yang sering digunakan dalam praktik komunitas (United Way, 1996).

MODEL EMPAT LANGKAH EVALUASI PROGRAM

Linney dan Wandersman (1991) berusaha untuk merancang bahan yang akan
merangsang pemikiran analitis tentang cara-cara di mana program pencegahan dapat
mempengaruhi hasil, pemikiran realistis tentang efek dari setiap upaya pencegahan, dan
perencanaan yang cermat untuk implementasi. Volume mereka, Prevention Plus III,
dikembangkan untuk mengajarkan orang-orang di tingkat lokal dasar-dasar tentang evaluasi
dan bagaimana melakukan evaluasi dasar dari program mereka sendiri. Buku ini merinci
evaluasi program menjadi empat langkah dasar (tujuan dan hasil yang diinginkan, evaluasi
proses, evaluasi hasil, dan evaluasi dampak) yang berhubungan dengan model logika (lihat
Gambar 13.1, baris tiga).

Langkah 1: Identifikasi Sasaran dan Hasil yang Diinginkan

Dimulai dengan tujuan menetapkan pemandangan proyek. Sasaran mewakili apa yang
sedang diperjuangkan proyek (mis., Anak-anak yang memiliki hubungan sosial yang positif
dan dididik dengan baik sehingga mereka akan menjadi anggota masyarakat yang produktif).
Tujuan cenderung ambisius dan menetapkan kerangka kerja untuk hasil. Hasil lebih spesifik
dan mewakili apa proyek bertanggung jawab. Tujuan bisa bersifat umum; hasil harus spesifik
dan terukur (Schorr, 1997).
 Jika suatu program komunitas memiliki tujuan pencegahan / promosi (lihat Bab 9
buku ini), tujuan dan hasil menyangkut masalah yang harus dicegah atau kompetensi dan
hasil kesehatan yang akan dipromosikan. Atau, jika inisiatif komunitas mengatasi masalah
komunitas yang lebih luas (lihat Bab 12), perubahan yang ingin dibuatnya mengindikasikan
tujuan dan hasil yang diinginkan.

Pada Langkah 1, pengembang program menjelaskan program:

Tujuan utama, seperti meningkatkan keterlibatan orang tua di sekolah atau mengurangi
penggunaan narkoba.

Kelompok sasaran, seperti guru, anak-anak dari usia tertentu, orang tua, atau masyarakat
umum. Kelompok sasaran dapat digambarkan dengan karakteristik demografis (misalnya,
usia, jenis kelamin, ras, status sosial ekonomi), transisi perkembangan (misalnya, memasuki
sekolah menengah, perceraian, berkabung), proses risiko (misalnya, tingkat rendah, beberapa
insiden perilaku di sekolah), lokalitas, atau kriteria lainnya.

Hasil yang diinginkan, seperti peningkatan sikap menolak merokok atau mengurangi
ketidakhadiran di sekolah. Hasil yang dirumuskan dengan baik didefinisikan dengan jelas dan
spesifik, realistis dan dapat dicapai, dan dapat diukur.

Tabel 13.2 menggambarkan metode evaluasi empat langkah dengan lembar kerja
yang diadaptasi dari Prevention Plus III (Linney & Wandersman, 1991). Langkah 1 dalam
tabel itu menunjukkan pertanyaan yang perlu diajukan perencana program kepada diri
mereka sendiri untuk menentukan tujuan program, kelompok sasaran, dan hasil yang
diinginkan.

Langkah 2: Evaluasi Proses

Pada Langkah 2, kegiatan yang dirancang untuk mencapai hasil yang diinginkan dijelaskan.
Mereka menjawab pertanyaan, "Apa yang sebenarnya dilakukan program itu?"

Tujuan Evaluasi Proses. Evaluasi proses memiliki beberapa tujuan. Pertama, kegiatan
pemantauan program membantu mengatur upaya program. Ini membantu memastikan bahwa
semua bagian dari program dilaksanakan sesuai rencana. Ini juga membantu program
menggunakan sumber daya di tempat yang mereka butuhkan — misalnya, tidak
menghabiskan sebagian besar uangnya hanya untuk satu kegiatan atau kelompok sasaran.
Selain itu, ini memberikan informasi untuk membantu mengelola program dan memodifikasi
kegiatan, yang mengarah ke koreksi tengah jalan yang meningkatkan hasil proyek.

Kedua, informasi dalam suatu proses evaluasi memberikan pertanggungjawaban

bahwa program tersebut melakukan kegiatan yang dijanjikan untuk dilakukannya. Ini dapat
diberikan kepada administrasi, sumber pendanaan, dewan direksi, atau pemangku
kepentingan lainnya.

Ketiga, setelah evaluasi nanti atas hasil dan dampak, proses evaluasi dapat
memberikan informasi tentang mengapa program bekerja atau tidak bekerja. Dengan
memberikan informasi tentang apa yang dilakukan dan siapa yang dijangkau, perencana
program dapat mengidentifikasi alasan untuk mencapai hasil atau tidak mencapainya.
Informasi evaluasi proses juga dapat memberikan informasi untuk perbaikan di masa depan
dan untuk berbagi kiat praktis dengan orang lain yang merencanakan program serupa.

Keempat, proses evaluasi dapat membantu Anda memutuskan apakah Anda siap
untuk menilai efek dari program Anda. Misalnya, jika suatu program hanya ada untuk waktu
yang singkat dan Anda telah mengimplementasikan hanya aktivitas ketiga dari program tujuh
aktivitas, maka itu terlalu dini untuk menilai hasil program.

Kelima, kondisi kadang berubah dan apa yang direncanakan bukan yang sebenarnya
terjadi. Evaluasi proses membantu melacak perubahan tersebut. Menjawab pertanyaan
evaluasi proses sebelum, selama, dan setelah kegiatan yang direncanakan
mendokumentasikan apa yang sebenarnya terjadi.

Melakukan Evaluasi Proses. Evaluasi proses berpusat pada dua pertanyaan terkait: Apa
kegiatan yang dimaksud dan kegiatan program yang sebenarnya? Setelah diimplementasikan,
apa yang dipelajari perencana program dan anggota staf dari pengalaman mereka? (Lihat
Tabel 13.2 Bagian A dan B, Langkah 2.)

Mengenai kegiatan, evaluasi proses bertanya: Siapa yang seharusnya melakukan apa dengan
siapa dan kapan harus dilakukan? (Lihat Tabel 13.2.).

Siapa yang merujuk pada staf yang memberikan layanan. Berapa banyak anggota staf? Jenis
kualifikasi dan pelatihan apa yang mereka butuhkan?

Apa yang merujuk pada apa yang diminta oleh staf (mis., Mengadakan kelas, menunjukkan
film, perilaku model).

Yang mengacu pada kelompok sasaran untuk setiap kegiatan.

Ketika merujuk pada waktu dan pengaturan aktivitas (mis., Selama majelis sekolah,
setelah sekolah).

Semakin jelas pertanyaan dijawab, semakin berguna evaluasi proses (lihat Tabel 13.2,
Langkah 2, untuk pertanyaan spesifik). Semua informasi yang dikumpulkan dalam proses
evaluasi dapat digunakan untuk meningkatkan (atau membuang) kegiatan di masa depan
(lihat Tabel 13.2, Bagian B dari Langkah 2).

Langkah 3: Evaluasi Hasil

Evaluasi hasil menilai dampak langsung dari suatu program. “Bottom line” dari penilaian
programe menyangkut efek langsung ini (lihat Tabel 13.2, Langkah 3) dan dampak program
utama (Langkah 4). (Perhatikan bahwa bidang evaluasi program menggunakan istilah hasil
dan dampak sebagaimana dijelaskan dalam bab ini. Bidang kesehatan masyarakat
membalikkan ketentuan-ketentuan ini dan menggunakan istilah hasil untuk mengartikan
indikator dan dampak jangka panjang dengan mengartikan indikator jangka pendek. )

Evaluasi hasil, seperti istilah yang digunakan dalam evaluasi program dan psikologi
komunitas, berkaitan dengan mengukur efek jangka pendek atau langsung dari suatu program
pada peserta atau penerimanya. Ini mencoba untuk menentukan efek langsung dari program,
seperti sejauh mana program pencegahan penggunaan narkoba meningkatkan pengetahuan
tentang narkoba dan risiko yang dirasakan menggunakan narkoba.

Pada dasarnya, Langkah 3 melihat pada hasil yang diinginkan yang dijelaskan pada Langkah
1 dan mencari bukti mengenai sejauh mana hasil tersebut dicapai (lihat Tabel 13.2, Langkah
3). Bukti hasil program untuk program pencegahan penyalahgunaan narkoba dapat mencakup
peningkatan kesadaran akan bahaya narkoba atau peningkatan skor pada ukuran keterampilan
sosial untuk melawan tekanan untuk menggunakan narkoba. Merencanakan cara
mengumpulkan data atau bukti ini paling baik dimulai bersamaan dengan perencanaan tujuan
dan hasil program.

Ukuran Hasil. Ini harus terkait erat dengan tujuan tetapi lebih spesifik. Ada beberapa
cara potensial untuk mengukur hasil.

Kuisioner laporan diri biasanya digunakan untuk mengukur hasil. Seperti yang mungkin
Anda ketahui dari kursus metodologi sebelumnya, mereka harus dipilih dengan hati-hati, dan
keandalan serta validitasnya harus dipertimbangkan. Uji / uji ulang reliabilitas (stabilitas)
suatu ukuran adalah perhatian khusus jika harus diberikan sebelum dan sesudah intervensi.
Bangun validitas, sejauh mana kuesioner mengukur apa yang diklaimnya untuk diukur, juga
merupakan masalah penting. Apakah ukuran keterampilan pemecahan masalah tertentu
benar-benar mengukur keterampilan itu? Validitas prediktif juga menjadi perhatian. Apakah
ukuran sikap tentang penggunaan narkoba memprediksi penggunaan narkoba yang
sebenarnya satu tahun kemudian? Pengembang dan evaluator program perlu
mempertimbangkan pertanyaan-pertanyaan ini sehubungan dengan teori program mereka.
Apa ukuran konstruk apa yang paling mencerminkan hasil sebenarnya dari program? (Ukuran
harga diri yang berguna untuk orang dewasa mungkin tidak berfungsi dengan baik untuk
remaja atau untuk hasil yang berhubungan dengan narkoba.)

Kuisioner laporan diri bukan satu-satunya cara untuk mengumpulkan data hasil.
Untuk beberapa tujuan, penting untuk memperoleh informasi dari sumber lain tentang
peserta, seperti peringkat anak oleh orang tua atau peringkat siswa oleh guru. Orang yang
mengisi kuesioner yang tidak melaporkan diri mereka sendiri disebut informan kunci.
Wawancara mendalam dengan informan kunci atau peserta adalah sumber data kualitatif
yang sangat baik. Peringkat pengamatan perilaku mungkin berguna, meskipun mereka
seringkali sulit untuk dikumpulkan dan dianalisis.
 Langkah 4: Evaluasi Dampak

Evaluasi dampak berkaitan dengan efek akhir yang diinginkan oleh suatu program. Dalam
alkohol dan program pencegahan narkoba lainnya, efek akhir mungkin termasuk
pengurangan dalam penggunaan narkoba secara keseluruhan (prevalensi), penurunan tingkat
siswa baru yang mulai menggunakan narkoba (kejadian), penurunan penangkapan
mengemudi dalam keadaan mabuk, dan penurunan tindakan disiplin sekolah untuk narkoba
atau pelanggaran alkohol (lihat Tabel 13.2, Langkah 4).

Hasil (Langkah 3) adalah hasil langsung atau jangka pendek dari suatu program,
sedangkan dampak (Langkah 4) adalah efek jangka panjang dari program.

Data arsip, berdasarkan catatan yang sering dikumpulkan untuk tujuan lain,
membantu menilai dampak. Contohnya termasuk catatan medis, catatan pengadilan remaja
atau polisi, atau nilai sekolah dan catatan kehadiran.

Ringkasan Ilustrasi Model Evaluasi Empat Langkah

Misalkan koalisi di komunitas Anda menerapkan program pencegahan untuk mengurangi

penggunaan alkohol, tembakau, dan obat-obatan remaja lainnya. Model evaluasi empat
langkah Prevention Plus III akan diterapkan sebagai berikut. Tabel 13.3 menyajikan setiap
langkah dengan menggunakan adaptasi formulir Prevention Plus III (Linney & Wandersman,
1991).

Langkah 1: Mengidentifikasi Tujuan. Langkah ini melibatkan menentukan sasaran,

sasaran, dan kelompok sasaran program. Tujuan program secara keseluruhan adalah untuk
mengurangi penggunaan narkoba secara keseluruhan dan penangkapan terkait narkoba,
kecelakaan, dan penyakit di kalangan remaja (dan, akhirnya, orang dewasa). Dua tujuan
program khusus adalah untuk meningkatkan pengetahuan warga tentang masalah terkait
narkoba dan komitmen mereka untuk bertindak atas masalah tersebut. Tujuan tambahan
adalah untuk meningkatkan keterampilan remaja dalam melawan tekanan dari teman sebaya
dan media untuk menggunakan narkoba dan untuk mengurangi penjualan tembakau lokal ke
anak di bawah umur. Kelompok sasaran khusus meliputi masyarakat, orang tua dari remaja,
siswa kelas 7 hingga 9, dan toko lokal yang menjual produk tembakau (lihat Tabel 13.3,
Langkah 1).

Langkah 2: Evaluasi Proses. Program ini akan dilaksanakan dengan beberapa cara.
Kampanye media dan pertemuan publik akan dilakukan untuk meningkatkan kesadaran
publik tentang masalah terkait narkoba. Kelas-kelas sekolah (kelas 7–9), termasuk latihan dan
sandiwara dramatis, dan majelis sekolah akan diadakan tentang masalah terkait narkoba,
termasuk keterampilan untuk menolak penggunaan narkoba. Kursus pelatihan orang tua akan
fokus pada keterampilan komunikasi dengan remaja. Intervensi perilaku untuk kesediaan
toko pengujian untuk menjual produk tembakau kepada anak di bawah umur dan memperkuat
penolakan mereka untuk menjual akan dilaksanakan. Untuk melakukan evaluasi proses,
berikut ini akan dicatat: jumlah pertemuan, kelas, majelis, dan lokakarya pelatihan yang
direncanakan dan benar-benar diadakan, waktu staf dihabiskan untuk masing-masing, dan
kehadiran di setiap sesi. Waktu dan orang yang terlibat dalam pelatihan penguji siswa dan
implementasi intervensi perilaku untuk toko pengujian juga akan dicatat (lihat Tabel 13.3,
Bagian A dari Langkah 2). Setelah setiap komponen program diimplementasikan, evaluasi
proses akan mencakup diskusi tentang apa yang dipelajari oleh staf program dan perencana
dari pengalaman (lihat Tabel 13.3, Bagian B dari Langkah 2).

Langkah 3: Evaluasi Hasil. Sebelum dan sesudah pertemuan publik dan survei
anggota masyarakat yang dilakukan sebelum dan sesudah kampanye media, kuesioner akan
menilai perubahan dalam pengetahuan warga tentang masalah penyalahgunaan narkoba dan
jumlah sukarelawan untuk kegiatan koalisi. Kuisioner yang mengukur keterampilan
pengasuhan anak untuk berkomunikasi dengan remaja akan diberikan sebelum dan sesudah
kursus pelatihan orang tua untuk mengukur perubahan di area ini di antara peserta kursus. Di
sekolah-sekolah, kuesioner yang diisi oleh siswa dan guru akan mengukur keuntungan siswa
dalam keterampilan untuk menentang penggunaan narkoba (diukur sebelum dan setelah
intervensi kelas). Kuesioner siswa juga dapat digunakan untuk mengukur perubahan sikap
dan perilaku terkait penggunaan narkoba. Akhirnya, tes perilaku keinginan atau penolakan
petugas toko untuk menjual tembakau ke anak di bawah umur akan dilakukan dan dicatat
(lihat Tabel 13.3, Langkah 3).

Langkah 4: Evaluasi Dampak. Sebagai contoh, efek jangka panjang dari program
ini dapat diukur dengan perubahan dalam tindakan disiplin sekolah terkait narkoba,
penangkapan polisi dan catatan kecelakaan untuk remaja, dan catatan rumah sakit tentang
perawatan terkait narkoba (lihat Tabel 13.3, Langkah 4).

Meskipun metode evaluasi program empat langkah dalam Prevention Plus III pada
awalnya dikembangkan untuk evaluasi dalam alkohol, tembakau, dan domain
penyalahgunaan narkoba lainnya, metode ini dapat disesuaikan dengan area program apa pun,
seperti program pencegahan kesehatan mental berbasis masyarakat (McElhaney, 1995 ).

MENTORING: PERSPEKTIF EVALUASI PROGRAM

Pada bagian ini, kami lebih lanjut menggambarkan konsep penilaian programe dengan
menerapkannya pada program mentoring. Bahan untuk bagian ini terutama ditulis oleh
Bernadette Sanchez dari DePaul University.

Istilah mentoring berasal dari mitologi Yunani, di mana Mentor adalah teman
Odysseus yang tepercaya dan menjabat sebagai wali dan pengajar putra Odysseus ketika
Odysseus pergi (Haskell, 1997). Hubungan mentoring umumnya melibatkan orang yang lebih
tua, lebih berpengalaman (mentor) dan orang yang lebih muda, kurang berpengalaman
(mentee). Mentor membantu mengembangkan karakter dan kompetensi mentee atau
membantu mentee dalam mencapai tujuan sambil juga menunjukkan kepercayaan,
kepercayaan, empati, dan persahabatan, memodelkan perilaku positif, dan melayani sebagai
penganjur mentee (DuBois & Karcher, 2005; Rhodes , 2002; Rhodes & DuBois, 2008;
Rhodes, Spencer, Keller, Liang, & Noam, 2006; Spencer, 2006).

Studi menunjukkan bahwa pendampingan berkaitan dengan peningkatan

perkembangan sosial dan psikologis positif remaja (misalnya, DuBois & Silverthorn, 2005;
Karcher, 2008), prestasi sekolah (misalnya, DuBois & Silverthorn, 2005; Sanchez, Esparza,
& Colon, 2008), pengembangan karir (misalnya, Klaw & Rhodes, 1995), dan untuk
mengurangi penggunaan narkoba dan kenakalan (misalnya, Zimmerman, Bingenheimer, &
Notaro, 2002). Namun, evaluasi menunjukkan bahwa efek pendampingan sebenarnya
sederhana. Dua ulasan program mentoring telah mendukung temuan ini dari efek positif
tetapi sederhana dalam kaitannya dengan berbagai hasil, termasuk peningkatan perilaku,
terkait kesehatan, dan hasil karir dan penurunan kenakalan remaja, dibandingkan dengan
individu yang tidak dibimbing (Eby et al ., 2007; Jolliffe & Farrington, 2007).

Banyak dari evaluasi ini fokus pada apakah pendampingan berhasil. Dengan kata lain,
apakah pendampingan membuat perbedaan dalam kehidupan anak muda? Meskipun evaluasi
ini menunjukkan bahwa pendampingan mendorong perkembangan pemuda yang positif,
penting untuk mempertimbangkan proses yang terjadi dalam program pendampingan ini
untuk memahami apa yang berkontribusi pada hasil ini.

Bagaimana Cara Bimbingan Kerja?

Untuk memahami bagaimana pendampingan meningkatkan perkembangan anak muda yang

positif, para peneliti telah memeriksa karakteristik hubungan ini. Durasi hubungan, frekuensi
kontak, jumlah waktu yang dihabiskan bersama, dan kualitas hubungan telah terbukti penting
(Herrera et al., 2007; Jolliffe & Farrington, 2007). Interpretasi kami atas hasil-hasil ini adalah
bahwa hubungan mentoring (hubungan yang ditandai oleh kepercayaan, empati,
kebersamaan, rasa hormat, dll.) Yang pada akhirnya mempromosikan hasil-hasil pemuda
yang positif. Ada bukti yang menunjukkan bahwa pendampingan pemuda mengarah pada
manfaat yang lebih besar ketika dilengkapi dengan layanan dukungan lainnya (Kuperminc et
al., 2005). Faktanya, evaluasi Jolliffe dan Farrington (2007) tentang program pendampingan
yang menargetkan residivisme kaum muda menunjukkan bahwa pendampingan lebih berhasil
dalam mengurangi pengulangan ketika itu merupakan bagian dari berbagai intervensi di mana
pemuda berpartisipasi. Intervensi pelengkap termasuk program ketenagakerjaan, program
pendidikan, konseling, dan modifikasi perilaku. Selanjutnya, kami menggambarkan evaluasi
program pendampingan menggunakan metode empat langkah dari Prevention Plus III sebagai
panduan.

Mentoring: Menerapkan Metode Evaluasi Empat Langkah

Kekuatan perempuan! adalah program pendampingan yang inovatif untuk gadis-gadis remaja
etnis minoritas, rendah, dan rendah, yang dipasangkan dengan sukarelawan dewasa wanita.
Program ini adalah bagian dari Big Brothers Big Sisters of Metropolitan Chicago
(BBBSMC), dan melengkapi model hubungan pendampingan satu-satu yang khas dalam
BBBS. Di GirlPOWER !, anak perempuan dan mentor wanita mereka bertemu secara teratur
(setidaknya setiap bulan) dalam sebuah grup dengan beberapa pasangan mentoring wanita
lainnya selama satu tahun. Pasangan Mentormentee juga diharapkan untuk bertemu secara
teratur di luar GirlPOWER! program. (GirlPOWER! Dijelaskan lebih rinci dalam DuBois et
al. (2008); para peneliti terlibat dengan pengembangan dan evaluasi GirlPOWER!)

Sejumlah langkah telah diambil dalam pengembangan program. Pertama, para peneliti
mewawancarai berbagai pemangku kepentingan, termasuk orang tua, pemuda, mentor dan
anggota staf, untuk menentukan tujuan dan topik yang harus dibahas dalam program
pendampingan serta bagaimana program harus dilaksanakan. Kedua, para peneliti meninjau
literatur teoritis, empiris, dan intervensi yang relevan. Ketiga, program percontohan
dilaksanakan berdasarkan dua langkah sebelumnya dan kemudian program direvisi
berdasarkan umpan balik dari para peserta.

Tujuan utama GirlPOWER! adalah untuk memfasilitasi pengembangan hubungan

mentoring yang kuat dan langgeng yang memberdayakan anak perempuan untuk tumbuh
menjadi wanita yang sehat dan sukses. Program ini memiliki tujuan terukur yang lebih
spesifik di bidang promosi kesehatan (misalnya, olahraga, nutrisi), pencegahan perilaku
berisiko (misalnya, penggunaan narkoba, kekerasan), pendidikan (misalnya, keberhasilan
akademik, eksplorasi karier), dan pengembangan pemuda yang positif (misalnya , harga diri,
pemecahan masalah, identitas etnis).

Untuk menilai sejauh mana program berhasil mencapai tujuan dan hasil yang
diinginkan, komponen evaluasi proses dan hasil dilakukan. Beberapa pemangku kepentingan
yang berbeda dalam program disurvei dalam upaya untuk mendapatkan umpan balik mereka
tentang kepuasan dengan program saat ini dan saran untuk perbaikan. Stakeholder ini
termasuk mentor, mentee, orang tua, dan staf yang menjalankan program. Selain itu, lembar
kerja diselesaikan untuk mendokumentasikan komponen program penting (mis., Perekrutan
mentor, pelatihan, pengawasan).

Hasil evaluasi proses menunjukkan bahwa mentor dan remaja menemukan

GirlPOWER! untuk menjadi umumnya menyenangkan dan bermanfaat. Peserta memberikan
umpan balik tentang kekuatan dan bidang peningkatan. Sebagai contoh, beberapa orang
melaporkan bahwa mereka menikmati kesempatan terstruktur bagi mentor dan remaja untuk
berinteraksi, dan mereka menyukai topik-topik dalam GirlPOWER! sesi berfungsi sebagai
benih untuk diskusi lebih lanjut di waktu mereka sendiri. Mereka juga suka menghabiskan
waktu dengan mentor dan remaja lainnya selama sesi. Peserta juga memberikan saran untuk
peningkatan program. Mereka menyatakan bahwa mereka menginginkan lebih banyak waktu
selama PERNIKAHAN! sesi untuk terlibat dalam kegiatan dan mengeksplorasi topik secara
mendalam untuk memungkinkan interaksi spontan dan kreatif antara mentor dan remaja.
Selanjutnya, pada awal program, kehadiran rata-rata sekitar 50%, sehingga upaya dilakukan
oleh anggota staf untuk meningkatkan kehadiran.

Evaluasi hasil dilakukan dengan menggunakan desain eksperimental. Dua puluh

pasangan mentor-pemuda secara acak ditugaskan ke GirlPOWER! sementara 20 pasangan
mentor-pemuda secara acak ditugaskan untuk program pendampingan pribadi yang diberikan
oleh BBBS. Semua mentor dan pemuda disurvei di awal program, tiga bulan ke dalam
program, dan di akhir program. Kualitas hubungan mentoring dan berbagai hasil
perkembangan pemuda diukur. Perbandingan kedua kelompok menunjukkan bahwa, secara
keseluruhan, peserta dalam GirlPOWER! program mentoring memiliki hubungan mentoring
kualitas yang lebih baik daripada rekan-rekan mereka dalam program mentoring tradisional.
Selanjutnya, GirlPOWER! remaja melaporkan lebih banyak pengetahuan kesehatan, lebih
banyak dukungan orang tua, harga diri teman sebaya yang lebih baik, dan aspirasi dan
motivasi akademik yang lebih tinggi daripada rekan-rekan mereka. Namun, tidak ada
perbedaan antara kedua kelompok dalam hasil lainnya, seperti nilai, identitas etnis, area harga
diri lainnya, dan agresi. Dampak jangka panjang (Langkah 4) tidak dinilai.

MENGHUBUNGI PROGRAM EVALUASI DENGAN PENGEMBANGAN

PROGRAM

Beberapa hasil hasil dari program pendampingan GirlPOWER mengecewakan. Ini dapat
memberikan petunjuk untuk pengembangan program dan peningkatan program. Karena
GirlPOWER! menyasar beragam hasil pemuda, mungkin upaya yang lebih terkonsentrasi di
bidang yang tidak mencapai hasil perlu dilakukan dalam program. Misalnya, jika peningkatan
nilai adalah tujuan, maka layanan bimbingan mungkin diperlukan untuk mengubah nilai.
Contoh lain adalah bahwa identitas etnis hanya tercakup dalam satu komponen lokakarya.
Mungkin menghabiskan lebih banyak waktu untuk topik ini akan membuat perbedaan dalam
identitas etnis anak perempuan. Selanjutnya, setiap lokakarya bulanan difokuskan pada topik
tertentu (mis., Budaya, harga diri). Mungkin efeknya tidak diamati pada beberapa hasil
karena lokakarya telah berlangsung berbulan-bulan sebelum evaluasi hasil itu dilakukan.
Mungkin saja waktu lokakarya terkait dengan evaluasi memengaruhi temuan. (Ini mungkin
contoh kegagalan evaluasi.)

Gambaran besar pada evaluasi program adalah bahwa hasil yang diukur dengan tema
dari banyak program pengobatan, pencegahan, dan pendidikan seringkali mengecewakan
(mis., Hasil dari DARE). Seringnya hasil yang mengecewakan telah memacu gerakan kuat
untuk akuntabilitas dan untuk peningkatan program dalam program masyarakat dan sosial.
Secara tradisional, evaluasi program berkaitan dengan apakah suatu program yang sudah
dikembangkan berfungsi dan mengapa. Namun, pendekatan evaluasi program tradisional
tidak mempelajari bagaimana mengembangkan program yang efektif.

Peningkatan kualitas berkelanjutan (CQI) dari program bergantung pada penggunaan

data evaluasi untuk merencanakan dan mengimplementasikan modifikasi program. Banyak
hambatan yang mencegah perencana program dan staf untuk menggunakan umpan balik
tersebut dengan baik. Pertama, program dapat menggunakan evaluator luar, seseorang yang
tidak berkepentingan dalam keberhasilan atau kegagalan program (dengan demikian,
mungkin lebih objektif). Pendekatan semacam itu dapat mengatur hubungan “kita vs mereka”
yang dapat membatasi kualitas dan kegunaan dari temuan evaluasi. (Ingat dari Bab 3
pentingnya hubungan antara peneliti dan komunitas yang dipelajari.) Tetapi praktisi program
sering percaya bahwa mereka tidak memiliki waktu, sumber daya, atau keahlian untuk
melakukan evaluasi mereka sendiri. Kedua, evaluasi program biasanya memberikan umpan
balik pada akhir pelaksanaan program, tanpa peluang untuk koreksi tengah jalan. Oleh karena
itu, anggota staf program sering melihat evaluasi sebagai proses yang mengganggu yang
menghasilkan kartu laporan keberhasilan atau kegagalan tetapi tidak ada informasi yang
berguna untuk perbaikan program. Yang ketiga, hambatan terkait adalah persepsi umum dari
penelitian evaluasi dan temuan sebagai terlalu kompleks, teoretis, atau tidak ramah pengguna.

Evaluasi program dapat dan harus menyediakan informasi penting tentang proses dan
hasil. Informasi ini penting tetapi jauh lebih bermakna jika anggota staf dan peserta program
masyarakat memahami bagaimana dan mengapa hasil program itu atau tidak dihasilkan. Jika
hasilnya positif, para pemangku kepentingan dapat menunjukkan dengan tepat beberapa
proses yang mengarah pada keberhasilan program. Sebaliknya, jika hasilnya kurang dari yang
diharapkan, mereka dapat mengidentifikasi apa yang perlu ditingkatkan.

EVALUASI PEMBERDAYAAN

Pada bagian ini, kami akan menjelaskan evaluasi pemberdayaan dalam hal 1) definisi, 2)
prinsip (nilai), dan 3) a "bagaimana caranya" —Mendapat Hasil. Model empat langkah (hlm.
435-438) menjelaskan beberapa logika dasar evaluasi dan mencoba untuk menjelaskan apa
evaluasi itu. Di bagian ini, kami akan menunjukkan bagaimana memperluas logika ini dapat
bermanfaat bagi para praktisi (mis., Guru, staf program afterschool) untuk merencanakan dan
mengimplementasikan program yang efektif serta mengevaluasi program. Pendekatan
inovatif untuk evaluasi program, yang disebut evaluasi pemberdayaan (EE), tumbuh dari
diskusi peran "baru" dan berkembang untuk evaluator, yang dirancang untuk mendorong
penentuan nasib sendiri praktisi program (misalnya, Fetterman, 2001; Fetterman &
Wandersman, 2005; Linney & Wandersman, 1991). EE memecah hambatan yang melekat
dalam metode dan nilai-nilai evaluasi tradisional, mempromosikan perspektif pemberdayaan
dan partisipasi warga negara (Fetterman, 1996).

Definisi evaluasi pemberdayaan (EE) adalah:

Pendekatan evaluasi yang bertujuan untuk meningkatkan kemungkinan mencapai

keberhasilan program dengan: (a) menyediakan pemangku kepentingan program dengan alat
untuk menilai perencanaan, pelaksanaan, dan evaluasi diri program mereka, dan (b)
pengarusutamaan evaluasi sebagai bagian dari perencanaan dan manajemen dari program /
organisasi. (Wandersman et al., 2005, p. 28)
 Evaluator pemberdayaan berkolaborasi dengan anggota masyarakat dan praktisi
program untuk menentukan tujuan program dan strategi implementasi, berfungsi sebagai
fasilitator atau pelatih, memberikan bantuan teknis untuk mengajar anggota masyarakat dan
staf program untuk melakukan evaluasi diri, dan menekankan pentingnya menggunakan
informasi dari evaluasi di peningkatan program yang berkelanjutan. Singkatnya, evaluasi
pemberdayaan membantu pengembang program dan staf untuk mencapai tujuan program
mereka dengan menyediakan alat untuk menilai dan meningkatkan perencanaan,
implementasi, dan hasil program mereka sendiri.

EE Principles

EE berbagi beberapa nilai dan metode dengan pendekatan lain untuk evaluasi,
termasuk evaluasi tradisional dan kerabat dekat EE: evaluasi kolaboratif, evaluasi partisipatif,
dan evaluasi yang berfokus pada pemanfaatan. Namun, serangkaian prinsip EE (lihat Tabel
13.4) dipertimbangkan secara keseluruhan yang membedakan EE dari pendekatan evaluasi
lainnya. Penomoran prinsip tidak mencerminkan jenis hierarki atau prioritas satu prinsip di
atas prinsip lainnya. Sebaliknya, prinsip-prinsip tersebut harus dianggap sebagai seperangkat
keyakinan inti yang, secara keseluruhan, mengkomunikasikan nilai-nilai EE yang
mendasarinya dan memandu pekerjaan para evaluator pemberdayaan; prinsip-prinsip ini
sesuai dengan dan tumpang tindih dengan beberapa nilai psikologi masyarakat (Bab 1) dan
penelitian partisipatif (Bab 3). Deskripsi prinsip adalah deskripsi singkat yang dikutip dari
Wandersman et al. (2005, hlm. 29–38).

Prinsip 1: Peningkatan Para evaluator pemberdayaan ingin agar program berhasil. Untuk
mencapai tujuan itu, EE menghargai peningkatan dalam orang, program, organisasi, dan
komunitas.

Prinsip 2: Kepemilikan masyarakat Penilai pemberdayaan juga percaya bahwa evaluasi

kemungkinan besar akan mengarah pada peningkatan program ketika masyarakat
diberdayakan untuk menggunakan kewenangannya yang sah untuk membuat keputusan yang
mengarahkan proses evaluasi. Di EE, para pemangku kepentingan, dengan bantuan evaluator
pemberdayaan, melakukan evaluasi dan menggunakan temuan-temuan evaluasi.

Prinsip 3: Penilai pemberdayaan inklusi percaya evaluasi program atau organisasi mendapat
manfaat dari melibatkan pemangku kepentingan dan staf dari berbagai tingkatan yang terlibat
dalam perencanaan dan pengambilan keputusan. Menjadi inklusif berbeda dari bagaimana
orang membuat keputusan mereka sebagai kelompok, seperti bentuk partisipasi yang
demokratis (lihat Prinsip 4).

Prinsip 4: Partisipasi Demokratis Definisi EE mengasumsikan bahwa para pemangku

kepentingan memiliki kapasitas untuk penilaian dan tindakan yang cerdas ketika diberikan
informasi dan kondisi yang sesuai. Partisipasi demokratis juga (1) menggarisbawahi
pentingnya musyawarah dan kolaborasi otentik sebagai proses kritis untuk memaksimalkan
penggunaan keterampilan dan pengetahuan yang ada di masyarakat dan (2) menekankan
bahwa keadilan dan proses yang wajar adalah bagian mendasar dari proses EE.
Prinsip 5: Penilai Pemberdayaan Keadilan Sosial percaya dan memiliki komitmen kerja
untuk keadilan sosial: alokasi sumber daya, peluang, kewajiban, dan daya tawar yang adil dan
setara (Prilleltensky, 1999). EE sangat cocok untuk sebagian besar program dan populasi
yang tertarik untuk meningkatkan kinerjanya. Tidak semua program mengidentifikasi secara
langsung dengan keadilan sosial sebagai bagian dari misi mereka. Namun, para pendukung
EE percaya bahwa hampir semua program yang dirancang untuk membantu orang dan
masyarakat di tingkat mana pun (individu, keluarga, lingkungan) dan domain (mis.,
Pendidikan, kesehatan, ekonomi) pada akhirnya berkontribusi pada tujuan keadilan sosial
yang lebih besar.

Prinsip 6: Pengetahuan Komunitas Di EE, pengetahuan dan kebijaksanaan berbasis

masyarakat juga dihargai dan dipromosikan. EE merangkul pengetahuan komunitas lokal dan
percaya bahwa orang-orang biasanya mengetahui masalah mereka sendiri dan berada dalam
posisi yang baik untuk menghasilkan solusi mereka sendiri.

Prinsip 7: Strategi Berbasis Bukti EE menilai peran sains dan strategi berbasis bukti dan
meyakini bahwa peninjauan intervensi berbasis bukti atau praktik terbaik yang relevan
penting untuk dipertimbangkan sejak awal dalam proses merancang dan / atau memilih
program untuk ditangani kebutuhan masyarakat. Seperti halnya EE menghormati pekerjaan
komunitas dan basis pengetahuannya, EE juga menghormati basis pengetahuan para sarjana
dan praktisi yang telah memberikan informasi empiris tentang apa yang berhasil di area
tertentu (mis., Pencegahan, perawatan).

Prinsip 8: Pengembangan Kapasitas Patton (2008) mendefinisikan pembangunan kapasitas

sebagai perubahan individu dalam pemikiran dan perilaku dan perubahan program atau
organisasi dalam prosedur dan budaya yang dihasilkan dari pembelajaran yang terjadi selama
proses evaluasi (p. 90). Evaluator pemberdayaan percaya bahwa ketika para pemangku
kepentingan mempelajari langkah-langkah dasar dan keterampilan yang terlibat dalam
melakukan evaluasi program, mereka berada dalam posisi yang lebih baik untuk membentuk
dan meningkatkan kehidupan mereka dan kehidupan mereka yang berpartisipasi dalam
program mereka.

Prinsip 9: Peningkatan Pembelajaran Organisasi ditingkatkan ketika ada proses yang

mendorong pembelajaran (pembelajaran organisasi) dan struktur organisasi yang mendorong
pembelajaran (organisasi pembelajaran). Ada sejumlah besar informasi tentang pembelajaran
organisasi dan organisasi pembelajaran dalam literatur organisasi dan manajemen (mis., Ang
& Joseph, 1996; Argyris & Schon, 1978; Argyris, 1999; Senge, 1990).

Prinsip 10: Akuntabilitas EE menyediakan sarana inovatif untuk membantu program

bertanggung jawab kepada diri mereka sendiri dan kepada publik dengan menghasilkan
proses dan data yang berorientasi pada hasil dalam kerangka evaluasi yang mempertinggi
sensitivitas organisasi terhadap tanggung jawabnya terhadap publik dan terhadap dirinya
sendiri (R. Miller , komunikasi pribadi).
 Contoh Kasus Evaluasi Pemberdayaan

Foundation For the Future (FFF). Evaluasi pemberdayaan FFF dijelaskan dalam Keener,
Snell-Johns, Livet, dan Wandersman (2005). Menyadari bahwa pemuda yang mereka layani
dihadapkan pada berbagai faktor risiko (mis., Kemiskinan, kurangnya dukungan keluarga),
Klub Boys & Girls di Metro Spartanburg, South Carolina, menciptakan kemitraan komunitas:
Foundation For the Future (FFF). FFF akan memberikan layanan tambahan kepada keluarga
anggota Klub Boys & Girls sambil secara bersamaan meningkatkan kapasitas agensi lain
yang ada untuk mencapai populasi yang biasanya tidak dilayani oleh program mereka.
Kemitraan FFF didirikan atas dasar keyakinan bahwa organisasi dan program yang ada di
masyarakat dapat mencapai lebih banyak kerja sama daripada yang masing-masing dapat
beroperasi secara mandiri. Program-program itu meliputi lima program seni, program Prestasi
Junior, program Orangtua sebagai Guru untuk orang tua dari anak-anak, dan program
Universitas Induk untuk orang tua anggota Klub Boys & Girls. Komponen utama FFF adalah
program afterschool yang ditingkatkan. Meskipun masing-masing lembaga memiliki
serangkaian hasil unik yang diinginkan, kemitraan ini disatukan di sekitar tujuan keseluruhan
untuk meningkatkan rasa memiliki, kegunaan, pengaruh, dan kompetensi keluarga.

Inisiatif FFF memanfaatkan program berbasis bukti yang sudah ada di wilayah
Spartanburg. Kontrak evaluasi menyatakan bahwa tujuan pertama dari tim evaluasi adalah
untuk membantu membangun dan memelihara sistem evaluasi diri yang efektif. Untuk
memenuhi tugas ini, tim evaluasi bekerja sama dengan organisasi anggota FFF untuk
mengembangkan rencana dan produk evaluasi individual. Namun, tanggung jawab utama
untuk evaluasi adalah milik FFF (bukan evaluator). Ini konsisten dengan prinsip-prinsip EE
tentang kepemilikan masyarakat, inklusi, partisipasi demokratis, dan pembangunan kapasitas.

Sebagian dari temuan evaluasi memberi kesan pendekatan FFF. Salah satu tujuan FFF
adalah untuk meningkatkan nilai siswa pada tes standar di sekolah, yang akan dicapai oleh
program afterschool di Boys & Girls Clubs. Program-program itu termasuk jam penyelesaian
pekerjaan rumah harian dan program untuk pengembangan pendidikan dan karier. Klub
Lokal Anak Laki-Laki & Perempuan berkomitmen untuk memiliki lebih dari sepertiga
program mingguan mereka di bidang-bidang ini, dan staf menyiapkan laporan pelacakan
mingguan tentang program-program. Evaluasi hasil membandingkan 334 peserta program
dalam beberapa program FFF, dengan sekelompok 836 siswa yang sama dari sekolah yang
sama, pada tes standar tahunan di sekolah. Dalam bahasa Inggris, matematika, studi sosial,
dan sains, peserta FFF mengungguli kelompok pembanding. Efek program terbesar adalah
memindahkan siswa dari kategori skor terendah ke kategori kemampuan dasar, meskipun
efek positif terlihat pada beberapa tingkatan.

Kami meminta Greg Tolbert, direktur eksekutif Boys & Girls Club yang memimpin
proyek FFF, untuk memberikan pembaruan (2010), yang disediakan dalam Kotak 13.1.
Pembaruannya memberikan deskripsi yang berguna tentang penggunaan data evaluasi untuk
akuntabilitas dan peningkatan dan deskripsi masalah seputar mempertahankan program
setelah hibah awal berakhir.
Mengevaluasi Pemberdayaan Evaluasi. Campbell et al. (2004) melakukan evaluasi
pendekatan EE, mempelajari semua program pencegahan perkosaan dan layanan korban yang
didanai negara bagian di Michigan. Negara ingin membangun kapasitas evaluasi masing-
masing lembaga sehingga anggota staf dapat mengevaluasi program mereka sendiri. Para
penulis terlibat dalam menggunakan pendekatan evaluasi pemberdayaan dengan semua
organisasi yang meliputi pelatihan, bantuan teknis, dan manual. Mereka kemudian
mempelajari apa yang terjadi dan menemukan bahwa 90% dari program pencegahan dan 75%
dari program layanan korban berhasil mengembangkan dan meluncurkan evaluasi program
dan 90% melanjutkan proses evaluasi satu tahun setelah pendanaan program formal berakhir.
Campbell et al. juga mengukur peningkatan kapasitas evaluasi dan menemukan peningkatan
yang signifikan dari waktu ke waktu. Studi ini memberikan dukungan empiris untuk sejumlah
konsep kunci dalam evaluasi pemberdayaan.

Kontroversi dan Dialog Tentang Evaluasi Pemberdayaan. Sejak EE dimulai, debat dan
dialog yang hidup telah terjadi tentang isu-isu yang melibatkan EE, termasuk (a) ambiguitas
konseptual, spesifisitas metodologis, dan hasil; (B) memberdayakan orang lain; (c) bias; (d)
agenda sosial; dan (e) perbedaan antara evaluasi kolaboratif, partisipatif, dan pemberdayaan
(Alkin & Christie, 2004; Brown, 1997; Sepupu, 2005; Miller & Campbell, 2006; Scriven,
1997, 2005; Sechrest, 1997; Stufflebeam, 1994; Patton, 1997a, 2005). Fetterman dan
Wandersman (2007) menanggapi masalah ini. Sebagai contoh, sejumlah kritik prihatin bahwa
evaluator pemberdayaan mungkin bias dan mempromosikan evaluasi hasil yang bias.
Fetterman dan Wandersman menjawab kekhawatiran ini dengan mencatat bahwa tujuan
evaluasi pemberdayaan adalah untuk membantu program mencapai hasil dan bahwa hasilnya
sama dengan yang diukur dalam evaluasi tradisional. Oleh karena itu, jika hasilnya adalah
tindakan objektif (mis., Tes standar, jumlah kasus AIDS dalam suatu populasi), mereka
dinilai dengan cara yang sama dalam evaluasi pemberdayaan atau dalam evaluasi tradisional.
Diskusi telah menerangi dan mungkin menarik bagi pembaca yang ingin menggali lebih
dalam isu-isu penting di bidang evaluasi (dan juga untuk melihat bagaimana kontroversi di
antara para akademisi dimainkan).

MENDAPATKAN HASIL

Evaluasi pemberdayaan terdengar bagus dan menarik bagi banyak penyandang dana dan
praktisi. Bagaimana Anda bisa melakukan EE? Bagaimana Anda bisa mencapai
akuntabilitas? Menggunakan filosofi evaluasi pemberdayaan, Wandersman, Imm, Chinman,
dan Kaftarian (1999, 2000) mengembangkan pendekatan 10 langkah untuk akuntabilitas
berbasis hasil yang disebut Getting To Outcomes® (GTO®). (Getting To Outcomes dan
GTO adalah merek dagang terdaftar oleh University of South Carolina dan RAND.) Dengan
mengajukan dan menjawab 10 pertanyaan kunci, intervensi dapat diarahkan pada
akuntabilitas berbasis hasil dan peningkatan program.

10 Pertanyaan Akuntabilitas GTO

GTO adalah pendekatan langsung yang mendemistifikasikan evaluasi dan akuntabilitas, dan
menunjukkan kepada praktisi program nilai evaluasi dalam mengimplementasikan program
pencegahan kualitas. Apakah memulai program baru atau melanjutkan yang sudah ada,
praktisi program dapat mulai berpikir tentang efektivitas program dan peningkatan program
dengan menjawab 10 pertanyaan akuntabilitas GTO, yang berfungsi sebagai panduan awal
untuk berhasil merencanakan, melaksanakan, dan mengevaluasi program. Setiap pertanyaan
melibatkan sejumlah langkah penilaian diri. Jawaban untuk setiap pertanyaan mengarah ke
pertanyaan berikutnya — ini adalah bentuk dari apa yang disebut pengambilan keputusan
berdasarkan informasi. Dengan pertimbangan cermat dari setiap pertanyaan dan jawabannya,
organisasi harus secara signifikan meningkatkan kemungkinan bahwa ia akan mencapai hasil
yang diinginkan dan menunjukkan bahwa ia bertindak dengan akuntabilitas.

Tabel 13.5 menyajikan 10 pertanyaan dan strategi GTO untuk menjawabnya. Dalam tabel, ini
disajikan dalam urutan kronologis untuk proyek yang baru memulai tahap perencanaannya.
Namun, pertanyaan GTO dapat digunakan pada tahap apa pun dalam siklus hidup suatu
program (mis., Jika Anda telah memilih suatu program, Anda dapat memilih gagasan yang
akan membantu Anda mengimplementasikannya dengan berkualitas). Pertanyaan-pertanyaan
berfungsi sebagai alat pengajaran yang berguna untuk menunjukkan kepada praktisi program
dan penyandang dana relevansi dan pentingnya evaluasi dan akuntabilitas program
(Wandersman, Imm, Chinman, & Kaftarian, 2000).

Dalam Tabel 13.5, pertanyaan 2, 6, 7, dan 8 berisi empat langkah Prevention Plus III
(dibahas sebelumnya dalam bab ini). Apa yang dilakukan oleh Wandersman et al. disadari
bahwa pendekatan Prevention Plus III dapat membantu pengembang program melakukan
program mereka dengan lebih baik, tetapi itu tidak membantu mereka bertanya apakah
mereka melakukan program yang benar. Dengan demikian, hanya menggunakan Prevention
Plus III akan seperti menyetel mesin mobil Anda dan mengisi ban Anda sehingga mobil Anda
berjalan lebih baik dan Anda bisa melaju pada kecepatan 70 mph alih-alih melambat pada
kecepatan 30: tetapi Anda mungkin lebih cepat menyusuri jalan yang salah. Pertanyaan 1
hingga 5 dalam pertanyaan GTO membantu rencana staf program, anggota memilih program
yang tepat, sementara pertanyaan 6 hingga 10 membantu staf program mengimplementasikan
dan meningkatkan program dan terus menjalankannya.

Pertanyaan 1: Apa kebutuhan dan sumber daya di organisasi / sekolah / komunitas /

negara bagian Anda? Bagaimana Anda tahu Anda membutuhkan program? Seringkali,
program dipilih karena populer atau telah diterapkan di situs lokal lain daripada karena
mereka telah ditunjukkan untuk secara efektif mencegah masalah yang ditentukan dalam
pengaturan Anda. Sebagai contoh, Kaskutas, Morgan, dan Vaeth (1992) menggambarkan
pengalaman seorang penasihat konselor yang bekerja pada suatu proyek sebagai bagian dari
kolaborasi antarlembaga; setelah dua bulan merencanakan kelompok obat-obatan untuk anak-
anak sekolah menengah atas dalam proyek yang tidak bekerja, ia menemukan bahwa tidak
ada anak-anak sekolah menengah atas dalam proyek yang tidak memiliki pekerjaan (hlm.
179)! Karena itu, tidak diperlukan program.

Untuk menentukan jenis program mana yang dibutuhkan dalam komunitas tertentu,
sekolah, atau lembaga lain, strategi perencanaan yang disebut penilaian kebutuhan sering
digunakan (Soriano, 1995; Altschuld, 2010). Penilaian ini dirancang untuk mengumpulkan
informasi tentang masalah yang paling membutuhkan perbaikan atau intervensi dalam
komunitas atau organisasi (mis., Kekerasan remaja, penyalahgunaan alkohol dan narkoba).
Penilaian kebutuhan yang baik juga mencakup penilaian sumber daya dan identifikasi
kekuatan individu, organisasi, dan masyarakat yang dapat digunakan untuk memenuhi
kebutuhan masyarakat. Aset dapat mencakup talenta individu, sistem mikro yang dapat
menawarkan sistem dukungan sosial bagi orang-orang yang terlibat dalam program, atau
organisasi yang dapat menyediakan dana, ruang pertemuan, atau tempat untuk diskusi publik
mengenai tujuan program. Penilaian sumber daya juga memberikan tandingan terhadap
penilaian kebutuhan. Identifikasi masalah masyarakat yang terlibat dalam penilaian
kebutuhan diseimbangkan dengan penilaian kekuatan masyarakat (Kretzmann & McKnight,
1993).

Pertanyaan 2: Apa tujuan, populasi sasaran, dan hasil (tujuan) yang diinginkan untuk
organisasi / sekolah / komunitas / negara bagian Anda? Setelah kebutuhan dan sumber
daya untuk suatu program telah ditentukan, penting untuk menentukan tujuan program,
kelompok sasaran spesifik program, dan hasil yang diinginkan. (Ini adalah Langkah 1 dari
metode evaluasi empat langkah Pencegahan Plus III yang dibahas sebelumnya dalam bab
ini.)

Pertanyaan 3: Intervensi berbasis bukti mana yang dapat digunakan untuk mencapai
tujuan Anda? Setelah personil program memutuskan bahwa ada kebutuhan untuk mengatasi
program tertentu dan telah mengembangkan tujuan dan hasil yang diinginkan, bagaimana
mereka mencapainya? Strategi perlu dilakukan untuk mencapai tujuan dan hasil yang
diinginkan. Keputusan harus dibuat mengenai program atau intervensi mana yang akan
digunakan. Sebagai contoh, administrator program sekolah dan komunitas dihujani dengan
produk email yang mengiklankan produk kurikulum multimedia untuk program-program
seperti pencegahan kekerasan, pendidikan seks, dan pencegahan penyalahgunaan zat.
Bagaimana mereka memutuskan program mana yang akan dipilih? Keputusan ini seringkali
didasarkan pada kenyamanan atau ketersediaan. Apakah seseorang mengandalkan program
yang digunakan tahun lalu, terlepas dari kesuksesan, atau menggunakan program yang dapat
dipinjam secara gratis dari sumber lain atau mungkin menggunakan program yang diiklankan
di konvensi terakhir? Penting untuk diingat bahwa meskipun kenyamanan dan ketersediaan
penting, mereka tidak memastikan efektivitas program.

Tujuan ilmu pencegahan adalah untuk menyediakan dua jenis informasi. Salah
satunya adalah temuan empiris (biasanya kuantitatif) tentang efektivitas program dalam
mencapai tujuan yang diidentifikasi. Lain adalah informasi (biasanya kualitatif) tentang
praktik terbaik, elemen dan metode program yang paling cocok untuk jenis masalah tertentu
dalam jenis populasi tertentu (ingat ide ini dari Bab 9 dan 10). Jenis pengetahuan ini berguna
dalam menjawab pertanyaan program mana yang akan dipilih. Agar efektif, program perlu
didasarkan pada teori masalah target dan dikaitkan dengan penelitian saat ini dan yang
relevan (Buford & Davis, 1995; Goodman & Wandersman, 1994; Green & Lewis, 1986;
Leviton, 1994; Nation et al ., 2003; Weiss, 1995). Sains dan praktik terbaik pengetahuan
membantu tidak hanya dalam pemilihan program tetapi juga dalam perencanaan dan
implementasi program. Beberapa agen federal, seperti Pusat Pencegahan Penyalahgunaan Zat
dan Departemen Pendidikan A.S., memiliki situs web dengan informasi tentang program
berbasis bukti (lihat akhir Bab 9 dan 10).

Pertanyaan 4: Bagaimana intervensi sesuai dengan program lain yang sudah

ditawarkan? Apakah program ini akan meningkat, mengganggu, atau tidak terkait dengan
program lain yang sudah ditawarkan? Apakah akan menjadi bagian dari paket yang
komprehensif dan terkoordinasi atau hanya sebuah program baru dalam daftar panjang
program?

Ketika merancang program baru, penting untuk memastikan bahwa itu cocok dengan
kebutuhan masyarakat serta layanan yang tersedia yang sudah ada (Elias, 1995). Ketika
sebuah program baru akan dilaksanakan di sekolah atau lingkungan masyarakat lain,
pertimbangan utama harus memastikan bahwa intervensi baru akan meningkatkan upaya
yang ada. Untuk mengurangi duplikasi, praktisi harus terbiasa dengan program yang sudah
ada di sekolah atau komunitas mereka. Untuk mencegah tumpang tindih program atau
implementasi program yang tidak sesuai dengan tujuan lembaga atau masyarakat secara
keseluruhan, proses yang disebut pemetaan program dapat digunakan.

Pemetaan program adalah penilaian seberapa baik tujuan dan metode program yang
diusulkan akan sesuai dengan tujuan yang lebih luas atau filosofi motivasi dari organisasi
sponsor. Program dapat masuk ke dalam organisasi dalam tiga cara dasar: Mereka dapat
memiliki efek tambahan (satu program menambah yang lain), efek sinergis (satu program
melipatgandakan efek yang lain), atau efek interferensi (satu program mengurangi yang
lain) .

Pertanyaan 5: Kapasitas apa yang Anda butuhkan untuk menempatkan intervensi ini
dengan kualitas? Kapasitas organisasi terdiri dari sumber daya yang dimiliki organisasi
untuk mengarahkan dan mempertahankan program pencegahan (Flaspohler et al., 2008).
Beberapa program model mungkin terlalu sulit atau padat sumber daya untuk diberikan oleh
suatu organisasi. Dalam GTO, kapasitas organisasi untuk menilai mencakup memiliki (a)
jumlah staf yang memadai, dengan kredensial dan pengalaman yang sesuai untuk
mengimplementasikan program; (B) peran staf yang jelas dan komitmen staf yang kuat untuk
program; (c) kepemimpinan program yang kuat oleh para pemimpin yang memahami
program; (D) dana yang memadai dan sumber daya teknis untuk program atau rencana untuk
mendapatkannya.

Pertanyaan 6: Bagaimana intervensi ini akan dilakukan? Apa langkah-langkah yang akan
diambil oleh personil program untuk melaksanakannya? Selama tahap perencanaan ini,
pengembang program harus mengidentifikasi bagaimana mereka akan mengimplementasikan
program. Menjabarkan bagaimana suatu program akan dilaksanakan termasuk menentukan
langkah-langkah spesifik untuk melaksanakan program, mengidentifikasi dan melatih
personil untuk melaksanakan masing-masing langkah ini, dan mengembangkan garis waktu
atau jadwal untuk rencana ini. Staf program harus menentukan apa yang akan terjadi selama
kegiatan program yang dijadwalkan dan di mana kegiatan ini akan berlangsung. Semua
komponen ini harus didefinisikan dengan jelas untuk merencanakan dan
mengimplementasikan suatu program secara efektif.

Pertanyaan 7: Bagaimana kualitas implementasi akan dinilai? Apakah program benar-

benar dilaksanakan sesuai rencana? Apakah seluruh program disampaikan? Jika tidak,
komponen mana yang tidak dikirim? Apa yang benar, dan apa yang salah? Mengevaluasi
bagaimana suatu program dilaksanakan disebut evaluasi proses (Langkah 2 dari metode
Pencegahan Plus III dibahas sebelumnya).

Pertanyaan 8: Seberapa baik intervensi bekerja? Apakah program memiliki efek yang
diinginkan dan hasil yang diusulkan? Apakah ada konsekuensi yang tidak terduga?
(Mengevaluasi hasil dan dampak terdiri dari Langkah 3 dan 4 dari metode Pencegahan Plus
III yang dibahas sebelumnya).

Pertanyaan 9: Bagaimana strategi peningkatan kualitas berkelanjutan (CQI) akan

dimasukkan? Banyak program diulang. Mengingat tidak ada program yang sempurna, apa
yang dapat dilakukan untuk meningkatkan efektivitas dan efisiensi program di masa depan?
Jika proses dan hasil suatu program didokumentasikan dengan baik, peluang untuk belajar
dari upaya implementasi sebelumnya sangat besar. Melacak komponen-komponen program
yang bekerja dengan baik memastikan bahwa komponen-komponen tersebut akan
dimasukkan di masa mendatang. Menilai komponen program apa yang tidak berfungsi
memberikan peluang untuk perbaikan.

Pelajaran tentang apa yang berjalan baik dengan program dan bidang apa yang dapat
menggunakan peningkatan berasal dari sumber-sumber informal seperti pengamatan pribadi
dan laporan lisan dari peserta dan anggota staf atau sumber-sumber formal seperti langkah-
langkah kepuasan peserta dan evaluasi proses dan hasil program. Namun dikumpulkan,
informasi untuk perbaikan program diperoleh dari jawaban pertanyaan 1 hingga 8.

Anggota staf program yang terbuka untuk belajar dari hasil evaluasi dapat terus
meningkatkan program mereka. Alih-alih melihat evaluasi sebagai murni dokumentasi /
laporan kepada penyandang dana, itu harus dilihat sebagai mekanisme umpan balik yang
dapat memandu perencanaan dan implementasi di masa depan.

Pertanyaan 10: Jika intervensi (atau komponen) berhasil, bagaimana intervensi akan
dipertahankan? Setelah penyedia layanan melewati waktu, energi, dan uang untuk
mengembangkan program yang sukses, apa yang akan mereka lakukan untuk melihatnya
berlanjut? Sayangnya, ini adalah pertanyaan yang sering diabaikan dalam pemrograman
pencegahan. Bahkan ketika program memiliki hasil yang sukses, mereka sering tidak
dilanjutkan karena kurangnya dana, pergantian staf, atau kehilangan momentum. Tinjauan
Lerner (1995) tentang program pencegahan untuk pengembangan pemuda menyimpulkan
bahwa ada banyak program yang efektif untuk mencegah risiko dan perilaku bermasalah,
tetapi sayangnya, program ini jarang bertahan dari waktu ke waktu.

Goodman dan Steckler (1987) mendefinisikan pelembagaan sebagai pengembangan

komunitas dan dukungan organisasi untuk promosi kesehatan dan program pencegahan
sehingga mereka tetap layak dalam jangka panjang. Mereka mengidentifikasi faktor-faktor
yang terkait dengan keberhasilan pelembagaan, seperti mengidentifikasi sumber daya dan
membuat komponen program dapat diakses dan ramah pengguna untuk menampung staf
organisasi. Johnson et al. (2004) meninjau literatur tentang keberlanjutan dan
mengembangkan model yang mengidentifikasi faktor-faktor yang terkait dengan
mempertahankan program dan untuk mempertahankan organisasi yang
mengimplementasikan program (misalnya, koalisi).

Secara optimal, GTO adalah proses yang tidak pernah berakhir. Bahkan untuk
program yang dilaksanakan secara efektif dan terlembagakan secara menyeluruh, anggota
stafnya memulai dari awal lagi dengan pertanyaan 1. Gambar 13.2 mengilustrasikan bahwa
GTO adalah 1) berkelanjutan, 2) berorientasi pada hasil, dan 3) dapat diterima untuk
digunakan pada setiap tahap siklus kehidupan sebuah program (itu seperti komidi putar —
Anda melanjutkan pada tahap apa pun Anda berada).
 Contoh Tindakan GTO: Mencegah Minum Di Bawah Umur

Bagian ini dikutip dari “Mencegah Minum Di Bawah Umur Menggunakan Getting To
Outcomes ™ dengan Kerangka Kerja Pencegahan Strategis SAMHSA untuk Mencapai
Hasil” oleh Pamela Imm, Matthew Chinman, Abraham Pengembara, David Rosenbloom,
Sarah Guckenburg, dan Roberta Leis (RAND, 2007). Izin diberikan oleh RAND untuk
digunakan.

Mengapa minum di bawah umur menjadi masalah? Haruskah kita benar-benar sangat
khawatir tentang "ritus perjalanan" ini? Singkatnya, ya. Alkohol adalah kontributor utama
penyebab utama kematian remaja (NIAAA, 2003). Antara 12 persen dan 20 persen dari
semua alkohol yang dikonsumsi di Amerika Serikat diminum oleh orang yang secara hukum
terlalu muda untuk minum sama sekali dan ada konsekuensi nyata, yang dapat dicegah,
negatif (Foster et al., 2003). Bagi banyak orang, periode minum terberat dalam kehidupan
mereka adalah sebelum mereka mencapai usia 21. Beberapa remaja akan muncul di usia dua
puluhan, mengurangi minum, dan baik-baik saja. Bagi yang lain, minum akan menyebabkan
cedera atau kematian, kekerasan seksual, kekerasan, dan peluang hidup yang berkurang.
Penelitian menunjukkan bahwa lebih dari 95 persen orang dewasa di Amerika Serikat yang
tergantung alkohol mulai minum sebelum mereka berusia 21 tahun (SAMHSA, 2004).

Untuk menunjukkan bagaimana masyarakat dapat menggunakan proses GTO dalam

pekerjaan mereka, studi kasus singkat dari komunitas yang menggunakan 10 pertanyaan
akuntabilitas GTO disajikan di bawah ini. Studi kasus, Tim Penegakan Alkohol Carolina
Selatan (AET), dimulai sebagai akibat dari situasi berikut.
 Lebih Lanjut Tentang GTO

Buku kerja Getting to Outcomes untuk pencegahan penyalahgunaan zat memenangkan

penghargaan Outstanding Publication Award 2008 dari American Evaluation Association.
Chinman et al. (2008) melakukan studi eksperimental semu, yang didanai oleh CDC,
membandingkan program yang menerima manual GTO, bantuan teknis, dan pelatihan vs
program yang tidak menerima GTO pada kapasitas pencegahan dan kualitas program dari
waktu ke waktu. Peringkat standar kualitas program menunjukkan bahwa GTO membantu
staf program meningkatkan dalam berbagai kegiatan pencegahan yang diketahui terkait
dengan hasil lebih daripada program perbandingan. Sebagai hasil dari GTO, semua program
memulai evaluasi program baru yang sedang berjalan di mana sebelumnya tidak ada atau
secara signifikan meningkatkan desain mereka saat ini. Data yang dikumpulkan - meskipun
pada sejumlah kecil program menunjukkan bahwa GTO membangun kapasitas praktisi lokal
dan membantu meningkatkan kualitas kinerja dalam perencanaan, implementasi, dan evaluasi
program pencegahan. Program yang menggunakan GTO menunjukkan hasil yang lebih besar.
Apakah hasil ini disebabkan oleh kemampuan yang lebih besar untuk mengevaluasi dan
melaporkan hasil atau untuk benar-benar mencapai hasil yang lebih besar tidak dapat
ditentukan dari data dan menunggu studi di masa depan.

Pendekatan GTO telah diterapkan pada sejumlah domain kesehatan masyarakat,

termasuk pencegahan minum di bawah umur (Imm et al., 2007), kehamilan remaja dan
pencegahan PMS (Lesesene et al., 2008), dan pengembangan pemuda yang positif (Fisher et
al. , 2006). Pekerjaan awal di bidang kesehatan mental dan pengobatan penyalahgunaan zat
sedang dilakukan.

KESIMPULAN

Chelimsky (1997) menggambarkan tiga tujuan evaluasi:

Pengembangan program (mis., Informasi yang dikumpulkan untuk memperkuat program

atau institusi).

Akuntabilitas (mis., Pengukuran hasil atau efisiensi).

Pengetahuan yang lebih luas (mis., Meningkatkan pemahaman tentang faktor-faktor yang
mendasari masalah publik).

Evaluasi tradisional terutama berorientasi pada tujuan kedua. Metode yang dijelaskan
dalam bab ini memperluas fokus untuk memasukkan tujuan pertama dan kedua dan dapat
menginformasikan penelitian tentang yang ketiga (Wandersman et al., 2004). Namun, ini
tidak menghalangi pendekatan evaluasi yang lebih tradisional (Fetterman, 2001). Nilai dari
setiap pendekatan evaluasi tergantung pada tujuan evaluasi (Chelimsky, 1997; Patton, 1997).
Tabel 13.4 menyajikan ringkasan mengapa, apa, kapan, di mana, bagaimana, dan siapa dari
evaluasi pemberdayaan (Wandersman & Snell-Johns, 2005).

Seperti yang telah kita lihat dalam bab ini, konsep evaluasi program dapat
dimasukkan ke dalam perencanaan program dan implementasi program. Ketika ini dilakukan,
batas-batas antara pengembangan program dan evaluasi program dikaburkan demi
meningkatkan program dan meningkatkan kemungkinan hasil yang sukses. GTO adalah
contoh dari pendekatan ini. Meskipun penekanan GTO sejauh ini adalah pada akuntabilitas
praktisi yang menerima uang untuk pencegahan (atau perawatan atau pendidikan),
Wandersman (2003) mencatat bahwa pertanyaan akuntabilitas juga berlaku untuk
penyandang dana dan peneliti atau evaluator. Misalnya, ketika penyandang dana
mempertimbangkan untuk mengembangkan inisiatif baru, pertanyaan tentang bagaimana
mereka tahu mereka membutuhkan inisiatif baru, bagaimana ia akan menggunakan ilmu
pengetahuan dan praktik terbaik, bagaimana hal itu sesuai dengan inisiatif lain, dan
seterusnya, harus ditanyakan dan dijawab. Untuk evaluator, pertanyaan yang sama akan
menyangkut apakah proses evaluasi baru atau intensif diperlukan atau dibenarkan, seberapa
cocok dengan prosedur evaluasi yang ada, dan bagaimana praktik terbaik untuk evaluasi
program akan digunakan dalam perencanaan evaluasi ini.

Ketika masyarakat, penyandang dana, dan warga negara menjadi lebih peduli tentang
akuntabilitas dan hasil untuk sekolah, perawatan kesehatan, layanan manusia, dan bidang
terkait, evaluasi dapat menyebabkan ketakutan dan perlawanan atau keterbukaan, kejujuran,
pemberdayaan, dan peningkatan. Evaluasi dan akuntabilitas tidak perlu ditakuti — jika kita
bekerja bersama untuk hasil.
446
trip.com = SANDYpr1ma