Brindis, Claire D. - Gardner, Annette L - Advocacy and Policy Change Evaluation - Theory and Practice-Stanford Business Books (2017) Terjemahan

Machine Translated by Google
EVALUASI ADVOKASI DAN PERUBAHAN KEBIJAKAN

Halaman ini sengaja dikosongkan

ANNETTE L.GARDNER
DAN CLAIRE D.BRINDIS
ADVOKASI DAN
PERUBAHAN KEBIJAKAN
EVALUASI
Teori dan Praktek
BUKU BISNIS STANFORD
SEBUAH CETAK DARI STANFORD UNIVERSIT Y PRESS
STANFORD, CALIFORNIA
Pers Universitas Stanford

Stanford, Kalifornia
© 2017 oleh Dewan Pengawas Leland Stanford Junior University.

Seluruh hak cipta.
Tidak ada bagian dari buku ini yang boleh direproduksi atau dikirimkan dalam bentuk apa pun atau
dengan cara apa pun, elektronik atau mekanis, termasuk fotokopi dan perekaman, atau dalam sistem
penyimpanan atau pengambilan informasi apa pun tanpa izin tertulis sebelumnya dari Universitas Stanford
Tekan.
Diskon khusus untuk Stanford Business Books dalam jumlah besar tersedia untuk perusahaan,
asosiasi profesional, dan organisasi lainnya. Untuk rincian dan informasi diskon, hubungi departemen
penjualan khusus Stanford University Press.
Telp: (650) 725–0820, Faks: (650) 725–3457.
Dicetak di Amerika Serikat pada kertas bebas asam dan berkualitas arsip.
Data Katalogisasi-dalam-Publikasi Perpustakaan Kongres
Nama: Gardner, Annette L., penulis. | Brindis, Claire D., penulis.

Judul: Advokasi dan evaluasi perubahan kebijakan: teori dan praktik / Annette L. Gardner
dan Claire D. Brindis.
Deskripsi: Stanford, California : Stanford Business Books, cetakan dari Stanford University Press,
2017. | Termasuk referensi bibliografi dan indeks.
Pengidentifikasi: LCCN 2016039746 | ISBN 9780804792561 (pbk. : kertas alk.) | ISBN
9781503602335 (ebuku)
Subyek: LCSH: Perencanaan politik—Evaluasi. | Ilmu kebijakan—Evaluasi. | Sosial
advokasi—Evaluasi.
Klasifikasi: LCC JF1525.P6 G37 2017 | DDC 320.6—dc23
Catatan LC tersedia di https://lccn.loc.gov/2016039746
ISI
Kata pengantar vii
Ucapan Terima Kasih xv
Daftar Ilustrasi xix
BAGIAN 1 Teori Berguna dan Model Konseptual
1 Kebijakan dan Pembuatan Kebijakan: Membuat Perbedaan 3
2 Advokasi: Mempengaruhi Pengambilan Keputusan 27
BAGIAN 2 Desain, Hasil, dan Metode yang Tepat
3 Merancang Evaluasi Advokasi dan Perubahan Kebijakan 63
4 Hasil dan Metode Advokasi dan

Evaluasi Perubahan Kebijakan 97
5 Instrumen Unik untuk Advokasi dan Kebijakan

Evaluasi Perubahan 151
BAGIAN 3 Memanfaatkan Kearifan dari Lapangan
6 Peran Evaluator dan Hubungannya dengan Stakeholder 175
7 Meningkatkan Advokasi dan Perubahan Kebijakan

Praktek Evaluasi 196
Lampiran A: Enam Kasus Evaluasi 221
Lampiran B: Advokasi dan Perubahan Kebijakan

Sumber Daya Evaluasi 241
Referensi 245
Indeks 255

KATA PENGANTAR
BEBERAPA faktor telah memicu kebutuhan akan evaluator terampil yang dapat mende-
menandatangani evaluasi yang sesuai untuk memenuhi beragam kebutuhan

pemangku kepentingan: peningkatan minat yayasan dalam mendukung inisiatif
advokasi dan perubahan kebijakan (APC) untuk mencapai perubahan sistem; evaluasi
inisiatif pembangunan demokrasi di seluruh dunia; dan penyebaran kapasitas
advokasi di luar komunitas advokasi tradisional (seperti penyedia layanan). Para
evaluator telah memenuhi kebutuhan ini dengan sukses besar, membangun bidang
praktik evaluasi yang baru, mengadaptasi dan menciptakan konsep dan metode
evaluasi, serta membentuk pemikiran advokasi, pemberi dana, dan evaluator
mengenai advokasi dan perubahan kebijakan dalam segala manifestasinya yang
beragam. Bidang ini hanya akan terus tumbuh dan berkembang.
Buku ini dirancang untuk membangun pemikiran dan praktik evaluasi serta
memberikan wawasan dan instruktif. Kami menggabungkan sejumlah besar konsep,
definisi, desain, alat, temuan empiris, dan pembelajaran sejauh ini ke dalam satu
sumber daya yang berfokus pada praktik dan mudah digunakan. Buku ini membahas
beragam kebutuhan evaluasi para pemangku kepentingan dengan menyajikan
beragam pilihan khusus untuk mengevaluasi inisiatif advokasi dan perubahan

kebijakan. Hal ini juga mengatasi tantangan-tantangan yang terkait dengan praktik
evaluasi, seperti kompleksitas dan pergerakan target konteks di mana kegiatan
advokasi terjadi dan tantangan masalah atribusi dan identifikasi faktor-faktor penyebab.
Ada beberapa alasan akademis dan praktis untuk mengembangkan buku ini.
Praktik advokasi dan evaluasi perubahan kebijakan yang ada saat ini kurang memiliki
pemahaman mendalam terhadap penelitian dan model yang ada dari ilmu politik,
kebijakan publik, dan disiplin manajemen nirlaba, termasuk kepentingan terorganisir,
pengaruh, penetapan agenda, media, dan model proses kebijakan. . Akibatnya,
evaluator sering kali tidak memasukkan landasan teori yang kuat ke dalam praktik
evaluasi mereka, sehingga membatasi penilaian mereka
viii Kata pengantar
efektivitas mereka dalam merancang advokasi dan evaluasi perubahan kebijakan

serta memberikan informasi kepada pemangku kepentingan. Peningkatan pemahaman
tentang prinsip-prinsip inti dan penelitian ilmiah akan memungkinkan para evaluator
untuk didengar secara lebih luas dan berkontribusi pada basis pengetahuan tentang
representasi politik, pengaruh, dan perubahan sistem.
Pada tingkat praktis, buku ini memberikan contoh-contoh nyata yang berguna
dalam mengembangkan desain evaluasi yang tepat dan menerapkan temuan-temuan
dalam praktik advokasi dan pengambilan keputusan. Tinjauan kami terhadap sumber
daya yang tersedia bersifat luas dan mendalam dan mencakup pemeriksaan terhadap
strategi evaluasi yang relevan, serta analisis terhadap temuan-temuan dari Aspen 2014.
Survei Evaluasi APC UCSF mengenai desain evaluasi yang diuji dan instrumen
pengumpulan data. Diselesaikan oleh 106 anggota American Evaluation Association
(AEA)1 dan evaluator semua jenis inisiatif advokasi dan perubahan kebijakan,
pemahaman kita tentang praktik evaluasi APC yang sebenarnya telah diperluas
secara signifikan dengan hasil yang diperoleh—taktik advokasi dievaluasi, strategi
evaluasi digunakan, dan informasi rinci tentang kesenjangan di bidang evaluasi APC.
Selain itu, di sepanjang buku ini, kami menjelaskan dan membandingkan enam
kasus evaluasi yang menunjukkan keragaman evaluasi advokasi dan perubahan
kebijakan, termasuk serangkaian desain evaluasi, metode evaluasi konvensional dan
unik, serta pendekatan untuk memberikan informasi kepada advokasi dan strategi
pemberi dana. Hal ini diidentifikasi oleh masing-masing responden Survei Evaluasi
APC Aspen/UCSF yang dilakukan dalam lima tahun terakhir dan berisi metodologi
yang menarik atau pembelajaran yang signifikan. Alasan utama dikembangkannya
enam kasus praktik evaluasi adalah untuk memunculkan model desain dalam berbagai
konteks advokasi dan kebijakan. Akan sangat membantu jika kita melihat bagaimana
para evaluator advokasi dan inisiatif perubahan kebijakan memadukan dan
mencocokkan metode-metode yang berbeda dan menghubungkannya dengan
pertanyaan-pertanyaan evaluasi dan teori perubahan dan/atau model logika sambil tetap berhati-hati da
1. Survei yang terdiri dari dua puluh tiga item dilakukan secara elektronik pada bulan Mei
2014 oleh Program Perencanaan dan Evaluasi Aspen kepada 585 anggota Kelompok
Kepentingan Topikal (TIG) Advokasi dan Perubahan Kebijakan (APC) dan 1.000 anggota
Evaluasi Amerika yang dipilih secara acak Asosiasi. Survei ini diselesaikan oleh 106 evaluator,
dengan tingkat respons 7 persen. Tingkat respons anggota APC TIG adalah 9 persen.
Seluruh responden telah dilibatkan dalam mengevaluasi inisiatif advokasi dan perubahan
kebijakan dalam lima tahun terakhir.
Kata pengantar
ix
kendala sumber dan konteks yang berkembang pesat. Bagaimana evaluator

menyeimbangkan kebutuhan informasi pemangku kepentingan yang mungkin melampaui
pembelajaran strategis sejak dini sambil mengatasi tantangan terhadap validitas, seperti
inisiatif yang terus berkembang, ukuran sampel yang kecil, dan keterbatasan sumber
daya dapat menjadi “seni” dari advokasi dan evaluasi perubahan kebijakan . Keenam
inisiatif tersebut disponsori oleh organisasi filantropi atau badan amal publik nirlaba dan
mencerminkan kesediaan pemberi dana untuk berinvestasi dalam berbagai strategi untuk
mencapai perubahan kebijakan serta komitmen untuk mencapai perubahan sistem
jangka panjang, dan mencakup: (1) Inisiatif untuk Mempromosikan Kesetaraan dan
Transportasi Berkelanjutan (2008—2013) didanai oleh Rockefeller Foundation Board
untuk mendukung penerapan kebijakan pilihan transportasi yang adil dan berkelanjutan,
sebagian besar melalui pengesahan ulang Undang-Undang Transportasi Permukaan
Federal pada tahun 2009 dan melalui dukungan kebijakan negara bagian yang sepadan
di bidang transportasi darat. negara-negara penting dan berpengaruh; (2) Yayasan
Perserikatan Bangsa-Bangsa memberikan dukungan untuk program Let Girls Lead (2009
—sekarang) untuk menciptakan gerakan global yang terdiri dari para pemimpin dan
organisasi yang mengadvokasi hak-hak remaja perempuan. Inisiatif Let Girls Lead
memperkuat kapasitas pemimpin masyarakat sipil, aktivis perempuan, dan organisasi
lokal untuk mempromosikan undang-undang, kebijakan, program, dan pendanaan yang
ramah perempuan di Guatemala, Honduras, Liberia, Malawi, dan Ethiopia; (3) Oxfam
mendanai Kampanye GROW (2012—sekarang), sebuah kampanye multinasional untuk
mengatasi ketidakadilan pangan dan membangun sistem pangan yang lebih baik yang
dapat memberi makan penduduk yang terus bertambah secara berkelanjutan, dan
kampanye ini mencakup kampanye enam bulan yang menargetkan kebijakan Bank
Dunia mengenai pembebasan lahan skala besar; (4) Pew Charitable Trusts meluncurkan
kampanye di Kanada dan Australia yang menargetkan proses perencanaan penggunaan
lahan berbasis regional dan lokal, sebagai bagian dari Program Konservasi Tanah
Internasional (1999—sekarang) untuk melestarikan hutan tua dan memperluas kawasan
hutan belantara; (5) didanai oleh ClearWay Minnesota, Tribal Tobacco Education and
Policy (TTEP) Initiative (2008–2013) menyediakan sumber daya dan bantuan kepada
lima komunitas suku untuk meloloskan atau memperluas kebijakan bebas rokok formal
dan informal sekaligus meningkatkan kesadaran masyarakat akan perokok pasif; dan (6)
Project Health Colorado (2011–2013), sebuah kampanye pembangunan kemauan
masyarakat yang diluncurkan oleh Colorado Trust untuk melibatkan individu dan
organisasi dalam diskusi di seluruh negara bagian mengenai layanan kesehatan dan bagaimana hal terseb
X Kata pengantar
negara bagian untuk menjadi bagian dari solusi, Project Health Colorado percaya bahwa hal
ini akan membuat perbedaan dalam cara pengambilan keputusan mengenai layanan kesehatan.
(Lihat Lampiran A untuk penjelasan rinci mengenai enam kasus ini.)
Untuk menguji persamaan dan perbedaan dalam desain, metode, dan instrumen
pengumpulan data, kami membandingkan dua kasus evaluasi yang berbeda di Bab 3, 4, dan
5. Pemasangan kasus kami disengaja, dengan memilih untuk membandingkan evaluasi yang
dilakukan pada sekitar waktu yang sama dalam proses program. Pada Bab 3, kami
membandingkan rancangan dua evaluasi titik akhir, Inisiatif untuk Mempromosikan Transportasi
Berkelanjutan dan Berkeadilan dan program Let Girls Lead. Pada Bab 4, kami membandingkan
dua evaluasi titik tengah, Kampanye GROW dan Program Konservasi Lahan Internasional.
Terakhir, di Bab 5, kami membandingkan dua evaluasi multi-tahun, Inisiatif Pendidikan dan
Kebijakan Tembakau Suku (TTEP) dan Project Health Colorado. Meskipun terdapat
perbedaan yang signifikan dalam tujuan kebijakan, taktik advokasi, dan konteks keenam kasus
evaluasi, terdapat kesamaan dalam tujuan, desain, metode, instrumen konvensional dan unik,
peran evaluator, dan penggunaan temuan evaluasi.
Kerangka kerja “prakademik” yang terdiri dari tiga bagian digunakan untuk meningkatkan
kegunaan buku ini bagi para evaluator, advokat, dan penyandang dana. Dua bab pertama
mengarah ke bidang akademis dan menjelaskan konsep dan model dari ilmu kebijakan dan
penelitian nirlaba yang dapat digunakan untuk membantu evaluator menavigasi permasalahan
kebijakan publik yang dalam dan seringkali bergejolak serta mengembangkan teori perubahan.
Lima bab selanjutnya berfokus pada inti desain evaluasi, metode yang dapat diterapkan, dan
rekomendasi untuk memajukan praktik evaluasi individu dan kolektif. Kedua, pendekatan
“prakademis” kami berlaku di setiap bab, dan kami memaparkan konsep dan model di paruh
pertama bab ini dan mengakhirinya dengan diskusi mengenai praktik evaluasi aktual,
khususnya temuan dari Aspen/
Survei Evaluasi APC UCSF dan enam kasus evaluasi. Ketiga bagian tersebut adalah: (1) teori
dan model konseptual yang berguna; (2) desain, metode dan tindakan yang tepat; dan (3)
mendapatkan kebijaksanaan dan memajukan praktik advokasi individu dan kolektif serta
evaluasi perubahan kebijakan.
Setiap bab merupakan pengembangan dari bab sebelumnya meskipun masing-masing bab
dirancang unik dan untuk memenuhi kebutuhan evaluasi yang spesifik. Misalnya, evaluator
yang masih baru dalam kapasitas advokasi dan/atau pembuatan kebijakan akan mengetahuinya
Kata pengantar
xi
Bab 1 dan 2 tentang landasan teoritis berguna dalam mengembangkan pertanyaan evaluasi
yang masuk akal.
Meskipun demikian, meskipun buku ini dimaksudkan untuk memperluas panduan advokasi
dan evaluasi perubahan kebijakan sebelumnya dan berfungsi sebagai sumber daya yang
komprehensif bagi para evaluator, advokat, dan penyandang dana, buku ini tidak dimaksudkan
sebagai buku teks evaluasi bagi para evaluator pemula. Pemahaman dasar tentang evaluasi
diasumsikan. Perlu juga dicatat sejak awal bahwa hal ini
Buku ini tidak mempromosikan satu kerangka kerja atau desain evaluasi dibandingkan yang lain.
Sebaliknya, buku ini dimaksudkan sebagai “buku masak”, yang berisi berbagai strategi dan
tindakan yang telah digunakan di lapangan dan diterapkan pada beragam isu advokasi dan
evaluasi perubahan kebijakan.
BAGIAN 1: TEORI USEF UL DAN

MODEL KONSEPTUAL
Para evaluator akan mendapat manfaat jika mendasarkan praktik mereka pada pemahaman
yang kuat tentang advokasi dan perubahan kebijakan, termasuk penelitian ilmiah tentang apa
yang kita ketahui dan tidak ketahui tentang proses pembuatan kebijakan serta tindakan individu
dan kolektif. Tujuan utama Bagian 1 adalah untuk memperluas kapasitas evaluator dalam
menggunakan konsep dan model yang dapat diterapkan, seperti model tahap kebijakan
pembuatan kebijakan untuk menyusun desain evaluasi. Kami juga melihat lintas disiplin ilmu
dan mencari kesamaan serta kesenjangan dalam pengetahuan yang menjadi tantangan dalam
evaluasi, seperti kurangnya definisi tunggal tentang advokasi. Evaluator yang mengabaikan
komponen-komponen mendasar dalam praktik evaluasi mereka berisiko mengabaikan aspek-
aspek penting dari inisiatif advokasi dan perubahan kebijakan, seperti aktivitas advokasi setelah
disahkannya suatu kebijakan, yang tidak begitu transparan. Mereka juga berisiko memiliki
pemahaman yang terbatas mengenai perspektif dan strategi advokasi, pengambil keputusan,
dan pemberi dana yang penting dalam perencanaan dan implementasi inisiatif advokasi dan
perubahan kebijakan.
Pada Bab 1, kami meninjau konsep dan definisi kebijakan publik yang penting bagi praktik
evaluasi, termasuk model proses pembuatan kebijakan dan tempat pengambilan kebijakan.
Pada Bab 2, kami menjelaskan advokasi dalam arti luas, khususnya berbagai jenis advokat—
individu, organisasi, dan kelompok—dan atribut mereka, serta berbagai strategi dan taktik yang
digunakan para advokat untuk membangun konstituen

xii Kata pengantar
untuk perubahan dan mempengaruhi dukungan pembuat kebijakan. Dalam kedua bab
tersebut, kami mencoba memperkuat hubungan antara teori dan praktik dan memberikan
contoh-contoh dunia nyata serta saran untuk memasukkan konsep atau model ke dalam
desain evaluasi. Kami juga menjelaskan konteks kebijakan dan advokasi dalam enam kasus
evaluasi untuk menggambarkan beragam skenario yang mengevaluasi
yang mungkin dihadapi para aktor—masalah internasional, nasional, negara bagian, regional,
dan lokal, serta kebijakan—kesehatan, transportasi, penggunaan lahan, ketahanan pangan,
hak asasi manusia, dan kesetaraan gender.
BAGIAN 2: DESAIN, HASIL,

DAN METODE
Pada Bagian 2, kita beralih dari perspektif akademis ke desain dan implementasi advokasi
dan evaluasi perubahan kebijakan. Kami menggunakan pendekatan makro-mikro, dimulai
dengan rekomendasi untuk mengembangkan desain evaluasi yang diikuti dengan saran untuk
memilih dan/atau mengembangkan metode dan hasil tertentu. Kedua, kami menggunakan
temuan Survei Aspen/UCSF tentang praktik advokasi dan evaluasi perubahan kebijakan untuk
mengilustrasikan desain evaluasi pada berbagai titik dalam inisiatif advokasi dan perubahan
kebijakan serta cara para evaluator memadukan dan mencocokkan metode mereka.
Pada Bab 3, kami meninjau strategi evaluasi yang penting untuk merancang evaluasi
advokasi dan perubahan kebijakan, termasuk tujuan evaluasi, pengetahuan tentang konteks,
ketelitian, dan kerja sama dengan pemangku kepentingan.
Kami juga menjelaskan beberapa tantangan (dan solusi yang mungkin) dalam advokasi dan
desain perubahan kebijakan, beberapa di antaranya bersifat kontekstual (seperti kurangnya
transparansi) dan beberapa di antaranya bersifat metodologis (seperti kompleksitas inisiatif
dan ketidakpastian). Pada Bab 4, kami membahas metode evaluasi konvensional dan non-
konvensional atau unik yang telah dikembangkan secara khusus untuk inisiatif advokasi dan
perubahan kebijakan. Meskipun kami menyadari sifat inisiatif advokasi dan perubahan
kebijakan yang berkembang dan rumit, kami menganjurkan pengembangan dan penggunaan
teori perubahan program dan/atau model logika. Pada Bab 5, kami meninjau instrumen-
instrumen unik dan siap pakai yang telah digunakan di lapangan, seperti yang dilaporkan
dalam literatur tinjauan sejawat dan/atau yang sering disebutkan oleh responden survei, dan
kami menjelaskan fokus, penggunaan, dan tujuan instrumen-instrumen tersebut. dan batasan-
Kata pengantar
xiii
tions. Dalam setiap bab kami membandingkan dan membedakan dua kasus evaluasi
untuk mengilustrasikan poin-poin yang dijelaskan dalam narasi serta memberikan
desain, strategi, dan alat yang berguna.
BAGIAN 3: MEMANFAATKAN KEBIJAKSANAAN DARI LAPANGAN
Pada Bagian 3, kita beralih dari praktik evaluasi ke peluang dan tantangan untuk
memajukan bidang advokasi dan evaluasi perubahan kebijakan.
Menyadari bahwa evaluator APC beragam dan melakukan jenis evaluasi lainnya, serta
berasal dari latar belakang yang berbeda, kami merekomendasikan untuk
memanfaatkan kebijaksanaan dan pengetahuan dari evaluator APC yang
berpengalaman dan menciptakan “praktik komunitas” melalui berbagi dan jaringan
yang berkelanjutan.
Pada Bab 6, kami meninjau kembali prinsip-prinsip evaluasi berbasis kemitraan
dan menjelaskan kemungkinan peran yang dapat diberikan kepada evaluator melalui
inisiatif advokasi dan kebijakan—pendidik, ahli strategi, dan pemberi pengaruh.
Berbeda dengan evaluasi program stabil yang mempunyai intervensi khusus,
evaluator inisiatif advokasi dan perubahan kebijakan mungkin mempunyai posisi
sebagai pemberi informasi dalam pengambilan keputusan dan menjadi suara yang
kuat untuk perubahan. Kami juga membahas temuan Survei Aspen/UCSF mengenai
kegunaan utama dari evaluasi terkini dan menjelaskan produk dan proses evaluasi
yang dikembangkan oleh evaluator dari enam kasus evaluasi. Pada Bab 7, kami
mengidentifikasi kesenjangan dan mendiskusikan batasan-batasan baru dalam praktik
evaluasi, termasuk saran untuk memperkuat praktik evaluasi individu, atau apa yang
kami sebut “evaluasi yang penuh perhatian.” Kedua, dengan masukan dari mitra kami
di Aspen Institute dan para penilai dan penyandang dana advokasi dan perubahan
kebijakan lainnya, kami membuat rekomendasi untuk memajukan bidang ini, seperti
memperluas fokus geografis evaluasi APC, terus membangun kapasitas di antara para
evaluator yang berkomitmen untuk bekerja. di arena ini, dan mendukung pertukaran
desain, metode, dan pembelajaran, memastikan bahwa bukti digunakan dalam upaya
generasi berikutnya untuk meningkatkan kehidupan mereka yang paling sering
tertinggal. Selain itu, membangun jaringan yang kuat di antara komunitas evaluasi
APC juga membantu memastikan bahwa teknik evaluasi akan diterapkan lebih cepat
dan efektif, sehingga mempercepat pembelajaran dan kebijaksanaan di berbagai
pemangku kepentingan evaluasi. Kedua, kami percaya ada tempat bagi evaluator
dalam beasiswa advokasi,
xiv Kata pengantar
kebijakan publik, dan organisasi nirlaba, dan kami menjelaskan bidang dan topik yang
akan mendapat manfaat dari temuan dan metode evaluasi APC.
Singkatnya, buku ini memanfaatkan pengetahuan dari disiplin ilmu lain, konsep
evaluasi yang relevan, dan upaya komunitas evaluasi APC untuk memperkuat praktik
advokasi dan evaluasi perubahan kebijakan. Tujuan kami adalah untuk menciptakan
pemahaman yang lebih kaya tentang advokasi dan perubahan kebijakan yang dapat
digunakan untuk memberikan masukan bagi praktik evaluasi di masa depan. Kami
merefleksikan praktik evaluasi individu dan kolektif untuk mengatasi tantangan saat ini
yang muncul melalui inisiatif advokasi dan perubahan kebijakan, serta memajukan
teori dan desain evaluasi APC.
Meskipun demikian, kami merasa terhina dengan besarnya tugas kami: arena
advokasi dan evaluasi perubahan kebijakan sangatlah luas dan mendalam, dan
kemungkinan besar kami telah mengabaikan model, ide, atau perspektif yang relevan.
Meskipun kami berdua telah bekerja di arena internasional dan dengan under-
melayani masyarakat, pemahaman kita tentang kebijakan, pembuatan kebijakan, dan

advokasi sebagian besar dibentuk oleh konteks AS. Agar tidak terlalu berpusat pada
Amerika Serikat, kami telah menggunakan contoh-contoh yang ada di sebagian besar
situasi, seperti akses terhadap layanan kesehatan dan isu-isu hak asasi manusia, serta
contoh-contoh kebijakan spesifik yang lebih dikenal luas.
Nada dan filosofi keseluruhan dari buku ini adalah untuk memberikan panduan
yang mendukung sekaligus mengambil perspektif “teman yang kritis”, berbagi informasi
tentang kekuatan dan kesenjangan tertentu untuk memajukan bidang evaluasi APC.
Kami menyadari bahwa ini adalah bidang baru yang mempelajari dan membangun
sejarah kolektif praktik evaluasi, sekaligus membangun identitas dan pengakuannya
sendiri. Hasilnya sepadan dengan usaha yang dilakukan.
Dengan memfokuskan lensa evaluasi pada semakin pentingnya advokasi dalam
mengatasi isu-isu kesenjangan, kesetaraan, dan keadilan sosial serta kesejahteraan
masyarakat global, evaluasi APC menjadi sarana utama untuk pembelajaran yang
efektif dan pembentukan advokasi dan kebijakan di masa depan. mengubah strategi
dan taktik.
UCAPAN TERIMA KASIH
PADA saat bidang evaluasi advokasi dan perubahan kebijakan (APC)

mencapai titik kritis dalam pembangunan muda sebagai bidang konsentrasi
evaluasi yang diakui, penting untuk mengenali aktor-aktor penting yang telah
memainkan peran penting dalam bidang ini. peran mereka dalam membentuk
badan kerja ini, serta komitmen mereka terhadap kemajuannya. Buku ini
mendapatkan banyak manfaat dari masukan dari banyak penasihat yang
berpengalaman, dan sebagian besar dari mereka juga bertahan di bidang ini
sejak gerakan APC mulai terbentuk pada awal tahun 2000an melalui upaya
jaringan kolaboratif para evaluator yang berpikiran sama, baik swasta maupun publik. pember
Banyak alat, perangkat, dan kebijaksanaan mereka tersebar di seluruh buku
ini; jelas, tanpa wawasan dan semangat kemurahan hati serta dukungan
mereka terhadap bidang yang sedang berkembang ini, buku ini tidak akan
bisa ditulis. Meskipun terdapat terlalu banyak pionir visioner yang tidak
dapat diidentifikasi berdasarkan nama spesifiknya namun karyanya dimuat
dalam buku ini, ada beberapa individu yang ingin kami sampaikan
penghargaan atas kontribusi substantif mereka terhadap buku ini. Julia
Coffman layak mendapatkan penghargaan khusus karena membangun
dasar dan mengembangkan kerangka dan alat perencanaan evaluasi,
serta berbagi praktik terbaik evaluasi. Individu penting lainnya termasuk
pengulas masing-masing bab: Jenifer Cartland, Sue Hoechstetter, Tom
Kelly, dan Laura Roper. Kemitraan dengan sponsor publik dan swasta atas
inisiatif advokasi dan perubahan kebijakan serta evaluasi mereka telah
menjadi sumber kehidupan dari kolaborasi yang berkelanjutan ini, termasuk
Atlantic Philanthropies, California Endowment, Annie E. Casey Foundation,
Colorado Trust, dan banyak lagi. , banyak lainnya. Berkat mereka,
pengalaman para advokat dan upaya mereka semakin terlihat dan menjadi informasi bagi o
Kami sangat berterima kasih kepada tim Perencanaan dan Evaluasi
Program Aspen Institute, yang dipimpin oleh David Devlin-Foltz. Kami merasa
xvi Ucapan Terima Kasih
sangat beruntung telah bekerja sama dengan David, Suzanna Dilliplane, Robert Medina,
dan Angbeen Saleem, untuk merancang, meluncurkan, dan menganalisis Survei Evaluasi
APC Aspen/UCSF 2014, yang hasilnya telah memandu kami dengan baik, dan yang
dijelaskan secara integral di seluruh buku. Kekayaan pengalaman mereka di bidang ini, serta
komitmen untuk memajukan bidang evaluasi APC dengan berbagai cara yang kreatif telah
membantu memperluas dan mendalami buku ini. Kami juga mengucapkan terima kasih
sebesar-besarnya kepada American Evaluation Association (AEA) dan kepada pimpinan
Kelompok Kepentingan Topik Advokasi dan Perubahan Kebijakan AEA saat ini dan
sebelumnya atas dukungan dan bantuan mereka dalam penyelenggaraan Aspen/
Survei UCSF. Ke-106 responden survei ini, yang merupakan evaluator APC dari seluruh
“lapisan masyarakat,” berhak mendapatkan ucapan terima kasih yang hangat atas kesediaan
mereka untuk berbagi pengalaman, saran untuk memperkuat praktik evaluasi, dan persepsi
mengenai kekuatan dan kelemahan di lapangan.
Kami berterima kasih kepada evaluator dan penyandang dana dari enam kasus evaluasi
dengan murah hati berbagi pengalaman dan wawasan mereka dengan kami, termasuk Car-
lisle Levine (Let Girls Lead), Jewlya Lynn (Project Health Colorado), Glenn O'Neil (Oxfam
GROW Campaign), Jared Raynor (Initiative Pro-moting Equitable and Sustainable
Transportation) , Sheri Scott (inisiatif Pendidikan dan Kebijakan Tembakau Suku [TTEP]),
dan Edward Wil-son (Kampanye Konservasi Lahan Internasional). Kasus-kasus ini, yang
dijalin dalam buku ini, mewakili landasan lain yang memberikan pengalaman nyata dalam
menerapkan berbagai upaya evaluasi APC. Melalui beragam kasus ini, pembaca memperoleh
kapasitas untuk memahami lebih jauh jangkauan dan keragaman topik evaluasi dan
konteksnya, komitmen tinggi dalam mendukung advokasi dan perubahan kebijakan, serta
dedikasi dan kerja keras para advokat dan evaluator dunia.
luas untuk meningkatkan kehidupan orang lain dan menyembuhkan lingkungan. Kami salut
kepada para advokat, serta para evaluator, yang memberikan wawasan berharga mengenai
upaya-upaya mereka yang terkadang kacau, namun sangat penting atas nama individu,
komunitas, negara bagian, kawasan, bangsa, dan negara.
lingkungan.
Kami ingin mengucapkan terima kasih atas kemitraan yang mendukung dengan staf
editorial di Stanford University Press, khususnya Margo Beth Fleming, atas keahliannya
yang luar biasa sebagai pelatih dan pendukung, yang dedikasinya
Ucapan Terima Kasih xvii
hingga lahirnya buku ini memberikan energi vital bagi kami sebagai penulis. Copy
editor kami, Hollie Quinn, pantas mendapatkan pengakuan khusus atas
pandangan kritis dan ungkapannya yang membuat buku seperti ini lebih menarik.
Kami juga sangat berterima kasih kepada pengulas profesional buku ini, Julia
Coffman dan Michael Quinn Patton. Kami juga ingin mengakui peran penting
yang dimainkan oleh orang tua kami, Donna dan Murray Gardner, serta Lucy dan
Walt Dale, dalam membimbing kami dan sangat menghargai upaya kami selama
bertahun-tahun atas nama orang-orang yang suaranya sering kali bungkam.
Terakhir, dan mungkin yang paling penting, kami berterima kasih kepada keluarga
kami, Charles dan Ian Simons dan Ralph Brindis, serta putra dan istri mereka,
Seth Brindis dan Stephanie Reich serta Daniel dan Amalia Brindis Delgado,
atas dukungan dan dorongan mereka yang tiada henti. sebagai komitmen dan
dedikasi mereka terhadap advokasi sepanjang hidup mereka.

ILUSTRASI
GAMBAR
5.1 The Power Cube: Tingkat, Ruang, dan Bentuk Kekuasaan 5.2 157
Kerangka Strategi Advokasi 159
TABEL
1.1 Fokus Responden Survei APC Aspen/UCSF: Bidang
Kebijakan Utama 22
2.1 Tahapan Proses Pembuatan Kebijakan, Potensi Kegiatan
Advokasi, dan Advokasi yang 51
Berpengaruh 2.2 Kegiatan Advokasi dan 55
Sasarannya 3.1 Pendekatan Evaluasi yang Paling Sering
Digunakan oleh Responden Survei APC 91
Aspen/UCSF 4.1 Advokasi dan Perubahan Kebijakan Masukan/Keluaran/
Hasil/Dampak, Indikator, dan Pengumpulan Data
Metode 136
4.2 Kegunaan dan Penggunaan Metode Evaluasi oleh
Responden Survei APC Aspen/UCSF 5.1 145
Kegunaan dan Penggunaan Metode Unik oleh
Responden Survei Aspen/UCSF 7.1 166
Panduan Pertanyaan Penelitian Kebijakan dan
Metode Evaluasi 214

Bagian 1
Teori dan Model Konseptual yang Berguna


BAB 1
KEBIJAKAN DAN PENGAMBILAN KEBIJAKAN
Membuat Perbedaan
PERKENALAN
Kebijakan dan pembuatan kebijakan meresap dan membentuk kehidupan kita sehari-hari, mulai
dari mengatur pendanaan untuk sekolah umum hingga mengatur pembuangan bahan berbahaya.
Tidak ada seorang pun yang tidak tersentuh oleh kebijakan publik, dan jika kebijakan tersebut
dipikirkan dan diterapkan dengan baik, kebijakan tersebut akan menjadi sarana yang ampuh
untuk mencapai perbaikan sosial. Proses kebijakan dan hasil-hasilnya merupakan alasan utama
pemerintah dan sebuah lensa perdebatan yang sedang berlangsung mengenai sifat
permasalahan masyarakat dan solusi yang tepat. Pembuatan kebijakan publik juga semakin
dipandang sebagai wadah bagi individu, organisasi, dan kelompok untuk melakukan intervensi
dan mencapai perubahan sistem yang selama ini hanya terbatas pada segelintir orang yang mempunyai hak istimew
Namun terlibat dalam perubahan kebijakan, baik itu mengorganisir masyarakat untuk bertindak
atas nama masyarakat sendiri atau mengkaji implementasi kebijakan, rancangan undang-undang,
atau anggaran yang baru, merupakan upaya yang menakutkan dalam kondisi apa pun.
Memahami tantangan dan peluang perubahan merupakan langkah pertama yang penting dalam
merancang evaluasi advokasi dan perubahan kebijakan (APC) yang sukses. Dalam bab ini, kami
meninjau kajian kebijakan publik dan menjelaskan konsep-konsep yang penting dalam praktik
advokasi dan evaluasi perubahan kebijakan, termasuk sifat perubahan kebijakan. Kami fokus
pada pembuatan kebijakan sektor publik atau keputusan yang dibuat oleh pemerintah federal,
negara bagian, lokal, dan kota, baik itu undang-undang, peraturan, atau prioritas pendanaan.
4 Teori dan Model Konseptual yang Berguna
orities meskipun banyak dari prinsip-prinsip yang sama berlaku di luar masyarakat
sektor.
Melalui kajian yang disesuaikan dengan kajian kebijakan publik, kami bertujuan
untuk memberikan referensi praktis bagi para evaluator yang masih baru dalam proses
pembuatan kebijakan, dan/atau melakukan evaluasi dan ingin melihat secara
menyeluruh. Meskipun pembangunan teori berada di luar lingkup banyak advokasi dan
evaluasi perubahan kebijakan, evaluator masih dapat menggunakan teori untuk
memahami lokasi kebijakan yang rumit: jenis kebijakan, model mekanisme perubahan
kebijakan, dan berbagai tempat pembuatan kebijakan. Perlu diingat, ini adalah arena
yang berubah dan agak kacau, dengan batas-batas yang tidak jelas dan landasan teori
yang lemah. Mengkarakterisasi langkah-langkah yang diambil suatu kebijakan sebelum
menjadi undang-undang bukanlah tugas yang sulit. Namun, memahami aktor dan
lembaga politik serta peran dan hubungan mereka pada setiap tahap proses pengambilan
keputusan adalah hal yang berbeda karena mereka kurang transparan dan mungkin
berubah seiring dengan perubahan faktor lingkungan, seperti perubahan dalam
pemerintahan. (Harap dicatat: Model dan definisi ini terutama berbicara tentang
pembuatan kebijakan publik AS. Namun, kami sengaja memasukkan dan mendeskripsikan
konsep-konsep ini secara luas karena banyak sistem politik yang memiliki komponen
pemerintahan, pemilu, kepentingan terorganisir, dan pengambilan keputusan yang sama.
proses.)
Dengan meletakkan dasar ini, kami memberikan rekomendasi untuk memasukkan
konsep dan model pembuatan kebijakan ke dalam praktik evaluasi.
Meskipun menggabungkan model perubahan kebijakan ke dalam desain evaluasi
merupakan suatu tantangan karena para pemangku kepentingan mungkin mempunyai
teori perubahan yang saling bersaing, beberapa kerangka kebijakan, seperti model tahap
pembuatan kebijakan, dapat dengan mudah diadaptasi ke berbagai jenis evaluasi dalam
konteks yang berbeda. Model ini dan model lainnya akan dijelaskan dalam bab ini.
Seperti halnya banyak jenis evaluasi lainnya, mengartikulasikan dan memfasilitasi
pemahaman bersama tentang asumsi-asumsi mengenai proses pembuatan kebijakan
adalah kunci dalam menetapkan parameter evaluasi advokasi dan perubahan kebijakan.
Terakhir, untuk mendasarkan diskusi ini pada realitas pembuatan kebijakan, kami
memanfaatkan temuan-temuan dari Survei Evaluasi APC Aspen/UCSF tahun 2014 yang
diselesaikan oleh 106 evaluator APC, serta mendeskripsikan dan membandingkan isu-
isu kebijakan dalam kehidupan nyata yang menjadi sasaran para advokat di tahun 2014.
enam kasus advokasi dan evaluasi perubahan kebijakan yang dikembangkan untuk buku ini.
Kebijakan dan Pembuatan Kebijakan 5
Meskipun tidak mewakili seluruh arena dan permasalahan kebijakan, kasus-kasus tersebut
menggambarkan keragaman jenis kebijakan, tingkat geografis pengambilan keputusan, dan
tempat pengambilan kebijakan.
APA ITU KEBIJAKAN?

Tidak ada definisi tunggal mengenai “kebijakan publik”, dan definisi tersebut dapat didefinisikan
secara sempit atau luas. Misalnya, salah satu definisi ilmu politik klasik, “Kebijakan publik
adalah apa pun yang dipilih pemerintah untuk dilakukan atau tidak dilakukan” (Dye 2002, 1),
terlalu luas untuk dapat digunakan oleh para evaluator. Hal ini memungkiri kompleksitas proses
pengambilan keputusan yang sebenarnya. Hal ini juga mengabaikan peran yang dimainkan
oleh nilai-nilai dan bahwa dalam banyak kasus, pembuatan kebijakan menentukan nilai-nilai
mana yang akan berlaku, seperti apakah tanggung jawab implementasi program baru harus
dilakukan di tingkat federal atau negara bagian atau diserahkan kepada sektor swasta. untuk
(Kraft dan Furlong 2010). Ilmuwan politik Thomas Birkland (2001, 20) memberikan daftar atribut
yang umum digunakan untuk mendefinisikan kebijakan dan lebih berguna untuk menyusun
desain advokasi dan evaluasi kebijakan:
• Kebijakan dibuat atas nama publik.
• Kebijakan umumnya dibuat atau diprakarsai oleh pemerintah.
• Kebijakan adalah apa yang pemerintah ingin lakukan (bertujuan) atas nama pemerintah
masyarakat.
• Kebijakan adalah apa yang pemerintah pilih untuk tidak dilakukan.
• Kebijakan ditafsirkan dan dilaksanakan oleh aktor publik dan swasta.
Atribut-atribut ini—bagaimana, apa, dan di mana kebijakan dibuat—dan penerapannya dalam
praktik evaluasi akan dijelaskan pada bagian berikutnya.
PROSES PENGAMBILAN KEBIJAKAN

Kami melihat ke dalam arena ilmu politik untuk mencari model-model yang kami percaya akan
membantu evaluator mengembangkan pemahaman yang lebih kuat tentang proses pembuatan
kebijakan dan faktor-faktor kontekstual yang membentuknya. Sebagaimana dijelaskan oleh
ilmuwan politik Thomas Dye (2002), model-model ini menggambarkan cara berpikir yang
berbeda mengenai kebijakan, namun tidak berdiri sendiri-sendiri dan dapat digabungkan untuk
menjelaskan arah suatu kebijakan. Model-model ini tumpang tindih

karena fokus mereka adalah pada keterwakilan, serta distribusi kekuasaan dan
kemungkinan terjadinya perubahan kebijakan secara bertahap atau radikal. Mereka
menjelaskan bagaimana lembaga-lembaga publik dan swasta, kepentingan terorganisir,
dan pembuat kebijakan berinteraksi untuk menghasilkan dan menerapkan kebijakan.
Dalam pengertiannya yang paling luas, hal-hal tersebut mencirikan sifat dan peran individu
dan kelompok, peran informasi dan keyakinan dalam pengambilan keputusan, tingkat
tindakan, dan aktivitas pada berbagai tahapan proses kebijakan (Schlager dan Blomquist
1996). Semakin banyak model kebijakan publik yang menggunakan pendekatan sistem
dan memerinci hubungan antara komponen-komponen ini dan memberikan landasan bagi
para evaluator untuk mendasarkan teori perubahan serta mengembangkan analisis
kontekstual yang baik.
Model yang paling komprehensif menggambarkan proses kebijakan sebagai
serangkaian tahapan atau kerangka “siklus kebijakan” (selanjutnya disebut sebagai “model
tahapan kebijakan”). Meskipun bukan gambaran sempurna mengenai proses pembuatan
kebijakan, kami menyarankan agar semua evaluator memasukkan aspek-aspek model ini
ke dalam desain evaluasi mereka, khususnya dalam pengembangan teori perubahan dan/
atau model logika. Berdasarkan literatur yang ada, kami telah membuat model tahapan
beranotasi yang menggambarkan peluang bagi evaluator untuk lebih memahami lanskap
kebijakan serta kegiatan dan peristiwa utama yang dapat dimasukkan ke dalam model
logika evaluasi APC.
Awalnya didasarkan pada penerapan teori sistem untuk menjelaskan proses kebijakan,
model tahapan ini merupakan gambaran kronologis tahapan-tahapan yang saling
bergantung dalam proses pembuatan kebijakan. Secara kolektif, tahapan-tahapan tersebut
merupakan pokok bahasan arena kajian kebijakan dalam ilmu politik, dan tujuannya
adalah mempelajari prosedur dan proses pembuatan kebijakan (Theodoulou 1995; Dye
2002). Masing-masing tahap ini mempunyai pertanyaan-pertanyaan keilmuan dan
penelitiannya sendiri-sendiri, dan beberapa di antaranya menarik lebih banyak perhatian
dibandingkan yang lainnya.
Tahap 1, Pengenalan Masalah, adalah tahap ketika masyarakat menuntut tindakan

pemerintah, dan masalah kebijakan diakui oleh pembuat kebijakan sebagai hal yang
memerlukan tindakan. Jika dianggap sebagai hal yang wajar, permasalahan seperti
pemanasan global, keselamatan di tempat kerja, atau isu kesetaraan akan menjadi isu.
Pada tahap ini, penting untuk menentukan siapa yang mengidentifikasi suatu masalah,
peran opini publik dan media, serta sifat masalahnya, seperti apakah masalah tersebut
merupakan masalah baru (misalnya krisis), atau masalah yang luas dan sistemik ( mengatakan,
kurangnya kesempatan kerja). Informasi jajak pendapat, liputan media, dan komunikasi pembuat
kebijakan berguna untuk memahami sejarah, konteks, dan arti penting masalah ini bagi publik,
advokat, dan pengambil keputusan. Hal ini juga berguna untuk memahami lamanya waktu yang
dibutuhkan suatu masalah untuk mencapai titik kritis dan pengakuan pembuat kebijakan bahwa
tindakan tersebut dapat dibenarkan. Upaya ini merupakan investasi yang berharga karena
kemungkinan besar perdebatan dan suara-suara yang muncul pada tahap ini akan mempunyai
dampak yang besar dan mempengaruhi tahapan-tahapan selanjutnya.
Tahap 2, Penetapan Agenda, dianggap sebagai tahap “berhasil atau gagal”, dan jika
permasalahan tidak masuk dalam agenda kebijakan, prosesnya berhenti di situ.
Pada tahap ini, suatu permasalahan mendapat pertimbangan serius dari para pengambil
kebijakan, dan memulai pencarian solusi kebijakan. Penting untuk menentukan siapa yang
mengidentifikasi isu-isu yang menarik perhatian pembuat kebijakan, seperti asosiasi profesi,
media, pengambil keputusan, individu yang berpengaruh, serta mekanisme untuk mempersempit
serangkaian isu yang akan ditindaklanjuti oleh pembuat kebijakan. Selain itu, isu-isu yang tidak
dimasukkan dalam agenda juga perlu diperhatikan, misalnya isu-isu seperti pengendalian senjata
yang ketat namun ditentang oleh pihak swasta yang berkuasa

kepentingan sektoral.
Tahap 3, Perumusan Kebijakan, adalah pengembangan proposal kebijakan yang dapat
diterima untuk mengatasi permasalahan yang diidentifikasi pada Tahap 1 oleh kelompok
kepentingan, pembuat kebijakan, dan lembaga think tank. Tahap ini merupakan tahap ketika
analisis kebijakan dilakukan untuk menentukan manfaat relatif suatu kebijakan dibandingkan
kebijakan lainnya dengan tujuan untuk memperbaiki kebijakan. Tahap ini memberikan informasi
rinci mengenai pemahaman urutan sebab akibat antara masalah dan solusi kebijakan.
Tahap 4, Adopsi Kebijakan, adalah tindakan memilih usulan kebijakan mana yang akan
disahkan menjadi undang-undang oleh pengambil keputusan atau pengadilan. Ini juga merupakan
tahap Legitimasi Kebijakan atau proses membangun dukungan untuk adopsi, termasuk tawar-
menawar, persaingan, persuasi, dan kompromi. Kemajuan suatu kebijakan dapat dilacak melalui
proses dengar pendapat, pemungutan suara, dan penandatanganan.
Tahap 5, Implementasi Kebijakan, adalah ketika suatu rancangan undang-undang menjadi
undang-undang dan diterjemahkan menjadi pedoman atau peraturan perundang-undangan oleh
birokrasi. Perundang-undangan baru, seperti kegiatan lembaga dan pengeluaran publik,
diimplementasikan melalui program publik dan melibatkan pemerintah federal, negara bagian, atau lokal.
pemerintah. Tahap ini memberikan informasi mengenai aspek hukum dan teknis suatu kebijakan serta
cetak biru tindakan yang dapat dipantau dan digunakan dalam menilai pencapaian tujuan kebijakan. Baru-
baru ini, terdapat peningkatan penggunaan ilmu implementasi untuk menilai Tahap 5 karena kebijakan
yang dilaksanakan dengan buruk mungkin sama atau lebih buruk daripada tidak ada kebijakan sama
sekali. Ini juga merupakan tahap di mana terdapat kemungkinan kesetaraan keterwakilan yang lebih besar
di antara para advokat, seperti periode komentar publik dan partisipasi dalam komite lembaga. Namun,
bukti mengenai lobi legislatif dan administratif di tingkat federal dan negara bagian di Amerika Serikat
menunjukkan bahwa meskipun semua jenis pelobi sangat aktif selama Tahap 5, kepentingan bisnis
mendominasi kedua arena tersebut (Boehmke, Gailmard, dan Patty 2013).
Terakhir, Tahap 6, Evaluasi Kebijakan, adalah evaluasi sistematis terhadap suatu kebijakan—dampak
aktualnya, biayanya, dan apakah kebijakan tersebut mencapai hasil yang diharapkan atau tidak. Saat ini
merupakan saat yang tepat untuk menilai apakah kebijakan telah dilaksanakan sebagaimana dimaksud dan
dengan sumber daya serta kapasitas sistem yang diperlukan untuk memenuhi tujuan kebijakan tersebut.
Tujuannya adalah untuk memberikan informasi kepada para pengambil kebijakan mengenai apakah
mereka telah mengambil keputusan yang tepat serta dampak dari kebijakan tersebut, dan hal ini harus
menjadi hal yang familier bagi para evaluator APC. Prinsip-prinsip desain evaluasi standar berlaku, namun
konteksnya menimbulkan tantangan tertentu, seperti kekhawatiran pemerintah terhadap temuan-temuan
negatif dan terbatasnya penggunaan temuan oleh para pengambil keputusan dan lembaga pemerintah (Dye
2002).
Evaluator Carol Weiss (1999) dan evaluator lainnya menggambarkan hubungan antara evaluasi dan
kebijakan publik serta terbatasnya jalur dan peluang untuk mendidik para pembuat kebijakan. Meskipun
lingkungan yang kaya akan informasi dan pertemuan kepentingan dan ideologi menghalangi pertimbangan
penuh atas temuan-temuan evaluasi oleh para pembuat kebijakan, masih ada peluang untuk memainkan
lebih dari sekedar peran simbolis dan mendidik para pengambil keputusan.
dan masyarakat mengenai dampak suatu kebijakan.
Literatur menunjukkan kesepakatan yang tinggi mengenai tahapan-tahapan model sejauh ini merupakan
tahapan-tahapan utama, walaupun tahap ini agak bervariasi, seperti Penetapan Agenda sebagai Tahap 1,
bukan Identifikasi Masalah. Ada juga saran untuk memperluas model tahapan ini lebih lanjut, seperti
menambahkan Tahap 1 baru, Membangun Kapasitas Advokasi, untuk menggambarkan landasan yang
dikembangkan sebelum identifikasi suatu masalah (Brindis, Geierstanger, dan Faxio 2009).
Ada masalah dengan pendekatan tahapan yang harus diperhatikan oleh evaluator.
Ilmuwan politik Hank C. Jenkins-Smith dan Paul A. Saba-tier (1994) menyatakan bahwa
model tersebut mungkin “secara deskriptif tidak akurat” untuk kebijakan yang melalui
tahapan dalam urutan berbeda atau melewati satu atau lebih tahapan. Misalnya, peran
media dalam mempengaruhi opini publik dan pembuat kebijakan mungkin berada pada
Tahap 1, Pengenalan Masalah, dan Tahap 2, Penetapan Agenda. Atau, tergantung
pada arti-penting dan konflik yang melingkupi suatu isu, media mungkin aktif di semua
tahap. Misalnya, Undang-Undang Perawatan Terjangkau tahun 2010, atau Obamacare,
menarik perhatian luas masyarakat dan pembuat kebijakan dan menonjol di media
sebelum dan sesudah undang-undang tersebut disahkan. Selain itu, tahapan-tahapan
ini berhubungan dengan poin-poin pengambilan keputusan, namun tidak semua inisiatif
menghasilkan keputusan. Kritikus juga berpendapat bahwa pendekatan tahapan adalah
murni deskriptif dan bukan model kausal yang menjelaskan mengapa sesuatu terjadi
atau kapan sesuatu mungkin terjadi.
Namun, meskipun bukan merupakan gambaran sempurna mengenai bagaimana
kebijakan dibuat, model tahapan ini masih bersifat heuristik yang deskriptif dan fleksibel.
Minimal, kami menyarankan Anda menyelaraskan permasalahan kebijakan Anda dengan
tahapan (atau tahapan) model dan mengkaji beasiswa untuk tahap tertentu tersebut.
Misalnya, jika Anda melihat postpassage advokasi, fokuslah pada literatur implementasi
kebijakan dan evaluasi kebijakan. Kedua, periksa aspek analitis dari model tahapan
yang dapat menginformasikan situasi Anda, khususnya tahap Perumusan Kebijakan
dan Evaluasi Kebijakan , ketika analisis kebijakan kemungkinan besar akan dilakukan
dan dapat memberikan informasi rinci mengenai pilihan kebijakan dan kemungkinan
keberlanjutan kebijakan (Chelimsky 2014). Ini juga merupakan tahapan dimana evaluator
APC berada pada posisi yang tepat untuk meningkatkan kualitas suatu kebijakan atau
program.
Terakhir, model tahapan juga berguna untuk mengidentifikasi poin-poin keputusan
yang merupakan peluang bagi para advokat untuk membuat dirinya didengar, seperti
pada periode komentar publik. Poin-poin keputusan ini juga mewakili peluang evaluasi.
Misalnya, menilai tingkat pendanaan yang dialokasikan untuk suatu kebijakan pada
tahap Implementasi Kebijakan mungkin mencerminkan kecerdikan politik komunitas
advokasi, karena tanpa sumber daya yang memadai, proses pembuatan kebijakan
mungkin hanya akan menjadi macan kertas. Para advokat mempunyai pengetahuan
yang tinggi mengenai proses pembuatan kebijakan dan peluang-peluang yang ada,
sehingga penting bagi para evaluator untuk memahami poin-poin pengambilan keputusan dalam proses te
Model Perubahan Kebijakan
Dalam praktik evaluasi APC, semakin penting untuk memikirkan model-model yang menjadi ciri
aspek perubahan dalam perubahan kebijakan, khususnya ketika mengembangkan teori perubahan.
Suatu kebijakan dapat mengalami perubahan yang signifikan ketika kebijakan tersebut melewati
proses pengambilan keputusan dan mungkin tidak menyerupai bentuk aslinya pada saat kebijakan
tersebut diadopsi. Namun, jika dicermati lebih dekat, kami melihat bahwa diskusi ini sebenarnya
jauh lebih bernuansa. Perubahan kebijakan mungkin bersifat inkremental dan terdiri dari perubahan
kecil pada kebijakan yang ada atau pengesahan kebijakan yang tidak kontroversial. Digambarkan
sebagai “kekacauan” oleh ilmuwan politik Charles E.
Lindblom (1979), model inkrementalisme menjelaskan mengapa kebijakan jarang dihentikan.
Kebijakan-kebijakan baru yang radikal juga tidak disahkan. Hal ini sebagian disebabkan oleh
stabilitas arena kebijakan, suatu hal yang diinginkan, namun juga mencerminkan kesulitan dalam
mewujudkan perubahan yang lebih radikal. Yurisdiksi kebijakan yang tumpang tindih, permasalahan
dan solusi yang diperdebatkan, keengganan pembuat kebijakan untuk mendukung perubahan
kebijakan baru yang berpotensi berisiko, dan kebuntuan ideologi, khususnya dalam sistem yang
berorientasi pasar, semuanya merupakan hambatan yang signifikan terhadap reformasi. Reformasi
layanan kesehatan di AS dan pengesahan Undang-Undang Perawatan Terjangkau merupakan
pembelajaran tentang inkrementalisme (dan kesabaran), yang membutuhkan waktu lebih dari
empat puluh tahun untuk berlalu. Reformasi imigrasi juga berjalan lambat di Amerika Serikat.
Meskipun merupakan pendekatan yang berguna untuk mempelajari langkah-langkah kecil
yang mengarah pada perubahan kebijakan, model inkremental tidak memiliki orientasi strategis
terhadap perubahan kebijakan dan tidak memperhitungkan reformasi radikal yang sedang atau
perlu dilakukan, seperti perubahan iklim. mengubah kebijakan. Selain itu, perubahan kebijakan
terkadang bisa terjadi dengan cepat dan menghasilkan perubahan yang transformatif. Hal ini dapat
disebabkan oleh berbagai peristiwa, konflik, dan krisis ekonomi, seperti serangan 9/11 dan Resesi
Hebat tahun 2008. Ada beberapa model yang menggambarkan hal ini
bentuk perubahan kebijakan yang tiba-tiba, termasuk model “siklus”, seperti peralihan antara
mengutamakan kepentingan publik (ekspansi pemerintah) dibandingkan kepentingan swasta
(intervensi pemerintah minimal) setiap tiga puluh tahun. Alternatifnya, ada model “reaksi balik” atau
“zigzag”, seperti peningkatan belanja untuk program kesejahteraan setelah periode peningkatan
belanja untuk stimulasi fiskal. Terakhir, terdapat model “kesetaraan bersela” dan penyimpangan
radikal dari periode stabil yang kadang terjadi

Kebijakan dan Pembuatan Kebijakan

11
dari pembuatan kebijakan skala kecil ke perubahan kebijakan skala besar (Baumgart-
ner, Jones, dan Mortenson 2014). Berasal dari teori biologi evolusi untuk menjelaskan
kemunculan (atau hilangnya) spesies secara tiba-tiba, model keseimbangan bersela
dapat membantu evaluator mengembangkan kesadaran yang lebih tinggi terhadap
keadaan yang mungkin memicu perubahan kebijakan berskala besar, seperti
perubahan besar-besaran. pada aktor politik dan aliansi mereka, serta peningkatan
peluang media untuk memasukkan suatu isu ke dalam agenda nasional (Stewart,
Hedge, dan Lester 2008). Perubahan kebijakan yang dramatis juga dapat dipengaruhi
oleh bukti-bukti yang muncul atau solusi kebijakan yang tampaknya mempunyai daya
tarik dan kelayakan yang lebih baik.
Alternatifnya, ada model “tidak ada perubahan”, seperti kebuntuan kebijakan dan
kegagalan pengambil keputusan dalam mencapai perubahan kebijakan karena
perbedaan ideologi, perselisihan antar aktor politik, atau permasalahan yang sulit diselesaikan.
Hal ini dapat terjadi pada suatu bidang permasalahan dan/atau pada tingkat
pemerintahan dan dapat menimbulkan dampak yang serius (Kraft dan Furlong 2010).
Kelambanan Kongres AS pada masa pemerintahan Obama berdampak negatif pada
persepsi publik terhadap pemerintah dan individu pengambil keputusan.
akuntabilitas. Versi positif dari skenario “tidak ada perubahan” adalah dukungan
berkelanjutan terhadap suatu program, khususnya dalam belanja publik. Misalnya,
Kongres AS mempertahankan pendanaan tahunan untuk pusat kesehatan masyarakat
nirlaba pada awal tahun 2000an—sebuah kemenangan besar di saat anggaran negara
dipangkas.
Model inkremental, radikal atau transformatif, dan tanpa perubahan penting untuk
mengkarakterisasi potensi kemajuan atau kegagalan suatu kebijakan.
Para advokat yang cerdas akan memahami lanskap kebijakan dan memasukkan hal
ini ke dalam strategi advokasi mereka. Demikian pula, evaluator yang mampu
mengaitkan desain evaluasinya (khususnya model logika dan hasil) pada proses
perubahan akan mampu mengkarakterisasi inisiatif advokasi dan perubahan kebijakan
dengan lebih akurat, serta mendokumentasikan hasil yang diantisipasi dan tidak
diantisipasi.
Model lain yang berguna mencirikan aktivitas atau aspek pembuatan kebijakan
publik yang berbeda, seperti model “pilihan rasional” dimana kebijakan dibentuk oleh
interaksi konteks dan tindakan rasional kelompok dan individu. Sebagai bidang
penyelidikan yang sudah mapan, model-model ini berguna untuk membandingkan
berbagai bidang kebijakan dan memahami pengambilan keputusan
konteks yang berbeda, seperti peran lembaga administratif dalam mendukung dan/atau
melaksanakan suatu kebijakan. Indikator-indikator tersebut berguna untuk
menggambarkan pemerintah sebagai sebuah sistem yang berubah seiring berjalannya
waktu dan bereaksi terhadap faktor-faktor lingkungan, dan indikator-indikator tersebut
telah berkembang hingga mencakup norma-norma budaya, hubungan, dan otoritas
yurisdiksi (Theodoulou dan Kofinis 2004). Misalnya, kerangka Analisis dan Pengembangan
Kelembagaan (IAD) berfokus pada bagaimana pengaturan kelembagaan dan sistem tata
kelolanya mempengaruhi alokasi sumber daya, seperti perjanjian antar negara bagian
dan perjanjian air (Nowlin 2011). Model lainnya adalah Pilihan Rasional Institusional
(Institutional Rational Choice) yang dikemukakan oleh Eli-nor Ostrom dimana aktor
politik yang rasional mengubah institusi, pengaturan, dan aturan, sehingga meningkatkan
kemungkinan mencapai tujuan kebijakan yang diinginkan (Schlager dan Blomquist 1996).
Pendekatan yang sudah lama ada untuk memahami bagaimana kebijakan dibuat
adalah dengan berfokus pada individu dan kelompok yang mendominasi proses
pembuatan kebijakan atau “siapa” dalam definisi politik klasik Harold Lasswell (1951):
“Siapa mendapat apa , kapan dan bagaimana." Namun “siapa” dapat mencakup berbagai
jenis aktor politik—kelompok, organisasi, lembaga pemerintah, pengambil keputusan
individu, komunitas, dan masyarakat—yang banyak di antaranya dijelaskan di Bab 2.
Terdapat model kelompok di mana kebijakan dihasilkan dari interaksi kelompok dan
berbagai kepentingan yang bersaing. Disebut sebagai “pluralisme,” mungkin ada lebih
banyak peluang bagi kelompok-kelompok baru untuk terbentuk, meskipun beberapa
kelompok mungkin mempunyai pengaruh yang lebih besar dibandingkan yang lain, seperti
sektor bisnis, serikat pekerja, dan asosiasi perdagangan.
Pengaruh relatif masing-masing kelompok sebagian besar menentukan pilihan kebijakan

mana yang akan diambil. Di ujung lain spektrum kelompok, terdapat model “elit” di mana
segelintir orang yang memiliki hak istimewa, yaitu kelompok kaya dan berkuasa,
mengambil kebijakan. Kesempatan bagi advokat yang kurang memiliki sumber daya dan/
atau berpengaruh sangatlah terbatas. Ada kecenderungan untuk mengecualikan orang
luar; yang paling buruk adalah kronisme. Model ini dapat diterapkan pada arena kebijakan
yang baru muncul serta demokrasi baru di mana sekelompok kecil orang memegang
otoritas hegemonik dan suara politik masih terus menguat. Model kelompok lainnya
adalah “korporatisme” atau sistem politik di mana kepentingan terorganisir, seperti
asosiasi profesional, bisnis, militer, serikat pekerja, atau kelompok masyarakat, merupakan
bagian dari proses pengambilan keputusan dan implementasi, bukan hanya pendukung.
Model ini membantu mengkarakterisasi sifat hubungan itu
apa yang dimiliki advokat dengan pemerintah dan sejauh mana mereka merupakan
orang dalam dan mitra. Dipicu oleh upaya desentralisasi dan/atau privatisasi fungsi
pemerintahan di negara maju, korporatisme menjadi elemen yang semakin penting
dalam sistem politik (Theodoulou 1995).
Yang paling informatif bagi komunitas evaluasi APC adalah model “jendela
kebijakan” John Kingdon, yang juga disebut sebagai Model Multiple Streams (MS)
(Kingdon 1995). Hal ini merinci peluang yang diberikan kepada para advokat untuk
memperjuangkan agenda kebijakan mereka ketika terdapat pertemuan aliran
masalah, politik, solusi, partisipan, dan peluang pilihan selama tahap Penetapan
Agenda . Jendela kebijakan (policy window) adalah kesempatan yang diberikan
kepada para pengambil kebijakan untuk memindahkan sebuah proposal dari masa
awal yang telah diusulkan ke dalam agenda pemerintah, dan dianggap oleh banyak
ilmuwan politik sebagai tahap yang paling penting untuk memajukan proses
pembuatan kebijakan. Model ini menunjukkan peluang yang diberikan kepada para
pendukung serta mekanisme perubahan yang dapat diintegrasikan ke dalam teori
perubahan. Versi terbaru dari model ini mencakup identifikasi jendela kebijakan di
bagian selanjutnya dalam Perumusan Kebijakan
dan tahapan Implementasi Kebijakan , serta memperluas alur kebijakan hingga
mencakup institusi (Nowlin 2011).
Bagi evaluator yang berfokus pada koalisi atau jaringan, Kerangka Koalisi
Advokasi (ACF) menyediakan model perubahan kebijakan multifaset yang menekankan
peran pembelajaran dan perubahan sistem kepercayaan untuk menjelaskan
perubahan kebijakan (Jenkins-Smith dan Sabatier 1994). Hal ini berguna untuk
mengkarakterisasi kesamaan pemikiran di antara koalisi sekutu dan aktivitas
terkoordinasi dalam jangka waktu yang lebih lama dibandingkan yang dijelaskan
dalam model tahap kebijakan, atau beberapa dekade. Evaluator dapat melihat lebih
jauh ke hulu untuk mengetahui hal-hal yang mendahului perubahan kebijakan,
termasuk mengidentifikasi pemangku kepentingan utama dan keyakinan inti yang
mendukung perubahan kebijakan di kemudian hari. Selain itu, mereka dapat
memahami dinamika pembuatan kebijakan dari waktu ke waktu, sebuah kemajuan
dari deskripsi ilmu politik statis mengenai komunitas pembuat kebijakan, seperti
“segitiga besi,” atau hubungan yang tertutup dan erat antara kepentingan-kepentingan yang terorganis
Karena perubahan kebijakan belum tentu disebabkan oleh advokasi langsung,
maka penting untuk tidak membatasi fokus seseorang pada model aksi politik
tradisional. Model Demokrasi Deliberatif mengalihkan perhatian dari institusi ke
peran dialog yang terinformasi dalam membentuk keputusan (Dryzek 1996). Mirip dengan
pengambilan keputusan berdasarkan konsensus, terdapat penyertaan sebanyak mungkin
suara secara sengaja dan penekanan pada pengambilan keputusan berdasarkan bukti.
Meskipun lebih mungkin terjadi di negara demokrasi yang representatif, model ini dapat
digunakan untuk menggambarkan situasi kebijakan di mana penelitian merupakan kunci untuk
mengidentifikasi masalah dan merumuskan solusi.
Bidang lain yang sedang berkembang, Narrative Policy Network (NPF), mengkaji pembelajaran
yang berorientasi pada kebijakan dan bagaimana narasi atau cerita kebijakan disebarkan
dan ditafsirkan oleh aktor politik ketika membuat pilihan kebijakan (Nowlin 2011).
Baru-baru ini, para pakar kebijakan berfokus pada hambatan dalam membuat keputusan
yang benar-benar berdasarkan informasi dan rasional. Ilmu pengetahuan di bidang lain,
seperti ekonomi perilaku dan neurobiologi, menyediakan model-model baru yang didasarkan
pada keinginan dan perilaku masyarakat yang sudah tertanam dalam diri mereka. Misalnya,
pemicu emosional, seperti kesediaan untuk menyesuaikan diri dengan preferensi suatu
kelompok, bahkan ketika hal itu berarti memilih menentang kepentingan seseorang, mungkin
memainkan peran yang lebih penting daripada yang diperkirakan sebelumnya (Smith dan
Larimer 2013). Meskipun tidak ada model yang berlaku, kajian mengenai pengambilan
keputusan merupakan bahan pemikiran yang baik dan dapat membantu pengembangan teori perubahan yang k
Mengingat sifat beberapa bidang kebijakan yang tidak jelas, mungkin sulit untuk memilih
model tertentu yang paling menggambarkan bagaimana suatu kebijakan dirancang. Ilmuwan
politik Stella Theodoulou dan Chris Kofinis (2004) menawarkan pendekatan pragmatis atau
menggunakan pendekatan tahap kebijakan untuk mengembangkan pemahaman tentang

keseluruhan struktur proses kebijakan dan kemudian menggabungkan model-model lain
untuk memperdalam pemahaman Anda tentang dinamika pembuatan kebijakan. Masing-
masing model mewakili pemahaman yang unik dan terkadang saling bersaing mengenai
pembuatan kebijakan dan harus dieksplorasi bersama para penyandang dana dan advokat,
yang mungkin memiliki pemahaman yang sangat berbeda atau tidak memiliki model sama
sekali. Meskipun hal ini memerlukan eksplorasi literatur dan diskusi dengan para pemangku
kepentingan sejak awal, hal ini merupakan upaya yang layak dilakukan dan akan memperkuat
keselarasan antara inisiatif advokasi dan perubahan kebijakan serta desain evaluasi.
Landasan desain evaluasi pada satu atau lebih model ini juga akan bermanfaat bagi
pemangku kepentingan evaluasi. Hasil Aspen/

Survei Evaluasi APC UCSF menunjukkan peringkat kedua paling tinggi
kesenjangan (48 persen, atau “sangat signifikan”) adalah kurangnya pemahaman mengenai proses
advokasi dan perubahan kebijakan oleh penyandang dana dan/ atau penerima hibah. Jika tidak diatasi,
kesenjangan ini berpotensi menciptakan ketidakselarasan antara kebutuhan informasi pemangku
kepentingan dan tujuan evaluasi. Salah satu pendekatannya adalah dengan bertanya kepada para
pemangku kepentingan—para advokat, penyandang dana, dan pembuat kebijakan—bagaimana
menurut mereka kebijakan dibuat dan apa mekanisme yang mendasari perubahan tersebut. Hal ini
harus dilakukan sejak awal sebagai bagian dari pengembangan teori perubahan program dan/atau
model logika atau sebagai bagian dari analisis faktor kontekstual. Jika tidak ada pemahaman bersama,
terdapat peluang untuk berdialog dengan para pemangku kepentingan mengenai berbagai model dan
mencari konsensus mengenai model yang paling menggambarkan proses perubahan kebijakan
(Stachiowak 2013).
Selain itu, akan berguna untuk mencari sudut pandang seseorang yang memiliki pemahaman
historis mengenai kebijakan tertentu dan bagaimana kebijakan tersebut berkembang, baik itu pembuat
kebijakan, staf lembaga, peneliti, atau evaluator lainnya. Sejumlah besar responden Survei Aspen/
UCSF (25 persen) mengindikasikan bahwa terbatasnya keahlian para evaluator dalam bidang kebijakan
atau isu inisiatif advokasi yang sedang dievaluasi merupakan “kesenjangan yang sangat signifikan.”
Dokumentasi, seperti laporan pemerintah, layanan penelusuran legislatif, dan literatur tinjauan sejawat
kebijakan publik bisa sangat membantu dalam hal ini. Minimal, evaluator APC harus mengembangkan
pemahaman mereka sendiri mengenai perubahan dan model pembuatan kebijakan yang tepat. Pada
saat yang sama, mereka juga harus mempertimbangkan untuk memberikan pemahaman kepada pihak
lain, jika diperlukan, dalam bidang kebijakan yang mereka evaluasi.
JENIS KEBIJAKAN
Evaluator dapat menggunakan beberapa kategori dasar tipe kebijakan untuk meningkatkan keselarasan
desain evaluasi dengan atribut dan dinamika kebijakan tertentu. Meskipun terdapat perdebatan
mengenai sejauh mana kerangka kerja ini mencerminkan realitas kompleks yang dihadapi para advokat
dan pengambil keputusan, kerangka kerja tersebut tetap menjadi dasar analisis kebijakan dan kajian
ilmiah.
Karena kebijakan publik adalah tentang pengambilan keputusan, kebijakan dapat dikategorikan
berdasarkan jenis keputusan. Semua kebijakan publik sebelumnya merupakan tindakan hukum yang
disetujui dan mencakup: undang-undang yang disahkan oleh Kongres atau badan legislatif negara bagian
untuk mengatur perilaku (seperti mewajibkan masyarakat membeli asuransi mobil);

perintah eksekutif yang ditandatangani oleh presiden untuk mengatur pemerintahan
federal (misalnya untuk berperang); dan keputusan pengadilan yang mengubah penafsiran
undang-undang yang ada (seperti keputusan Mahkamah Agung AS pada tahun 2014
yang menjadikan perluasan Medicaid negara bagian sebagai opsional berdasarkan
Undang-Undang Perawatan Terjangkau). Mengetahui jenis keputusan apa yang
diperjuangkan atau diumumkan akan memberikan wawasan mengenai ruang lingkup
kebijakan dan kemungkinan strategi advokasinya. Misalnya, pengesahan dan penerapan
undang-undang memberikan banyak titik akses bagi advokat, termasuk menargetkan
masyarakat, legislator, dan media. Sebaliknya, mempengaruhi keputusan Mahkamah
Agung AS merupakan tantangan bagi banyak advokat dalam hal keahlian dan sumber
daya, meskipun hal ini penting.
Cara lain yang berguna untuk mengklasifikasikan kebijakan adalah berdasarkan
keluaran kebijakan dan jenis manfaat yang diberikannya kepada masyarakat. Ilmuwan
politik Theodore Lowi (1964) mengembangkan dua klasifikasi, dengan beberapa
kebijakan yang dianggap “distributif” (memberikan manfaat kepada sekelompok orang
tertentu melalui proses penganggaran, seperti belanja jalan) atau “redistributif”
(mentransfer sumber daya dari kelompok yang lebih makmur ke kelompok yang kurang
mampu, seperti bantuan kepada masyarakat miskin). Keluaran kebijakan ini memberikan
manfaat yang nyata (atau material) kepada masyarakat, yang ditandai dengan lebih
banyak konflik karena kebijakan tersebut biasanya mencerminkan perbedaan kelas dan
memerlukan kepentingan yang kurang berkuasa untuk mengalahkan kepentingan yang lebih berkuasa dan
Terdapat jenis klasifikasi keluaran kebijakan lain yang mungkin memberikan cara berguna
untuk menyusun kebijakan tertentu. Salah satu contohnya adalah apakah suatu kebijakan
memberikan “kebaikan kolektif” atau tidak, seperti pendanaan untuk pertahanan nasional
atau kesehatan masyarakat. Contoh lainnya adalah menanyakan apakah suatu kebijakan
mengandung “barang pribadi” (juga disebut sebagai “privatisasi”), dimana perusahaan
swasta menyediakan layanan yang konsumen bayar. Kebijakan juga dapat diklasifikasikan
sebagai keluaran kebijakan “non-materi” seperti peraturan perundang-undangan yang
dimaksudkan untuk mempengaruhi perilaku kelompok atau individu tertentu melalui
penggunaan sanksi atau insentif, seperti memastikan keselamatan di tempat kerja. Atau
suatu kebijakan mungkin bersifat prosedural yang menentukan bagaimana sesuatu akan
dilakukan, seperti kebijakan pendidikan yang dibentuk oleh kebijakan federal dan
menetapkan persyaratan di tingkat negara bagian.
Proses anggaran pemerintah dan belanja lembaga publik adalah
di mana keluaran kebijakan keuangan dan persaingan kepentingan paling terlihat. Meskipun
penutupan pemerintahan federal menjadi pemberitaan media yang besar, belanja di tingkat
negara bagian, dimana anggaran negara bagian lebih rentan terhadap kemerosotan
ekonomi, juga menjadi perdebatan. Selain itu, setiap dolar yang dibelanjakan oleh
pemerintah memiliki kisah di balik layar, baik itu formula alokasi yang terkait dengan
perubahan demografis, kesediaan (atau keengganan) untuk mengisi kembali dan
mengkompensasi penurunan pendanaan selama masa sulit, atau penambatan pendanaan
ke negara-negara lain. sumber pendanaan yang tidak berkelanjutan, seperti dana
penyelesaian tembakau. Evaluator mungkin tidak perlu melakukan analisis biaya, namun
mereka perlu memperhatikan dimensi politik dari dana yang digunakan dalam hampir setiap
keputusan kebijakan.
Kebijakan juga dapat diklasifikasikan berdasarkan ideologi yang diwakilinya dan
dicirikan sebagai liberal atau konservatif. Di Amerika Serikat, pembedaan ini biasanya
digunakan untuk menggambarkan peran pemerintah dan apakah pemerintah merupakan

alat untuk mencapai tujuan (perspektif liberal) atau terlalu besar dan kontra-produktif
(perspektif konservatif). Namun, kenyataannya kebijakan tersebut tidak mudah jatuh ke
tangan salah satu pihak. Namun, akan sangat membantu jika kita mengetahui di mana
letak spektrum ideologi suatu kebijakan dan siapa yang mungkin akan mendapat manfaat
dari kebijakan tersebut. Misalnya, perdebatan tentang pembangunan Jalur Pipa Keystone
antara pasir tar di Alberta, Kanada, dan Teluk Meksiko mencakup kepentingan konservatif
dan liberal, seperti potensi bahaya lingkungan, kepentingan bisnis, serta upaya untuk
mengurangi dampak buruk terhadap Amerika Serikat. bergantung pada minyak bumi dari
luar.
Singkatnya, terdapat beberapa klasifikasi konseptual dan kerangka kerja yang dapat
berfungsi sebagai landasan untuk memahami pembuatan kebijakan dalam konteks Anda.
Pikirkan tentang merancang kerangka kerja untuk proyek Anda tanpa mengabaikan tiga
atribut utama: peran pemerintah yang diharapkan; keluaran kebijakan; dan manfaatnya bagi
masyarakat, seperti program, layanan, dan pendanaan. Menyebutkan suatu kebijakan
berdasarkan jenis manfaatnya merupakan langkah awal yang baik untuk memahami
potensi tindakan yang akan diambil serta di mana dan bagaimana para pendukung kebijakan
tersebut kemungkinan besar akan berpartisipasi dalam proses pembuatan kebijakan.
Terakhir, pertimbangkan apakah beberapa klasifikasi membantu memperkuat hubungan
antara perspektif advokat dan desain evaluasi. Apakah terdapat konflik ideologis yang
menghalangi tercapainya kesepakatan para pemangku kepentingan dan hal ini akan
memperlambat atau menghambat beberapa jenis reformasi kebijakan?
TEMPAT PENGAMBILAN KEBIJAKAN
Tempat di mana kebijakan dibuat—pemerintah dan lembaga-lembaganya, tingkat pengambilan keputusan,
dan bidang-bidang yang terkait—memberikan peluang bagi para advokat untuk berpartisipasi dalam
proses pembuatan kebijakan dan bagi para evaluator untuk mengamati praktik advokasi. Bagi banyak
advokat, hadir secara fisik adalah salah satu taktik utama mereka, termasuk mengorganisir demonstrasi,
membawa konstituen menemui perwakilan mereka di ibu kota federal dan negara bagian, atau memberikan
kesaksian kepada pejabat terpilih.
Penting untuk mengakui pemerintah sebagai tempat terjadinya perubahan kebijakan dan tempat
yang memiliki kapasitas terbesar untuk mengatasi masalah-masalah publik. Ia menjalankan otoritas atas
sekelompok orang dan memberikan legitimasi terhadap kebijakan (juga disebut sebagai “kekuasaan
negara”). Para evaluator harus memahami berbagai jenis pemerintahan dan bagaimana mereka
menetapkan ketentuan-ketentuan yang mendasari pengambilan kebijakan. Terdapat perbedaan dalam
pemerintahan berdasarkan siapa yang memegang otoritas pengambilan keputusan, mulai dari negara
demokrasi yang pejabatnya dipilih oleh mayoritas rakyat, hingga negara diktator yang hanya mengandalkan
satu orang saja untuk memegang kekuasaan.
Kedua, pemerintah mempunyai cabang pemerintahan dan proses pembuatan kebijakan yang berbeda-
beda, yang dapat memudahkan atau menyulitkan pembuat kebijakan untuk bertindak dan dapat
memprediksi kemampuan pemerintah untuk mencapai tujuannya.
Pemerintah juga mempunyai struktur kekuasaan yang berbeda-beda, dan hubungan antar cabang
pemerintahan dan tingkat federal, negara bagian, dan lokal berbeda-beda, seperti otoritas perpajakan
yang terdesentralisasi. Disebut sebagai “federalisme” di Amerika Serikat atau pembagian wewenang
antara pemerintah federal dan negara bagian, pertanyaan tentang tanggung jawab desentralisasi (atau
sentralisasi), khususnya tanggung jawab pendanaan, dapat sangat menghambat atau memfasilitasi
tindakan kebijakan. Pada satu tingkat, desentralisasi kewenangan kepada negara bagian dan daerah
memungkinkan pembuatan kebijakan yang mencerminkan kapasitas, permasalahan, dan sejarah yang
terjadi pada tingkat tertentu. Namun, hal ini juga dapat memperburuk kesenjangan antar negara bagian
dan daerah. Di Amerika Serikat, terdapat perbedaan struktural yang signifikan antar negara bagian,
seperti penggunaan inisiatif dan proses referendum dimana warga negara dapat memilih untuk menyetujui
atau mencabut tindakan atau proposisi (Dye 2002).
Terlebih lagi, pemerintahan adalah sebuah sistem di dalam sebuah sistem, dan hal ini sangat penting
dipengaruhi oleh atribut sosio-ekonomi, seperti distribusi modal dan kepemilikan

properti, pengaruh institusi keagamaan, elit kaya, dan militer, serta pentingnya
kepentingan publik versus kepentingan individu. Faktor-faktor lingkungan ini
sebagian besar menentukan tingkat kebebasan dalam suatu sistem pemerintahan,
serta membentuk hubungan antara para aktor dan pendukung politik.
Setelah struktur dan komposisi suatu pemerintahan telah teridentifikasi, akan

berguna untuk menjelaskan bagaimana pemerintah menjalankan wewenangnya, atau
apa yang disebut dengan tata kelola. Hal ini juga dapat bervariasi berdasarkan
geografi dan tingkat pemerintahan, serta fokusnya sempit atau luas, termasuk
menentukan kondisi perekonomian, menyelesaikan konflik, dan memastikan
kesejahteraan sosial. Mengetahui peraturan internal pemerintah dan aktor publik dan
swasta, kebiasaan, kapasitas, proses, bentuk keterlibatan, dan ruang lingkup
memberikan wawasan tentang tahap-tahap persiapan pembuatan kebijakan.
proses.
Pengetahuan tentang birokrasi yang bertanggung jawab atas pelaksanaan dan
pengelolaan kebijakan atau implementasi kebijakan sangat penting untuk memahami
sejauh mana suatu kebijakan pasca pengesahan kemungkinan akan berhasil dan
mencapai tujuannya. Meskipun bersifat hierarkis dan sangat terorganisir, birokrasi
di semua tingkatan, bahkan di tingkat klien, atau yang disebut “birokrasi tingkat
jalanan”, mungkin memiliki keleluasaan yang signifikan dalam menafsirkan dan
menerapkan suatu kebijakan (Lipsky 2011). Birokrasi pemerintah juga tidak kebal
terhadap pengaruh, atau terhadap apa yang disebut sebagai “penangkapan lembaga”.
Birokrat juga akan mempunyai agenda politiknya sendiri serta berupaya melindungi
atau memperluas anggarannya. Namun, mereka memiliki keahlian teknis dalam
penulisan peraturan dan regulasi serta pemahaman mendalam tentang arena
kebijakan. Mereka adalah mitra yang kuat dalam memahami isi kebijakan dan potensi
jangkauannya.
Meskipun lembaga legislatif merupakan lembaga yang biasanya digunakan untuk
membuat dan mengesahkan kebijakan, lembaga lain, seperti lembaga eksekutif dan
lembaga yang bertugas menyusun peraturan dan perundang-undangan, memberikan
peluang bagi para advokat untuk bersuara. Misalnya, di Amerika Serikat, semua jenis
kepentingan yang terorganisir menargetkan persetujuan legislatif dan lembaga
administratif yang bertanggung jawab untuk melaksanakan kebijakan (Boehmke,
Gailmard, dan Patty 2013). Selain itu, para advokat yang bekerja atas nama masyarakat rentan
pengadilan dan/atau mereka yang terlibat dalam isu-isu seperti keadilan lingkungan, reformasi
imigrasi, aborsi, dan kompensasi atas cedera pribadi, mungkin menganggap pengadilan sebagai
tempat yang berguna untuk perubahan kebijakan.
Tingkat pengambilan kebijakan—federal, negara bagian, regional, kabupaten, dan kota—
berperan dalam membentuk dunia advokasi dan taktik-taktiknya, namun tidak begitu berperan
dalam isu kebijakan itu sendiri . Meskipun terbatas, penelitian ini menunjukkan bahwa terdapat
perbedaan yang terbatas dalam hal keterwakilan dan kelompok kepentingan yang terorganisir
mungkin aktif pada salah satu atau kedua tingkat tersebut. Dan tempat-tempat ini dapat bervariasi
dari satu tingkat pemerintahan ke tingkat lainnya, dan setiap tingkat mempunyai birokrasi, proses
pengambilan keputusan, dan aktor politiknya sendiri (Boehmke, Gailmard, dan Patty 2013).
Misalnya, desentralisasi dalam tanggung jawab pendanaan dan penyediaan layanan sosial dan
kesehatan, seperti HIV/
AIDS, kesehatan mental, dan layanan tunawisma dari pemerintah federal hingga pemerintah
negara bagian dan lokal pada tahun 1990an telah menghasilkan peningkatan advokasi di tingkat
negara bagian dan lokal. Temuan dari Survei Evaluasi APC Aspen/UCSF menunjukkan bahwa
evaluator APC serba bisa dan mampu melakukan evaluasi di berbagai tingkat atau: nasional (50
persen); negara bagian (54 persen); regional (22 persen); dan lokal (kabupaten, kota, lingkungan
sekitar; 36 persen).
Pembuatan kebijakan juga ditempatkan pada bidang-bidang topikal tertentu: ekonomi dan
penganggaran, layanan kesehatan, kesejahteraan, pendidikan, energi, dan lingkungan hidup.
Bidang-bidang ini mempunyai komposisi yang berbeda (dan mungkin konfigurasi yang berbeda)
dari pemangku kepentingan publik dan swasta serta isu-isu ekonomi dan politik yang berbeda,
dan mereka disebut sebagai “sub-pemerintahan” atau “jaringan isu.” Walaupun kepentingan dan
pengaruhnya berbeda-beda di setiap arena kebijakan, terdapat beberapa bukti bahwa keanggotaan
mereka semakin meluas hingga mencakup masyarakat (Kraft dan Furlong 2010). Misalnya, arena
kebijakan kesehatan mengalami peningkatan besar dalam kelompok kepentingan ketika Presiden
Clinton mencoba meloloskan undang-undang reformasi layanan kesehatan pada awal tahun
1990an (Weissert dan Weissert 1996).
Ada atau tidaknya perbedaan mendasar dalam pengambilan kebijakan di masing-masing
bidang merupakan pertanyaan yang menarik. Semua pembuatan kebijakan di AS menggunakan
buku peraturan yang sama, namun kita tidak bisa berasumsi bahwa peraturan tersebut diterapkan
dengan cara yang sama atau tetap konstan selama periode waktu tertentu. Permasalahan
kebijakan itu sendiri dapat menimbulkan perbedaan dalam proses pembuatan kebijakan, misalnya iklim
perubahan, yang telah diklasifikasikan sebagai “masalah yang sangat buruk” dan
memiliki jangka waktu yang sangat panjang sebelum dampak kebijakan dapat
diamati (Huitema dkk., mengutip Jordan dkk. 2011, 179). Perbedaan ideologi dan
pergantian kepemimpinan dapat mendorong kemajuan suatu bidang kebijakan atau
menghambatnya hingga pemerintahan baru mengambil alih. Misalnya, kenaikan
upah minimum atau reformasi imigrasi mungkin akan dipengaruhi oleh gelombang
tindakan kebijakan dan tidak adanya tindakan, yang mencerminkan tekanan politik
yang semakin terpolarisasi. Para evaluator harus memperhatikan sejarah khas
suatu bidang kebijakan dan atribut-atributnya.
Tidak mengherankan jika mayoritas responden Survei Aspen/UCSF—sekitar
60 persen—melaporkan bahwa mereka bekerja di bidang kebijakan kesehatan,
termasuk layanan kesehatan, kesehatan masyarakat, serta penyakit dan kelainan,
diikuti oleh pendidikan (39 persen). dan peningkatan masyarakat/
pembangunan ekonomi (31 persen). Tidak dapat disangkal bahwa kebijakan
kesehatan adalah “gorila besar” dan salah satu kebijakan yang paling padat dan
rumit, khususnya di Amerika Serikat, yang dipicu oleh perdebatan reformasi layanan
kesehatan serta dampak luar biasa sektor ini terhadap perekonomian Amerika.
Kehadiran yayasan swasta sangatlah penting, banyak di antaranya telah
mencurahkan sumber daya yang signifikan untuk peningkatan kapasitas advokasi
dan kampanye advokasi khusus secara internasional, nasional, dan lokal.
(Lihat Tabel 1.1.)
Hasil survei juga menunjukkan bahwa evaluator APC secara keseluruhan
terlibat dalam lebih dari tujuh belas bidang kebijakan, meskipun dengan tingkatan
yang berbeda-beda. Hasil-hasil ini juga menunjukkan bidang-bidang kebijakan yang
dapat kita antisipasi pertumbuhannya di masa depan, seperti bidang energi dan
lingkungan hidup, dimana tekanan untuk bertindak kemungkinan besar akan
semakin meningkat seiring dengan meningkatnya dampak pemanasan global.
Evaluator APC harus waspada dan memberikan perhatian yang lebih besar
terhadap evaluasi. Selain itu, masing-masing evaluator APC terlibat dalam lebih
dari satu bidang kebijakan, dan terdapat potensi besar untuk bekerja lintas batas
kebijakan karena model dan metode evaluasi cukup fleksibel dan bidang kebijakan
semakin saling berhubungan. Misalnya saja, sudut pandang kesenjangan kesehatan
dan determinan sosial terhadap kesehatan menyoroti keterkaitan antara tingkat
pendidikan, status ekonomi, dan hasil kesehatan.
Mengidentifikasi dan mengamati tempat pembuatan kebijakan meningkat pesat

Tabel 1.1. Fokus Responden Survei Evaluasi APC Aspen/UCSF: Bidang Kebijakan Utama
Bidang Kebijakan Persentase Responden Survei

yang Berfokus pada Bidang
Kebijakan
Kesehatan 58%
Pendidikan 39%
Peningkatan Masyarakat/Pembangunan Ekonomi 31%
Pangan, Pertanian dan Gizi 30%
Hak Sipil dan Politik 26%
Pengembangan pemuda 24%
Peningkatan Tata Kelola 22%
Internasional, Luar Negeri dan Keamanan Nasional 21%
Energi dan Lingkungan 13%
Disabilitas 12%
Perumahan dan Tempat Tinggal 11%
Ilmu pengetahuan dan teknologi 9%
Seni, Budaya dan Humaniora 9%
Imigrasi 8%
Keamanan Publik, Kesiapsiagaan Bencana dan Bantuan 6%
Terkait hukum 4%
Rekreasi dan Olahraga 1%
Lainnya 16%
(Catatan: Individu dapat menunjukkan lebih dari satu kategori di mana mereka berpartisipasi.)
Sumber: Program Perencanaan dan Evaluasi Aspen, The Aspen Institute
pemahaman evaluator terhadap suatu kebijakan tertentu dan faktor-faktor kontekstualnya,

dan hal ini merupakan peluang untuk mengumpulkan data, seperti jumlah dan jenis
peserta, kehadiran media, dan informasi yang diberikan oleh para advokat. Tempat
pengambilan kebijakan mungkin transparan atau tidak. Beberapa kebijakan mungkin
memiliki keterlibatan publik yang terbatas, seperti kebijakan di balik layar
niat pemerintah di bawah pemerintahan baru. Cara yang berguna untuk mengidentifikasi
tempat pembuatan kebijakan adalah pembedaan tradisional Big P small p di mana
kebijakan Big P adalah undang-undang, peraturan, dan regulasi formal yang ditetapkan
oleh pejabat terpilih, sedangkan kebijakan small p adalah pedoman organisasi, yang mencakup
keputusan lembaga internal, atau memorandum. Jika Anda mengetahui jenis kebijakan
yang sedang dibuat, Anda dapat mengidentifikasi institusi dan pengambil keputusan yang
bertanggung jawab untuk mengarahkan kebijakan tertentu.
Kebijakan sering kali menjadi bagian dari dunia kebijakan dan berinteraksi dengan
kebijakan lain, misalnya dalam sistem antar pemerintah di mana kebijakan federal
membentuk undang-undang di tingkat negara bagian. Yang terjadi justru sebaliknya,
daerah dan negara bagian dapat berfungsi sebagai inkubator kebijakan inovatif yang
akan mempengaruhi pembuatan kebijakan nasional. Kebijakan juga bisa melintasi batas
negara, atau apa yang disebut “transfer kebijakan,” dan pembelajaran dari satu sistem
politik terhadap kebijakan, prosedur, dan struktur administratif sistem lain (Mossberger
dan Wolman 2003). Di Amerika Serikat, terdapat studi ekstensif mengenai difusi
kebijakan lintas negara bagian dan faktor-faktor yang menghambat atau memfasilitasi
penerapan kebijakan tersebut, terkadang secara verbatim, oleh anggota parlemen
negara bagian (Walker 1983). Dengan menggunakan model “difusi inovasi” Everett M.
Roger (1995) dan teori mengenai determinan internal, para ilmuwan politik telah
mengembangkan sejumlah ilmu yang kuat untuk menjelaskan mengapa adopsi kebijakan
terjadi di beberapa situasi dan tidak di situasi lain. Singkatnya, meskipun kita memandang
pembuatan kebijakan sebagai sebuah kebijakan tunggal, kenyataannya lebih rumit dan
mengetahui garis keturunan suatu kebijakan serta tempatnya dalam jaringan kebijakan
merupakan hal yang penting untuk mengembangkan analisis kontekstual yang baik.
Terakhir, jangan melupakan konteks —sosial, lingkungan hidup, ekonomi, dan budaya
—yang memengaruhi arena kebijakan, jaringan, dan dinamikanya.
Kita menyaksikan perubahan luar biasa secara global dan lokal, sebagaimana dibuktikan
dengan perpindahan sejumlah besar orang dari belahan bumi selatan, cuaca ekstrem,
aksi terorisme yang menyasar aktivitas sehari-hari, dan kemajuan teknologi yang
mengubah pertukaran informasi dan informasi. mobilisasi individu dan komunitas.
PRAKTIK EVALUASI: ENAM KASUS EVALUASI
Keenam kasus evaluasi kami mewakili berbagai skenario pembuatan kebijakan lokal,
negara bagian, nasional, dan internasional yang mungkin dihadapi oleh para evaluator.
Kecuali Project Health Colorado, sebuah kampanye pembangunan kemauan masyarakat
di seluruh negara bagian, lima inisiatif berfokus pada pengesahan kebijakan khusus di
bidang kesehatan, lingkungan, kesetaraan gender, dan transportasi.
Inisiatif Pendidikan dan Kebijakan Tembakau Suku (TTEP) berfokus pada
berlakunya kebijakan lokal bebas rokok, seperti kasino bebas rokok, di lima komunitas
suku. Kampanye GROW adalah kampanye multinasional untuk mengatasi masalah
ketidakadilan pangan dan membangun sistem pangan yang lebih baik yang dapat
memberi makan populasi yang terus bertambah secara berkelanjutan. Hal ini juga
mencakup kampanye enam bulan yang menargetkan kebijakan Bank Dunia mengenai
pembebasan lahan skala besar yang dimaksudkan untuk menjadi elemen pemersatu
dalam Oxfam di mana semua afiliasinya dapat berpartisipasi. Program Konservasi
Tanah Internasional menargetkan kebijakan regional dan lokal untuk menjaga
keanekaragaman hayati di Kanada dan Australia. Inisiatif untuk Mempromosikan
Transportasi yang Adil dan Berkelanjutan menargetkan pengesahan ulang Undang-
Undang Transportasi Darat Federal tahun 2009 serta pilihan kebijakan yang adil dan
berkelanjutan di tingkat negara bagian. Terakhir, model Let Girls Lead mendukung
jaringan advokasi untuk mempromosikan undang-undang, kebijakan, program, dan
pendanaan yang ramah perempuan di Guatemala, Honduras, Liberia, Malawi, dan Ethiopia.
Meskipun sebagian besar inisiatif ini menekankan pada pengesahan kebijakan
publik, terdapat beberapa pengecualian. Project Health Colo-rado mengikuti
pengesahan Undang-Undang Perawatan Terjangkau dan merupakan strategi untuk
memperkuat pengambilan keputusan di bidang layanan kesehatan. Tidak ada satu
pun inisiatif yang hanya berfokus pada kemenangan kebijakan satu kali saja dan
mencakup kombinasi strategi advokasi. Hampir semua inisiatif ini berlangsung selama
beberapa tahun, kecuali Kampanye Pembekuan Lahan Bank Dunia dari Kampanye
GROW, yang merupakan kampanye enam bulan yang menunjukkan pemberi dana
dan mendukung pemeliharaan upaya, yang merupakan aspek penting dari sebagian
besar inisiatif perubahan kebijakan.
Semua inisiatif tersebut menargetkan berbagai tingkat pemerintahan dan lembaga
—pemerintah internasional, federal, regional, negara bagian, dan lokal—dan beberapa
inisiatif menargetkan satu atau lebih tingkat pembuatan kebijakan pada saat yang
bersamaan. Misalnya, Inisiatif untuk Mempromosikan Transportasi yang Adil dan
Berkelanjutan menargetkan pembuatan kebijakan federal dan negara bagian secara
bersamaan. Selain itu, meskipun beberapa inisiatif memiliki tujuan internasional atau
nasional, sebagian besar upaya advokasi dan kebijakan dilakukan di tingkat lokal
dalam semua kasus.
Sebagaimana dijelaskan dalam laporan evaluasi mereka, seluruh inisiatif

menunjukkan pencapaian sebagian atau seluruh tujuan advokasi dan/atau perubahan
kebijakan mereka. Dalam dua inisiatif dengan peningkatan kapasitas advokasi
komponen – Biarkan Anak Perempuan Memimpin dan Inisiatif Pendidikan dan Kebijakan Suku
Tembakau (TTEP) – para penerima hibah juga mencapai beberapa kemajuan dalam kebijakan,
termasuk disahkannya kebijakan ramah anak perempuan dan kebijakan daerah bebas rokok.
Meskipun lebih peduli dengan keberhasilan penerapan Undang-Undang Perawatan Terjangkau dan
membentuk opini publik mengenai akses layanan kesehatan, Project Health Colorado menjangkau
lebih dari dua puluh lima ribu orang secara langsung melalui tim jalanan, anggota masyarakat,
serta staf, dengan beberapa orang yang berpartisipasi. dalam pelatihan sukarelawan, forum
komunitas, pengumpulan cerita, dan berbagi.
Dalam beberapa kasus, kemajuan yang dicapai dalam kebijakan ini tidak diharapkan, namun
tetap saja hasilnya signifikan. Misalnya saja, Kampanye GROW yang diprakarsai oleh Bank Dunia
tidak mengakibatkan pembekuan pembebasan lahan skala besar selama enam bulan, meskipun
ada perubahan dalam kebijakan dan peraturan Bank Dunia, dengan dimasukkannya hak atas tanah
dalam upaya perlindungan Bank Dunia.

tinjauan.
Dalam beberapa kasus, kampanye juga tidak berjalan sesuai harapan. Misalnya saja, Program
Konservasi Lahan Internasional (International Lands Conservation Program) mempunyai efek
limpahan (spillover effect) di antara lembaga-lembaga kebijakan, dengan adanya peluang untuk
menerapkan konsep 50/50 dalam melindungi hutan dalam pembuatan kebijakan di Australia,
meskipun hal ini terbukti kurang memungkinkan dibandingkan di Kanada. Selain itu, RUU Otorisasi
Ulang Transportasi Federal disahkan ketika temuan evaluasi sedang dikembangkan untuk komponen
federal.
Singkatnya, berbagai skenario evaluasi kebijakan dan pembuatan kebijakan dapat dilakukan.
Tidak ada satu pun dari enam kasus yang menunjukkan adanya arena kebijakan atau isu-isu yang
tidak cocok untuk kampanye advokasi.
Juga tidak ada satu arena kebijakan, yaitu kesehatan, yang mengumpulkan seluruh sumber daya
dan perhatian penyandang dana. Hal ini merupakan kabar baik bagi para evaluator, meskipun
seperti yang akan kita bahas nanti di Bab 6, banyak kampanye dan inisiatif advokasi yang tidak atau
kurang dievaluasi atau tidak memiliki dana yang cukup untuk mengembangkan temuan mendalam
dan/atau memberikan masukan bagi pembelajaran dan praktik pemangku kepentingan.
KESIMPULAN
Kebijakan dan politik membentuk kehidupan sehari-hari dan masa depan kita dengan cara yang
mendasar, seperti memastikan air minum yang bersih, membiayai jalan dan infrastruktur, memperkuat
pendidikan masyarakat, dan sebagainya. Proses pengambilan kebijakan adalah

kesempatan bagi masyarakat dari semua lapisan masyarakat untuk bermitra dengan
pengambil keputusan guna memperbaiki kondisi sosial dan lingkungan. Namun, seperti
yang telah kami jelaskan di bab ini, proses kebijakan bisa memakan waktu lama dan sulit,
serta banyak rancangan undang-undang yang gagal melewati proses tersebut pada kali
pertama atau bahkan untuk kedua atau ketiga kalinya—kalaupun pernah. Selain itu, seperti
yang ditunjukkan oleh kasus evaluasi Proj-ect Health Colorado yang berfokus pada
pembangunan kemauan masyarakat, mungkin tidak ada kemenangan kebijakan yang
jelas untuk menandai keberhasilan inisiatif advokasi. Atau, definisi kemenangan suatu
kebijakan dapat berubah seiring dengan diketahuinya dampak suatu kebijakan di kemudian
hari, atau jika terjadi perubahan besar dalam lanskap politik, seperti perubahan besar dalam ideologi.
Meskipun kompleksitas proses kebijakan terkadang menakutkan, kami mendesak para
evaluator untuk memahami dan menerima kompleksitas (dan kekacauan) yang menjadi ciri
kebijakan publik. Pemahaman tentang sifat dinamis dan rumit dari proses pembuatan
kebijakan berdasarkan model-model yang ada dan yang baru muncul serta keilmuan akan
menciptakan pemeriksaan realitas terhadap desain evaluasi, seperti apakah akan meminta
pertanggungjawaban advokat untuk memastikan disahkannya suatu undang-undang atau
memantau implementasinya. suatu kebijakan untuk menjamin kesetiaan terhadap
persyaratan hukum. Evaluator juga harus berusaha memahami dimensi historis dan
substantif dari suatu kebijakan atau arena kebijakan. Ketajaman kebijakan ini tidak hanya
akan memperkuat rancangan evaluasi, namun juga akan memperkuat kemitraan dengan
para advokat yang mungkin memiliki pengetahuan yang banyak mengenai proses kebijakan
dan aktor-aktor politik. Terakhir, seperti yang dicontohkan dalam enam kasus evaluasi
kami, evaluator dapat mengantisipasi berbagai skenario perubahan kebijakan—internasional,
regional, negara bagian, dan lokal, pemerintah dan swasta—serta tinggi atau rendahnya
keterlibatan dalam proses pembuatan kebijakan. Model pembuatan kebijakan menyediakan
sarana untuk memahami lanskap yang asing dan rumit dengan cepat.
Selanjutnya, kita akan mencermati berbagai jenis advokat yang mungkin ditemui oleh
para evaluator—individu, organisasi, koalisi, dan komunitas—dan berbagai cara yang
mereka lakukan untuk didengarkan dan memengaruhi hasil kebijakan.
BAB 2
PEMBELAAN
Mempengaruhi Pengambilan Keputusan
PERKENALAN
“Siapa” dalam pembuatan kebijakan publik—pengambil keputusan, pemerintah,
lembaga, advokat publik dan swasta, serta masyarakat—merupakan bagian
integral dari “bagaimana” dan “apa” dalam pembuatan kebijakan. Tergantung pada
sistem politiknya, aktor-aktor politik ini, hubungan mereka, dan pengaruh mereka
dapat bervariasi dan kompleks, terutama ketika muncul suara-suara baru.
Beberapa dari suara-suara ini mewakili konstituen yang sebelumnya suaranya
mungkin terpinggirkan atau konstituen baru yang kemudian membahas isu
kebijakan, namun tetap memberikan suara yang kuat terhadap isu tersebut, seperti
komitmen yang muncul dari sektor teknologi terhadap isu-isu lingkungan hidup.
Dianggap sebagai sarana penting untuk memperluas demokrasi, sejumlah
besar aktor politik, yang kami sebut sebagai “advokat”, membawa pengaruh
mereka sebelum dan/atau selama proses pembuatan kebijakan. Strategi dan taktik
mereka semakin dikenal karena potensinya dalam mencapai perubahan sistem
yang bertahan lama. Yayasan, lembaga publik, dan organisasi non-pemerintah
telah mengerahkan sumber daya yang signifikan untuk memastikan bahwa suara
para advokat didengar dan mereka mampu mengarahkan arena kebijakan.
Namun, tanpa evaluasi yang matang, strategi advokasi tidak akan menghasilkan
mobilisasi dan dampak kebijakan yang diharapkan; mereka yang mengupayakan
keadilan sosial yang lebih besar akan gagal dalam upaya mereka kecuali mereka
lebih memahami apa yang efektif dalam menciptakan perubahan sosial.
Di sini, kami menanyakan dan menjawab tiga pertanyaan sederhana yang

jawabannya rumit: Apa itu advokasi? Siapa advokatnya? Apa yang dilakukan advokat?
Kami mengkaji tiga bidang studi (ilmu politik, organisasi nirlaba, dan kapasitas
advokasi) untuk menggali konsep dan model berguna yang diperoleh dari studi
selama puluhan tahun. Selain itu, kami memanfaatkan ilmu kebijakan publik tentang
para advokat dan alat-alat yang mereka gunakan. Dengan memanfaatkan
pengetahuan yang signifikan tentang semua jenis organisasi pengaruh, kekuasaan,
dan advokasi, evaluator akan memperoleh pemahaman yang kuat tentang konsep-
konsep yang dapat memberi mereka wawasan dalam menghadapi program atau
intervensi tertentu. Penilaian yang berguna memerlukan evaluator cerdas yang
dapat mengenali dan memahami para pemain dan dinamika kekuasaan yang
secara tradisional merupakan bidang ilmuwan politik.
Kedua, kami menjelaskan keseluruhan taktik advokasi yang saat ini sedang
dinilai oleh evaluator advokasi dan perubahan kebijakan (APC). Banyak diantaranya
yang merupakan bentuk advokasi tradisional, seperti lobi dan keterlibatan dalam
proses pemilu. Namun, terdapat beberapa taktik yang berfokus pada mobilisasi dan
pengorganisasian masyarakat secara lebih luas, yang mungkin tidak akan
menghasilkan perubahan kebijakan dalam pengertian konvensional. Tujuan kami
adalah untuk mendukung pemahaman bersama mengenai taktik-taktik ini serta
membantu mengidentifikasi komponen-komponen utama dari inisiatif advokasi dan
perubahan kebijakan yang dapat dievaluasi.
Terakhir, kami memberikan gambaran kecil tentang para advokat serta strategi
dan taktik advokasi mereka dari enam kasus evaluasi kami, yang memberikan
pemeriksaan realitas dan skenario advokasi yang mungkin dihadapi oleh evaluator.
APA ITU ADVOKASI?

“Advokasi” umumnya dipahami sebagai memperjuangkan atau mendukung suatu
tujuan atau tujuan kebijakan (Obar, Zube, dan Lampe 2012). Namun, definisi yang
tampaknya tidak rumit ini memiliki arti yang berbeda tergantung pada siapa Anda
bertanya. Meskipun mewakili preferensi dan kepentingan seluruh warga negara
merupakan tema yang umum, perspektif ilmu politik berfokus pada bagaimana
kelompok politik memobilisasi sumber daya, bagaimana kelompok berfungsi, dan
apakah kelompok tersebut mempunyai dampak atau tidak. Para advokat
memahami aktivitas mereka secara lebih praktis tentang cara terbaik menggunakan
alat untuk mencapai tujuan kebijakan yang diinginkan. Peneliti nirlaba meneliti kapasitas organisasi
Pembelaan 29
peran advokasi dalam berbagai jenis organisasi. Evaluator melihat advokasi melalui
kacamata evaluasi program dan tidak terlalu terikat pada teori akademis dibandingkan
dengan kebutuhan informasi dari penyandang dana dan advokasi itu sendiri. Mereka
semua mengamati fenomena yang sama, namun mereka mempunyai hubungan yang
berbeda dan tujuan yang berbeda. Untuk memperkuat persilangan antara perspektif-
perspektif ini dan membantu evaluator mengembangkan definisi yang lebih berbeda,
kami melihat advokasi dan taktiknya melalui masing-masing lensa, dengan
memperhatikan perbedaan dan persamaan.
Ilmuwan Politik
Para ilmuwan politik biasanya berfokus pada aspek kelompok dalam advokasi, baik
sebagai cara untuk menjelaskan bagaimana kebijakan dibuat maupun sebagai sarana
untuk memperluas keterwakilan dan memperkuat demokrasi. Kedua penafsiran ini naik
dan turun seiring dengan munculnya model-model pembuatan kebijakan baru dan para
ahli memperdebatkan perlunya partisipasi kelompok, terutama jika yang menang
adalah kelompok yang lebih kaya. Namun, para peneliti telah membuat terobosan
signifikan dalam membedah kelompok-kelompok kepentingan, memahami mengapa
individu dan institusi bergabung dengan mereka, dan bagaimana mereka memberikan
pengaruh pada sistem pembuatan kebijakan di tingkat federal dan negara bagian
(Baumgartner dan Leech 1998). Selain itu, mengkarakterisasi antarmuka antara
kelompok dan pemerintah telah memberikan informasi berguna tentang strategi yang
diterapkan oleh influencer, baik dengan memberikan tekanan melalui sistem hukum,
melakukan tawar-menawar untuk mencapai hasil, atau bertindak secara kolektif dengan
sekutu advokasi (Heinz, Nelson, dan Salisbury 1993 ).
“Kelompok” didefinisikan secara luas dalam literatur ilmu politik dan mencakup
kelompok-kelompok yang kurang terorganisir, seperti koalisi dan gerakan sosial.
Namun, fokus utamanya adalah pada kelompok kepentingan atau organisasi publik
dan swasta yang berupaya mempengaruhi pengambilan keputusan secara langsung.
Para ilmuwan politik masih belum mendapat jawaban mengenai pertanyaan mengenai
dampak atau kekuasaan kelompok kepentingan, yang mungkin disebabkan oleh
kesulitan dalam mempelajari pengaruh, seperti atribusi yang cerdas dalam arena
kebijakan yang padat. Jika lima organisasi melobi untuk meminta pajak daerah dan
pajak tersebut disahkan, siapa yang mendapat pujian? Atau, apakah ini merupakan
cerminan dari koalisi yang lebih berhasil dibandingkan aktor mana pun yang bekerja
sendirian? Ada juga kekhawatiran abadi bahwa semakin banyak suara baru yang tidak memenuhi harap
yang berpendapat bahwa banyak kelompok yang bersaing untuk mendapatkan sumber daya publik adalah hal
yang baik.
Menariknya, kata “advokasi” tidak lazim digunakan dalam bidang ilmu politik, apalagi
dimasukkan dalam The Concise Oxford Dictionary of Politics. Yang paling mendekati
adalah “suara politik”, yang didefinisikan sebagai “setiap aktivitas yang dilakukan oleh
individu dan organisasi yang mempunyai maksud atau dampak untuk mempengaruhi
tindakan pemerintah—baik secara langsung dengan mempengaruhi pembuatan atau
implementasi kebijakan publik atau secara tidak langsung dengan mempengaruhi
pemilihan.” orang-orang yang membuat kebijakan ini” (Verba, Schlozman, dan Brady
2012, 38).
Advokat dan Nirlaba

Terdapat banyak sekali literatur mengenai perspektif advokasi dan bagaimana individu
dan organisasi mengembangkan kapasitas advokasi dan mencapai perubahan kebijakan
yang diinginkan. Terdapat buku-buku “bagaimana caranya”, lokakarya dan kursus yang
ditujukan bagi para advokat dalam melakukan berbagai jenis advokasi, seperti bekerja
dengan media. Berfokus terutama pada strategi dan taktik, sumber daya ini memberikan
wawasan tentang bagaimana para advokat memikirkan pilihan-pilihan mereka untuk
terlibat dalam proses pembuatan kebijakan—istilah dan definisi mereka, asumsi tentang
bagaimana perubahan kebijakan dicapai, dan pemahaman tentang konteks politik. .
Baru-baru ini, advokasi dianggap sebagai peran yang dapat dimainkan dan harus
dimainkan oleh siapa saja, sebagian besar didorong oleh meningkatnya penggunaan
advokasi oleh organisasi nirlaba. Organisasi nirlaba yang secara tradisional tidak memiliki
suara politik formal yang kuat namun memiliki hubungan jangka panjang dengan
pemerintah dan/atau mewakili klien, populasi, atau komunitas kini menarik perhatian
pembuat kebijakan dan memperluas suara politik mereka (Smith 2010).
“Advokasi” menonjol dalam literatur nirlaba dan kurang peduli dengan mobilisasi
keanggotaan kelompok dan lebih fokus pada mendukung perencanaan organisasi,
mengembangkan keahlian advokasi di bidang tertentu, dan memperluas penggalangan
dana. Hal ini dipahami sebagai serangkaian kegiatan atau peran yang dilakukan
organisasi sebagai fungsi primer atau sekunder atas nama kepentingan kolektif (Jenkins
1987).
Berita mengenai kapasitas advokasi organisasi nirlaba cukup menggembirakan.
Dalam penilaian Alli-ance for Justice pada tahun 2015 terhadap kapasitas advokasi 280 non-
Pembelaan 31
keuntungan, hampir 40 persen responden mengatakan bahwa mereka terlibat dalam

advokasi, serta pemberian layanan (30 persen), dan pembangunan komunitas,
pengembangan atau organisasi (20 persen). Organisasi nirlaba juga meminta mitranya
untuk melakukan advokasi di bidang-bidang yang dianggap lemah oleh mereka, seperti
litigasi, hubungan media, dan pemungutan suara. Kemampuan organisasi nirlaba untuk
bermitra dengan pihak lain sebagai bagian dari koalisi atau jaringan telah mendapatkan
perhatian dan dukungan penyandang dana, dan hal ini semakin menjadi fokus komunitas
evaluasi APC (McClure dan Renderos 2015).
Evaluator
Para evaluator inisiatif advokasi dan perubahan kebijakan cenderung membingkai

advokasi dalam konteks evaluasi program dan identifikasi hasil, tindakan, dan sumber
data. Upaya telah dilakukan untuk menggunakan beberapa konsep ilmu politik dalam
bidang penetapan agenda, dan model tahapan kebijakan yang dijelaskan dalam Bab 1
telah digunakan dalam panduan dan kerangka kerja advokasi dan evaluasi perubahan
kebijakan untuk mengembangkan model logika program dan/atau mencirikan taktik
advokasi. . Evaluasi menunjukkan keselarasan dengan arena nirlaba dan fokusnya
pada kapasitas organisasi, karena banyak evaluasi dilakukan atas nama yayasan yang
mendukung kapasitas advokasi nirlaba.
Saat ini, tidak ada satu definisi pun tentang advokasi yang diadopsi secara luas
oleh para penilai advokasi dan perubahan kebijakan. Komunitas evaluasi APC telah
menawarkan definisi advokasi yang serupa dan tumpang tindih, dengan fokus yang
paling luas pada aktivitas—pendidikan, mobilisasi, tindakan hukum, lobi—yang memiliki
target spesifik, baik itu pembuat kebijakan, masyarakat, atau media. Misalnya: “Advokasi
adalah sebuah taktik untuk mencapai perubahan sosial atau kebijakan, seperti
membingkai isu, mengembangkan aliansi, mengumpulkan dan menyebarkan data.
Dampak dari upaya advokasi menyediakan infrastruktur penting yang mengarah pada
perubahan kebijakan dan, selanjutnya, perubahan sosial” (Reisman, Gienapp, dan
Stachowiak 2007, 14).
Singkatnya, para ilmuwan politik, advokat, dan evaluator mempunyai tujuan yang
sama yaitu mengubah persepsi masyarakat dan pembuat kebijakan, memperluas
partisipasi dalam perdebatan mengenai permasalahan dan pilihan kebijakan, serta
mempengaruhi keputusan kebijakan. Namun, keduanya mempunyai hubungan dan
definisi advokasi serta praktiknya yang berbeda.
Mengingat bahwa “advokasi” dapat memiliki arti yang berbeda bagi orang yang
berbeda, apa yang harus dilakukan oleh seorang evaluator? Salah satu kemungkinannya
adalah dengan mendefinisikannya dalam arti luas sehingga tidak terikat pada perspektif,
arena kebijakan, atau wilayah tertentu. Walaupun ada baiknya mengambil pendekatan
yang luas, seperti pendapat salah satu evaluator di kancah internasional, “Setiap organisasi
mempunyai definisi advokasi yang berbeda-beda” (O'Flynn 2009, 1). Para evaluator
disarankan untuk menolak dorongan tersebut dan tidak mengadopsi definisi buku teks yang
mungkin tidak sejalan dengan nilai-nilai dan keyakinan mereka yang melakukan advokasi.
Untuk meningkatkan keselarasan dalam definisi “advokasi” oleh evaluator/pemangku
kepentingan, penting untuk mengakui kemungkinan adanya perbedaan pemahaman
pemangku kepentingan tentang “advokasi” dalam situasi Anda dan mendiskusikan
perbedaan-perbedaan ini selama tahap desain evaluasi. Kami juga menyarankan untuk
mempertimbangkan apa yang ditawarkan literatur untuk dikembangkan dan kemudian
mengadopsi definisi yang sesuai dengan konteksnya. Misalnya, dalam konteks dimana
tujuannya adalah untuk memperluas layanan kesehatan mental untuk populasi klien
tertentu, definisi advokasi mungkin mengacu pada contoh-contoh advokasi kesehatan
perilaku yang terdokumentasi dan menentukan atas nama siapa kegiatan-kegiatan ini
dilakukan.
Selain itu, pertimbangkan untuk memasukkan tujuan inisiatif advokasi ke dalam
definisi “advokasi” dan tunjukkan apakah tujuan kebijakannya adalah untuk meloloskan
atau mencabut suatu rancangan undang-undang atau tindakan, atau bahkan mengupayakan
penerapan undang-undang dengan ketelitian dan sumber daya yang memadai. Dengan
menggabungkan cara dan tujuan, definisi advokasi kemudian dapat menjadi inti desain evaluasi.
SIAPAKAH ADVOKAT?
Tidak selalu mudah untuk mengidentifikasi advokasi dalam arena kebijakan atau kampanye
advokasi, karena kondisi di wilayah ini bisa jadi sangat ramai dan ramai. Biasanya terdapat
banyak posisi yang terwakili dalam suatu isu kebijakan, sehingga lebih sulit untuk mencapai
hasil kebijakan yang diinginkan. Dan advokat hadir dalam berbagai bentuk dan ukuran,
seperti yang kami jelaskan di bawah. Atau ruang kebijakan mungkin tertutup bagi partisipasi
yang lebih luas dan hanya memperbolehkan segelintir orang—elit kaya, militer, atau pejabat
terpilih—untuk berpartisipasi. Namun, penting untuk menentukan dengan jelas siapa yang
mewakili suatu posisi atau tujuan dalam mengembangkan desain evaluasi. Untuk
memperjelas siapa yang termasuk dan bukan seorang advokat, kami melihat definisi umum
dari “advokat”:
Pembelaan 33
•
seseorang yang memperdebatkan atau mendukung suatu tujuan atau kebijakan;
•
seseorang yang bekerja untuk suatu tujuan atau kelompok; dan/atau
•
seseorang yang memperdebatkan perkara orang lain di pengadilan.
Kami kurang tertarik pada definisi terakhir, meskipun sistem hukum merupakan sarana penting untuk
memberikan pengaruh dalam arena kebijakan. Definisi pertama dan kedua lebih selaras dengan cara
kita memandang seorang advokat dan perannya, baik sebagai seseorang yang secara aktif mencoba
membujuk orang lain untuk bertindak atau berafiliasi dengan organisasi atau kelompok dengan
maksud yang sama. Namun, definisi-definisi ini tidak cukup untuk memberikan masukan bagi desain
evaluasi, jadi kami menyarankan aturan praktis berikut ketika mengidentifikasi advokat dan posisi
mereka:
Semua orang bisa menjadi advokat. Terlepas dari bagaimana kita mendefinisikan advokasi,
setiap orang mempunyai kapasitas (walaupun belum tentu bebas) untuk menyatakan keinginannya,
mulai dari orang tua yang mencari pendanaan untuk sekolah anaknya hingga komunitas yang
menentang pembangunan komersial.
Selain itu, penelitian menunjukkan bahwa jumlah dan keragaman advokat semakin meningkat, atau
apa yang disebut sebagai “ledakan advokasi” (Berry 1997). Pemahaman yang lebih luas ini mendorong
kita untuk mempertimbangkan semua suara dan tidak mengabaikan suara-suara yang tersembunyi
atau diam, termasuk suara-suara yang berkomitmen untuk mempertahankan status quo atau bahkan
menghilangkan pencapaian kebijakan sebelumnya.
Siapa yang dianggap sebagai advokat bergantung pada konteksnya. Artinya, kita perlu
memperhatikan kondisi sejarah yang membentuk konteks politik. Model keterwakilan dan keterlibatan
masyarakat dalam proses kebijakan sangat menentukan siapa yang dapat menjadi advokat. Misalnya
saja, di Amerika Serikat, kelompok dan organisasi dianggap sebagai kekuatan dasar politik Amerika,
sebuah perspektif yang sudah ada sejak tahun 1700-an ketika Alexis de Tocqueville berpendapat
bahwa kelompok politik adalah sarana untuk meningkatkan keterwakilan. Hal ini tidak terjadi di negara-
negara lain, seperti negara-negara yang berada pada tahap awal pembangunan demokrasi, dimana
aksi kelompok biasanya kurang lazim. Namun, upaya-upaya seperti protes mahasiswa di Taiwan pada
tahun 2014 menunjukkan gejolak aksi politik dalam suasana non-tradisional. Beberapa orang
berpendapat bahwa “kebakaran” ini adalah akibat dari Internet, yang telah memberikan gambaran
mengenai taktik-taktik baru kepada masyarakat yang belum terorganisir sebelumnya.

Ada advokat individu, organisasi, dan kelompok. Kenyataannya di banyak negara,

negara bagian, dan pemerintahan nasional adalah bahwa advokat individu dan kelompok
hidup berdampingan meskipun kombinasi dan/atau pengaruh masing-masing berbeda
berdasarkan isu kebijakan, prioritas sejarah, dan norma budaya.
Dengan menggunakan aturan praktis ini, kami menyarankan kerangka kerja mikro
hingga makro berikut untuk membantu mengidentifikasi siapa saja pendukungnya
situasi.
Individu
Advokat individu adalah aktor politik yang bisa berubah bentuk. Kedudukan individu
dalam politik dan pembuatan kebijakan tidaklah tetap dan ditentukan oleh norma-norma
masyarakat yang menentukan hak-hak individu, kecenderungan individu untuk bergaul
dengan orang lain, dan pengakuan terhadap keberagaman individu. Selain itu, individu
dapat menjadi lebih dari satu jenis advokat. Direktur kebijakan yang berpengalaman
mungkin juga merupakan pengusaha kebijakan yang berpengaruh atau pejabat terpilih
pada suatu saat dalam kariernya. Perannya bisa berubah-ubah, namun ada beberapa
advokat yang mungkin menjadi bagian dari komunitas advokasi untuk sebagian besar
isu kebijakan, khususnya warga negara, pembuat kebijakan, pelobi, direktur kebijakan,
wirausaha kebijakan, pendukung kebijakan, penentu kebijakan, dan pemimpin. pejabat
yang dipilih dan diangkat.
Meskipun keterlibatan mereka mungkin bersifat episodik dan/atau jauh dari proses
kebijakan, pengaruh politik warga negara tidak boleh dianggap remeh.
Kewarganegaraan memberikan hak dan tanggung jawab yang mempunyai pengaruh
signifikan. Selain menegaskan hak mereka untuk memilih, seruan untuk meningkatkan
keterlibatan masyarakat dan strategi untuk melibatkan warga melalui upaya mobilisasi
akar rumput menjadikan warga negara sebagai advokat yang tangguh baik secara
mandiri maupun bersama-sama (Putnam 1996).
Namun, beberapa jenis advokat individu lebih terlibat dalam proses pembuatan
kebijakan dibandingkan yang lain (juga dikenal sebagai “orang dalam”), khususnya
pembuat kebijakan, pelobi, dan direktur kebijakan, dan peran mereka patut mendapat
pengakuan khusus dalam desain evaluasi karena mereka dapat melayani sebagai
informan kunci baik dalam membantu membentuk pertanyaan evaluasi, maupun dalam
memberikan wawasan penting di kemudian hari.
Penting untuk menyertakan para pembuat kebijakan dalam katalog advokat individu
dalam konteks evaluasi Anda karena mereka sangat berpengaruh.
Pembelaan 35
advokat awal serta menjadi sasaran utama para advokat. Istilah “pembuat kebijakan”
biasanya mengacu pada pejabat publik terpilih (seperti legislator atau dewan
pengawas) yang bertanggung jawab langsung dalam menyusun kebijakan.
Kedekatannya dengan proses pembuatan kebijakan menjadikan mereka sebagai
titik akses dan sasaran pengaruh. Misalnya, advokat dapat memberikan informasi
tentang suatu permasalahan tertentu (seperti Lembar Fakta) dan berpartisipasi
dalam komite untuk mengembangkan peraturan dan regulasi. Banyak dari aktivitas
pengambilan keputusan mereka, seperti periode komentar publik, juga merupakan
kesempatan bagi para advokat untuk menyampaikan kasus mereka. Para pembuat
kebijakan juga menunjukkan berbagai jenis perilaku dan tindakan, banyak di
antaranya yang dapat didokumentasikan, dihitung, dan dipantau, termasuk
peningkatan pemahaman terhadap suatu isu, dukungan terhadap kebijakan tertentu,
dan peningkatan kemauan politik atau kemauan untuk mencapai perubahan.
Pada kenyataannya, aktor-aktor lain yang terpilih dan tidak terpilih dapat menjadi
pembuat kebijakan, termasuk pelobi dan orang-orang yang mencari jabatan politik.
Pejabat publik, seperti pejabat pemerintah dan birokrat yang tidak dipilih untuk
menjabat, juga sensitif terhadap opini publik, sehingga memberikan akses bagi
semua jenis advokat. Meskipun akses terhadap individu-individu ini sulit, orang-
orang dalam pembuat kebijakan ini dapat memberikan informasi mengenai taktik
advokasi yang berhasil dan informasi di balik layar mengenai konteks kebijakan dan
arena kebijakan tertentu.
Meskipun para pelobi biasanya bertindak atas nama berbagai organisasi, seperti
serikat pekerja, perusahaan, atau lembaga sektor publik, mereka merupakan
kategori aktor berbeda yang perannya mungkin lebih dari sekadar mencoba
mempengaruhi dukungan pengambil keputusan untuk atau menentang rancangan
undang-undang atau undang-undang tertentu. mengukur, seperti membangun
jaringan dan melakukan penelitian. Di Amerika Serikat, aktivitas lobi berbeda-beda
berdasarkan tahapan kebijakan dan tempat kebijakan (masalah, tingkat pemerintahan)
meskipun definisi lobi tetap sama. Meskipun ada kecurigaan atas tindakan yang
tidak patut dan menjajakan pengaruh, populasi pelobi dan perannya terus berkembang di banyak neg
Meskipun sebagian besar evaluasi APC di Amerika Serikat menghindari kegiatan
lobi karena adanya pembatasan dalam dukungan yayasan untuk melakukan lobi,
kehadiran dan efektivitas para pelobi serta taktik mereka tidak boleh diabaikan.
Tempat dan taktik mereka tidak jauh berbeda dengan para advokat yang tidak
melakukan lobi formal. Juga internasional
penyandang dana tidak terlalu malu untuk mendukung lobi dan penyandang dana AS
mendukung organisasi 501(c)(4), yang dapat terlibat dalam lobi. Misalnya, sebagian besar
dari $70,3 juta yang disumbangkan oleh Filantropi Atlantik untuk mendukung reformasi
imigrasi adalah dalam bentuk pendanaan 501 (c) (4), sehingga memberikan lebih banyak
pilihan bagi para advokat dibandingkan organisasi 501 (c) (3) (Morariu, Athanasiades , dan
Pankaj 2016).
Organisasi sektor swasta dan publik, seperti asosiasi profesional, lembaga publik, dan
penyedia layanan, mungkin memiliki direktur kebijakan khusus yang bertanggung jawab atas
berbagai kegiatan advokasi. Melobi mungkin merupakan bagian dari deskripsi posisi orang
tersebut, atau mungkin juga bukan, namun ketajaman politik adalah suatu keharusan.
Kegiatan penelitian mereka dapat menambah kredibilitas dan kedudukan organisasi mereka
dan memposisikannya sebagai orang yang “dapat dihubungi” untuk mendapatkan informasi
dan nasihat mengenai isu kebijakan tertentu. Sebagai pemain yang berpengetahuan luas,
evaluator disarankan untuk mencari orang-orang ini untuk mendapatkan informasi.
Individu Berpengaruh Lainnya: Wirausahawan Kebijakan, Pejuang Kebijakan,

dan Pemimpin
Kategori terakhir ini merujuk pada masing-masing advokat yang mempengaruhi pembuatan
kebijakan dengan cara yang tidak terlalu langsung namun tetap penting. Anggaplah hal-hal
tersebut sebagai peran atau “topi” yang dapat dikenakan oleh advokat mana pun yang
disebutkan di atas. Awalnya dipahami sebagai cara untuk membedakan antara para advokat,
para pengambil kebijakan adalah para advokat yang bersedia menginvestasikan energi dan
sumber daya yang besar serta memiliki koneksi politik dan savoir-faire untuk mengamankan
kemenangan kebijakan (Kingdon 1995). Karakterisasi yang lebih baru menunjukkan
kemampuan mereka untuk mewujudkan perubahan kebijakan dan/atau memperkenalkan dan
menyebarkan inovasi ke dalam arena kebijakan (Mintron dan Vergari 1998).
Sebagai topi yang dikenakan terutama oleh pejabat yang dipilih atau ditunjuk, pendukung
kebijakan mempunyai kemampuan untuk secara langsung mempromosikan atau
mempengaruhi kebijakan dan menjadi titik kontak bagi kelompok luar (Mahoney dan Baumgartner 2015).
Aspen Institute (2010) telah mengidentifikasi tiga kategori ciri-ciri pemimpin: (1) menunjukkan
minat dan kesadaran terhadap suatu isu kebijakan; (2) meningkatkan kesadaran dan
pemahaman dengan menyampaikan pernyataan positif tentang suatu isu kebijakan, misalnya;
dan (3) mengadvokasi perbaikan kebijakan dan praktik, misalnya dengan mensponsori
undang-undang. Semakin banyak, “cham-
Pembelaan 37
pion” digunakan untuk menggambarkan kelompok individu berpengaruh yang semakin
beragam, seperti jurnalis, selebritas, penyedia layanan, dan konsumen, yang dengannya para
advokat didorong untuk bermitra dalam strategi yang dirancang khusus (Roma dan Levine
2016).
Kurang terlibat langsung dalam mendukung atau mengesahkan undang-undang, pemimpin
adalah individu-individu berpengaruh yang dengan sengaja melacak isu-isu kebijakan dan yang
pengetahuannya mengenai agenda kebijakan saat ini dan masa depan dapat memberikan
pengaruh bagi orang lain. Tidak terbatas pada tipe orang atau organisasi tertentu, para pemain
ini berguna bagi para evaluator karena mereka mempunyai pengetahuan tentang isu kebijakan
tertentu, serta kemungkinan hasilnya. Pejabat publik yang dipilih dan tidak dipilih dapat menjadi
pemimpin dan mempunyai pengaruh politik yang signifikan, serta mempunyai masa jabatan,
sehingga menciptakan stabilitas dan kepastian dalam kapasitas pengambilan keputusan
mereka.
Organisasi
Pelaku yang mudah diamati dalam arena kebijakan adalah organisasi, yang jenisnya bisa
bermacam-macam, beberapa di antaranya memainkan peran ganda. Misalnya, kita melihat
semakin banyak penyedia layanan di bidang kesehatan dan layanan masyarakat yang
mempekerjakan seorang direktur kebijakan untuk terlibat dalam advokasi. Meskipun organisasi
adalah jenis advokasi yang paling mudah dikenali di tengah arena kebijakan yang penuh sesak,
mereka mungkin merupakan suara yang paling ampuh atau mungkin juga bukan. Misalnya,
pembatasan lobi dapat sangat membatasi jangkauan organisasi. Selain itu, organisasi
biasanya merupakan bagian dari komunitas advokasi dan jarang bertindak sendiri-sendiri. Bagi
banyak evaluator, organisasi merupakan unit analisis yang khas, khususnya dalam inisiatif
yang berupaya memperluas kapasitas ad-vokasi organisasi. Organisasi-organisasi utama
yang perlu dimasukkan dalam model mental konteks advokasi Anda adalah lembaga pemerintah,
partai politik, organisasi nirlaba dan non-pemerintah, serta media.
Karena perannya adalah menyediakan layanan publik dan bertanggung jawab kepada
warganya, pemerintah memainkan peran mendasar dalam memobilisasi para advokat dan
menentukan posisi dan peran mereka. Dalam banyak kasus, advokat merupakan suara bagi
lembaga pemerintah, memperluas kesadaran masyarakat dan dukungan terhadap isu,
kebijakan, atau peraturan tertentu. Misalnya, periode komentar publik memberikan sarana
bagi para advokat untuk menyampaikan informasi yang mungkin tidak dapat dikumpulkan oleh
lembaga yang memiliki staf terbatas. Penyusunan

peraturan dan perundang-undangan pasca pengesahan adalah kesempatan lain bagi para
advokat untuk berpartisipasi dalam komite lembaga untuk menjelaskan rincian yang
kadang-kadang misterius namun penting tentang bagaimana suatu undang-undang akan
diterapkan. Namun, kemitraan ini bisa mengarah ke arah lain, karena kepentingan luar
mempunyai pengaruh yang terlalu besar, seperti membuat kontrak dengan satu penyedia
layanan dan mengesampingkan penyedia layanan lainnya (Birkland 2001). Intinya di sini
adalah karena lembaga pemerintah bukanlah advokat pada umumnya, mereka merupakan
pemain penting dalam komunitas advokasi mana pun.
Meskipun pengaruh partai politik juga bisa mengalami pasang surut, tergantung pada
lingkungan politik (misalnya ketika salah satu partai mengendalikan DPR dan Senat di
Kongres AS), peran mereka dalam mempengaruhi opini publik dan membentuk agenda
kebijakan jangka panjang tidak boleh diabaikan. diabaikan. Penting untuk mengetahui
apakah suatu kebijakan mendapat dukungan bipartisan atau ada penolakan kuat dari
salah satu atau kedua belah pihak terhadap posisi advokat. Misalnya saja, keputusan
anggaran federal dapat menimbulkan perpecahan karena alasan ideologis (seperti
memperluas cakupan asuransi kesehatan) dan mendapatkan dukungan untuk pengeluaran
yang lebih netral secara ideologis (seperti pusat kesehatan masyarakat yang disubsidi
pemerintah federal) mungkin merupakan tindakan yang diinginkan. .
Penerapan taktik advokasi oleh organisasi nirlaba dan non-pemerintah (LSM) yang
secara historis tidak memiliki suara politik (seperti organisasi layanan), menyumbang porsi
yang signifikan terhadap pertumbuhan organisasi advokasi sejak tahun 1960an
(Baumgartner dan Leech 1998) . Tidak semua organisasi ini dapat dianggap sebagai
pendatang baru dalam bidang advokasi dan perubahan kebijakan. Banyak organisasi
nirlaba yang telah menyediakan layanan publik selama bertahun-tahun dan dianggap
sebagai mitra penting dalam bidang kebijakan tertentu. Strategi dan taktik advokasi nirlaba
tidak jauh berbeda dengan kelompok kepentingan tradisional, seperti asosiasi
perdagangan (Andrews dan Edwards 2004). Hasil penilaian Alliance for Justice pada
tahun 2015 terhadap jangkauan advokasi 280 organisasi nirlaba menunjukkan bahwa
sebagian besar organisasi nirlaba terlibat dalam advokasi negara (83 persen), diikuti oleh
advokasi lokal dan federal (masing-masing 76 persen dan 58 persen). Mereka melaporkan
kapasitas tertinggi mereka dalam advokasi administratif dan legislatif dan kapasitas
terendah mereka dalam pemungutan suara, pemilu, dan litigasi (McClure dan Renderos
2015). Demikian pula di arena internasional, LSM internasional dan lokal memainkan
peran utama dan terlibat dalam berbagai strategi advokasi.
Pembelaan 39
strategi dan taktik untuk mengatasi pelanggaran hak asasi manusia, menjamin akses terhadap
sumber daya dasar, memperkuat hak atas tanah, dan sebagainya (Kelly 2002).
Yang kurang terlihat namun berpotensi sangat berpengaruh adalah berbagai lembaga think
tank, sektor swasta, media, dan organisasi nirlaba yang melakukan penelitian dan analisis
terhadap permasalahan tertentu, bidang kebijakan, dan kebijakan individu. Penelitian mereka
mungkin dilakukan atas permintaan pemerintah atau aktor politik lainnya yang berupaya
memperkuat pemahaman mereka terhadap isu apa pun atau menjajaki opsi kebijakan. Lembaga
think tank dapat bersifat internasional, nasional, dan/atau lokal. Mereka dapat berupa organisasi
yang berdiri sendiri seperti Rand Corporation atau departemen dalam suatu asosiasi, universitas,
atau industri (Theodoulou dan Ko-finis 2004).
Para evaluator akan menganggap media sebagai pusat penyelidikan yang penting dalam
banyak inisiatif advokasi dan perubahan kebijakan, yang sebagian didorong oleh munculnya
bentuk-bentuk media baru, seperti meningkatnya penggunaan media sosial oleh para advokasi
untuk memfasilitasi keterlibatan masyarakat dan kolektif. (Obar, Zube, dan Lampe 2012).
Pemahaman mengenai peran media dalam memperluas kesadaran dan dukungan masyarakat
dan pembuat kebijakan terhadap isu tertentu sangatlah luas, namun temuan yang diperoleh masih
beragam. Meskipun media pada umumnya dianggap sebagai sumber utama informasi politik dan
mungkin memainkan peran penting dalam memusatkan perhatian pada masalah-masalah yang
muncul dan penetapan agenda, sebab dan akibat dari hal ini masih belum jelas. Apakah media
merupakan sumber ide dan informasi itu
mengarah pada perhatian yang lebih besar terhadap isu kebijakan, atau apakah media merupakan sarana yang
berguna bagi pembuat kebijakan untuk menyampaikan pendapatnya dan membentuk dukungan publik? Atau keduanya?
Terlepas dari itu, para advokat bekerja sama dengan media dan belajar bagaimana menyusun
dan mengkomunikasikan isu-isu mereka, mendidik para pembuat kebijakan dan mungkin
membentuk opini publik. Penelitian ini menunjukkan bahwa upaya-upaya ini bermanfaat dan
media memang mempengaruhi hasil kebijakan (Theodou-lou dan Kofinis 2004).
Grup
Kelompok advokasi mulai dari komunitas terorganisir atau koalisi organisasi hingga kelompok
informal dan tersebar, seperti masyarakat, jaringan, atau gerakan sosial, dianggap sebagai salah
satu kekuatan paling ampuh untuk melakukan perubahan dalam proses kebijakan, meskipun
pengaruh sebenarnya dari kelompok tersebut tidak signifikan. dipertanyakan oleh mereka yang
berpendapat bahwa kepentingan dengan sumber daya yang lebih baik biasanya
sekutu menang (Schlozman, Verba, dan Brady 2015). Peningkatan jumlah kelompok
tidak serta merta menghasilkan pembuatan kebijakan yang lebih baik; baik secara
finansial atau dalam hal lain, beberapa kelompok lebih kuat dibandingkan kelompok
lainnya. Namun, penelitian mengenai kelompok politik memberikan informasi yang
berbeda mengenai jenis kelompok, seperti kelompok keanggotaan versus non-
keanggotaan, aktivitas mereka, dan struktur organisasi, yang sebagian besar dapat
memberi masukan pada praktik evaluasi.
Berbeda dengan aktor individu, mengidentifikasi dan mendeskripsikan kelompok
advokasi utama mungkin sedikit lebih menantang—ada banyak jenis dan mereka
mungkin dilibatkan secara episodik. Kelompok advokasi biasanya didefinisikan
sebagai kelompok eksternal dan terpisah dari pemerintah meskipun batas antara
keduanya bisa jadi kabur. Misalnya, terdapat asosiasi pengambil keputusan, seperti
Asosiasi Gubernur Nasional AS, yang memainkan peran advokasi. Selain itu,
kelompok-kelompok mungkin membentuk jaringan dan hanya terlibat dalam pekerjaan
advokasi sebagai salah satu dari banyak kegiatan mereka, sehingga menambah
kesulitan dalam mengidentifikasi taktik advokasi kelompok dan mencoba menentukan
atribusi dalam inisiatif advokasi. Kami menggambarkan kelompok-kelompok utama
yang mungkin ditemui para evaluator dalam konteks evaluasi mereka: masyarakat,
kelompok kepentingan, jaringan, koalisi, dan gerakan sosial. Terdapat beberapa
perbedaan struktural yang penting, seperti apakah mereka memiliki keanggotaan dan
bertindak atas nama keinginan anggota, atau apakah mereka melakukan advokasi
sebagai organisasi tersendiri versus organisasi gabungan.
Sekumpulan warga negara di tingkat nasional, negara bagian, atau lokal,
pendapat dan preferensi publik sangat berarti bagi pejabat terpilih. Meskipun peluang
partisipasi masyarakat dalam proses pembuatan kebijakan berbeda-beda di setiap
negara, tindakan mereka dapat bersifat multifaset dan persuasif. Di Amerika Serikat,
masyarakat secara rutin disurvei mengenai sikap dan pilihan mereka. Masyarakat
dapat mengungkapkan pendapatnya secara tertulis dan/atau berbicara kepada
pejabat pemerintah dan media. Mereka dapat memberikan suara dalam pemilu dan
inisiatif serta referendum. Namun, sebagaimana dikemukakan oleh ilmuwan politik
Michael Kraft dan Scott Furlong (2010), hanya sebagian kecil dari masyarakat yang
benar-benar terlibat dalam proses pembuatan kebijakan dan menyuarakan pendapat
mereka, apalagi menaruh perhatian pada urusan publik. Ketidakberdayaan,
ketidakpercayaan terhadap pemerintah, dan rendahnya keterlibatan masyarakat
dapat menghambat keterlibatan masyarakat kecuali jika hal tersebut terkena dampak langsung, sepert
Pembelaan 41
11 September 2001, atau Resesi Hebat tahun 2008. Meskipun merupakan kelompok yang tersebar,
tidak berbentuk, dan berpotensi dinamis, data jajak pendapat publik dan liputan media mengenai
opini publik merupakan sumber informasi berharga mengenai permasalahan yang menjadi perhatian
publik dan arah yang diambil. pembuatan kebijakan kemungkinan besar akan terhenti.
Kelompok kepentingan merupakan kelompok yang paling banyak dipelajari di kancah ilmu
politik AS. Kelompok kepentingan mempunyai banyak nama, termasuk “kepentingan terorganisir”
dan “kelompok penekan.” Mereka berbeda dari jenis kelompok politik lainnya karena mereka
mewakili kepentingan tertentu dan cenderung menggunakan pengaruhnya terhadap Kongres,
badan legislatif negara bagian, dan bahkan Mahkamah Agung. Terdapat berbagai jenis kelompok
kepentingan, banyak di antaranya yang sangat berpengalaman dan mempunyai pengalaman
panjang dalam arena kebijakan (Birkland 2001). Yang lebih terkenal adalah asosiasi perdagangan
yang mempunyai profesi yang mereka cari keuntungan kebijakannya, sekaligus memberikan
manfaat, seperti American Medical Association (AMA). Basis keanggotaan mereka memungkinkan
mereka untuk terlibat dalam berbagai kegiatan advokasi, termasuk melakukan lobi di tingkat
federal, negara bagian, dan/atau lokal. Kelompok kepentingan publik adalah organisasi yang
mewakili seluruh masyarakat dan bukan hanya keanggotaan, seperti kelompok lingkungan hidup
dan hak asasi manusia. Terdapat kelompok kepentingan khusus yang memiliki kepentingan
ekonomi yang kuat, seperti kelompok buruh atau kelompok bisnis yang terorganisir. Kelompok
kepentingan dapat berupa asosiasi sukarela dan mencakup beragam organisasi, seperti
perusahaan, organisasi amal, atau kelompok hak-hak sipil. Mereka mungkin memiliki atau tidak
memiliki persyaratan keanggotaan, dan terdapat beberapa perbedaan dalam fungsi dan tingkat
pengaruh menurut wilayah dan negara. Terakhir, serikat pekerja, yang mewakili kelas pekerja
tertentu, terlibat dalam perundingan bersama mengenai upah, tunjangan, dan kondisi kerja bagi
keanggotaan mereka. Semua jenis kelompok kepentingan merupakan agen perubahan yang kuat
sebelum, selama, dan setelah proses pembuatan kebijakan. Mereka mungkin terlibat dalam
jurnalisme investigatif, pengorganisasian akar rumput, dan melakukan tindakan hukum untuk
mengubah kebijakan. Mereka juga biasanya terlibat dalam kegiatan lobi di tingkat negara bagian
dan federal, memberikan informasi mengenai posisi mereka dan memberikan kesaksian pada
pertemuan komite legislatif (Kraft dan Furlong 2010).
Karena mereka merupakan aspek penting dalam dunia pembuatan kebijakan di AS, peran
kelompok kepentingan dalam menopang atau melemahkan demokrasi adalah hal yang sangat penting.
pertanyaan abadi bagi para ulama. Pengaruh mereka di Amerika Serikat diperkirakan
semakin meningkat, terutama dengan menurunnya lapangan kerja kerah biru dan
relatif lemahnya pertumbuhan lapangan kerja di sektor swasta dan publik pasca
tahun 2008. Terlepas dari pengaruh nyata mereka, kelompok kepentingan, taktik
mereka—mengorganisasi dan memobilisasi anggotanya, melobi, dan memanfaatkan
kekuatan ekonomi mereka—telah didokumentasikan dengan baik di tingkat
pemerintahan dan negara bagian. Misalnya, mereka diwajibkan melaporkan aktivitas
lobi mereka berdasarkan Undang-Undang Pengungkapan Lobi (LDA) AS. Selain itu,
terdapat banyak analisis negara demi negara dan analisis longitudinal dalam literatur
ilmu politik yang berguna dalam memetakan keseluruhan aktor politik informal.
Lembaga-lembaga pembuat kebijakan mempunyai jaringannya sendiri , yang

juga disebut sebagai “sub-pemerintahan kebijakan” dan “jaringan isu” dalam arena
ilmu politik, dan terutama terdiri dari pejabat terpilih, perwakilan lembaga pemerintah,
dan kelompok kepentingan yang terorganisir. . Lingkungan informal ini biasanya tidak
mencakup masyarakat, namun semakin menjadi tempat komunikasi dan berbagi
informasi, sebuah peluang bagi para advokat untuk mendapatkan akses ke aktor-
aktor politik lain sambil mendidik orang lain mengenai isu-isu dan posisi mereka.
Jaringan ini juga merupakan sumber informasi mengenai rincian teknis suatu
permasalahan kebijakan dan usulan kebijakan yang mungkin akan dipertimbangkan
oleh para pengambil keputusan (Kraft dan Furlong 2010). Baru-baru ini, “jaringan”
merujuk pada organisasi-organisasi yang berafiliasi secara longgar dan memiliki
tujuan kebijakan yang sama namun tidak memiliki struktur formal, dan semakin
dipandang oleh yayasan-yayasan AS sebagai pendorong perubahan kebijakan.
Seperti yang akan kami jelaskan di Bab 4 dan 5, evaluator APC sedang
mengembangkan kerangka kerja dan instrumen untuk mengkarakterisasi peran,
komunikasi, dan hasil dari jaringan tertentu.
Kadang-kadang disebut sebagai “komunitas kebijakan,” koalisi adalah kelompok
yang bersatu menjadi sebuah entitas yang lebih besar yang memiliki peluang untuk
meningkatkan sumber dayanya dan menjadi kekuatan yang tangguh di arena
kebijakan. Definisi sederhana ini mengabaikan kompleksitas interaksi di antara
kelompok-kelompok ini, yang diperburuk oleh potensi keterlibatan mereka selama
puluhan tahun dalam arena kebijakan tertentu. Dipicu oleh dukungan penyandang
dana untuk pendekatan koalisi terhadap perubahan sistem di arena yang kompleks,
kajian mengenai pembentukan dan fungsi koalisi telah mendapatkan daya tarik, khususnya Koalisi Adv
Pembelaan 43
Kerangka kerja, yang menggambarkan proses kebijakan sebagai persaingan antara

koalisi dan kemungkinan perubahan kebijakan ketika kelompok-kelompok ini selaras
(Jenkins-Smith dan Sabatier 1994).
Aksi masyarakat dapat menjadi sarana yang ampuh dan vital untuk melakukan
perubahan, khususnya di kalangan masyarakat berpenghasilan rendah dan terpinggirkan.
Mendukung dan mengevaluasi inisiatif pengorganisasian komunitas mengalami
kebangkitan aktivitas di Amerika Serikat pada pertengahan tahun 2000an, dengan tujuan
mengalihkan basis kekuasaan yang ada kepada anggota komunitas. Dengan
menggunakan prinsip-prinsip yang dikembangkan oleh Saul Alinsky pada awal tahun
1970-an mengenai keterlibatan kreatif dan non-kekerasan, gerakan Occupy Wall Street
dan Black Lives Matter adalah contoh strategi untuk menyatukan masyarakat dan
memusatkan perhatian pada masalah sosial dan ketidakseimbangan kekuasaan.
Penekanannya adalah pada tantangan pengambilan keputusan dari atas ke bawah dan
menyatukan pengambilan keputusan yang tidak berdaya atau dari bawah ke atas. Pada
tingkat praktik, alat-alat tersebut menekankan pendekatan kreatif terhadap
pengorganisasian dan wacana rasional dan mencakup musik, teater gerilya, strategi,
dan pengembangan kepemimpinan (Si Kahn 2010). Dalam situasi seperti ini, advokasi
bisa saja menjadi mitra atau fasilitator, atau justru memainkan peran utama, dan aktivitas
advokasi cenderung berfokus pada aktivitas hulu dari model perubahan kebijakan,
seperti peningkatan kapasitas advokasi, mobilisasi komunitas, penjangkauan dan
pendidikan. analisis kebijakan, advokasi media, dan kemungkinan protes sosial (Stachowiak 2013).
Terakhir, sebagai kelompok yang kurang terorganisir, gerakan sosial cenderung
bersifat besar, lebih informal, dan mencakup semua jenis individu dan kolektif. Hal ini
merupakan sarana penting untuk memperluas partisipasi dalam proses kebijakan.
Namun, ukurannya mungkin kurang penting dibandingkan potensinya dalam menciptakan
perubahan besar dalam cara berpikir masyarakat mengenai agenda kebijakan. Ambil
contoh, gerakan hak-hak sipil pada tahun 1960an, dan yang terbaru adalah gerakan
Occupy Wall Street. Gerakan sosial mungkin lebih besar dibandingkan jenis kelompok
lainnya, namun gerakan ini cenderung bersifat episodik dan berkurang seiring dengan
menurunnya relevansi dan/atau keberhasilannya.
Singkatnya, komunitas advokasi bisa jadi sangat padat dan kompleks. Hal ini juga
bersifat dinamis ketika para pemimpin dan organisasi datang dan pergi dan ketika isu
kebijakan berkembang dari satu masalah ke kebijakan lainnya. Akan sangat membantu
jika kita memperjelas peran dari berbagai jenis advokat ini, posisi mereka dalam isu
tertentu, dan apakah mereka bertindak sendiri atau bersama orang lain. Ada bingkai-
karya-karya yang dapat membantu Anda membedakan aktor-aktor kebijakan dan peran
advokasi mereka. Misalnya, ilmuwan politik Michael Kraft dan Scott Furlong (2010)
membedakan antara “lembaga pemerintah formal” yang membuat kebijakan publik
dan “aktor informal” yang bekerja dengan dan/atau mempengaruhi aktor kelembagaan,
termasuk masyarakat, kelompok kepentingan, dan kelompok kepentingan.
subpemerintah pembuat kebijakan, dan jaringan isu. Mendapatkan orientasi sejak
dini dan mengumpulkan informasi deskriptif tentang komunitas advokasi dan pemain
kuncinya, atau bermitra dengan seseorang yang memiliki perspektif orang dalam akan
sangat berharga dalam jangka panjang. Seperti yang kami uraikan di Bab 4, ada
beberapa cara untuk memetakan keseluruhan advokat dan mengkarakterisasi
hubungan mereka, sehingga memberikan para evaluator landasan dalam memahami konteks politik dan
APA YANG DILAKUKAN ADVOKAT?
Termotivasi oleh masalah-masalah mendesak yang mengancam kesejahteraan

masyarakat kita—pemanasan global, kerusuhan sosial dan politik, degradasi
lingkungan, keamanan nasional dan global, ketidakamanan ekonomi, epidemi seperti
Ebola dan virus Zika, dan masih banyak lagi—para pendukungnya berupaya keras
untuk mengatasi permasalahan tersebut. didengar dengan berbagai cara. Mereka
meminta pertanggungjawaban pemerintah terhadap kelompok masyarakat yang paling
rentan dan memperkuat hak-hak perempuan, anak-anak, orang lanjut usia, masyarakat
berpenghasilan rendah, dan semakin meningkat hak-hak lingkungan dan penghuninya.
Karena paham dalam proses pembuatan kebijakan dan menavigasi arena politik, para
advokat menerapkan berbagai strategi dan taktik advokasi, termasuk menargetkan
advokasi mereka lebih jauh ke hulu dan mengedukasi masyarakat mengenai isu-isu,
memastikan kemenangan kebijakan, dan bekerja sama dengan lembaga-lembaga
untuk memastikan keberhasilan. pelaksanaan kebijakan.
Kegiatan advokasi mungkin merupakan aspek praktik advokasi yang paling banyak
diteliti dan didokumentasikan, dan terdapat beberapa model yang dapat digunakan
untuk menelusuri kompleksitas strategi dan taktik advokasi. Pada bagian ini, kami
menggunakan pendekatan makro hingga mikro untuk mendeskripsikan advokasi,
dimulai dengan kerangka konseptual dari literatur yang dapat membantu memperjelas
dampak advokasi terhadap pembuatan kebijakan dan diakhiri dengan kategori dan
jenis taktik advokasi.
Pembelaan 45
Konsep dan Kerangka: Politik, Kekuasaan, dan Pengaruh

Mengkarakterisasi politik atau diskusi dan perdebatan antara kelompok dan individu
mengenai suatu isu, kebijakan, atau program merupakan aspek penting dari setiap desain
evaluasi. Meskipun evaluasi program untuk mengekang emisi mungkin tidak secara
langsung berkaitan dengan kapasitas advokasi atau perubahan kebijakan, kemungkinan
besar di era meningkatnya kekhawatiran terhadap perubahan iklim global, evaluasi tersebut
mencerminkan sudut pandang yang berlawanan dan aktor politik yang kuat. Pembelajaran
yang dapat dipetik dengan mempertimbangkan politik atau “Siapa mendapat apa, kapan,
dan bagaimana?” Evaluasi program yang komprehensif dapat memberikan manfaat yang
besar, tidak hanya bagi mereka yang berada di tengah-tengah upaya advokasi, namun juga
bagi mereka yang berada dalam perjuangan paralel dan masa depan (Lasswell dikutip oleh
Theodoulu dan Cahn 1995, 2). Konflik yang timbul karena perbedaan keyakinan, nilai, dan
sikap masyarakat dapat memainkan peran penting dalam memfasilitasi atau menghambat
pembuatan kebijakan (Kraft dan Furlong 2010). Semakin banyak evaluator APC yang
mendokumentasikan budaya politik dari inisiatif advokasi dan perubahan kebijakan serta
cara masyarakat berpikir tentang pemerintahan dan proses politik, seperti hak-hak individu,
nilai-nilai liberal atau konservatif, hak-hak reproduksi, kesetaraan, dan properti. hak.
Meninjau liputan media dan dokumentasi mengenai isu kebijakan serta wawancara dengan
informan dapat mengungkap ada atau tidaknya konflik, jenis-jenis konflik, dan bagaimana
konflik-konflik tersebut diselesaikan atau dikelola, seperti perbedaan ideologi antar partai
yang mungkin menghambat jalannya pemilu. reformasi yang signifikan.
Analisis mengenai advokasi tidak akan lengkap tanpa refleksi mengenai kekuasaan,
sebuah konsep multifaset yang telah didefinisikan dan dikategorikan dalam berbagai cara
untuk menjelaskan distribusi kekuasaan yang tidak merata di antara aktor-aktor politik,
mengapa beberapa isu masuk dalam agenda kebijakan dan tidak dimasukkan dalam
agenda kebijakan. yang lain, dan mengkarakterisasi berbagai bentuk kekuasaan yang dapat
diambil. Hal ini memiliki relevansi yang besar di negara-negara berkembang di mana para
advokat baru berusaha mendapatkan akses dalam menghadapi tantangan ekonomi dan
budaya yang sangat besar. Ada model kekuasaan lain, seperti penguasaan kekuasaan
oleh aktor. Apakah aktor politik mempunyai kekuasaan atas, dengan, atau di dalam? Selain
itu, kekuasaan dapat dikategorikan sebagai kekuasaan yang menyebar, terbatas, atau
kumulatif. Hal ini juga berguna untuk mengetahui apakah kekuasaan memaksa atau
menghalangi (Birkland 2001). Semua tipologi ini berguna dalam menggambarkan dinamika
kekuasaan yang menjadi bagian dari hampir setiap skenario kebijakan dan advokasi.
Selain itu, keberhasilan dalam menyusun dan mengesahkan kebijakan mungkin

bergantung pada jenis dan besarnya pengaruh yang dimiliki aktor politik. Sebuah
konsep yang sulit dipahami, kita tahu apa pengaruhnya ketika kita melihatnya, namun
hal ini tidak dapat didefinisikan secara pasti. Terkadang jika digabungkan dengan
kekuasaan, pengaruh muncul dalam nuansa abu-abu yang berbeda dan dapat
digunakan dalam berbagai cara untuk “memotivasi secara politis keputusan suatu
lembaga atau organisasi ke arah tertentu” atau lebih sederhananya: “mengubah pikiran”
(Tsui 2013; Parrish 2008). Manipulasi, mobilisasi, persuasi, pemaksaan, bujukan dan
penggunaan sumber daya keuangan dan politik, ancaman atau penggunaan kekuatan
fisik—semuanya merupakan jenis pengaruh berbeda yang dapat digunakan untuk
membentuk agenda atau menentukan hasil kebijakan (Theodoulou dan Kofinis 2004;
Dal 1991). Hal ini mungkin atau mungkin tidak didistribusikan secara merata di antara
individu, kelompok, dan lembaga. Jumlah suara yang lebih banyak juga tidak serta
merta menghasilkan pengaruh yang sama besarnya dalam proses pengambilan
keputusan. Misalnya, para advokat yang berperan sebagai orang dalam, seperti
penasihat kebijakan pemerintah yang bertugas memberikan masukan mengenai suatu
masalah atau kebijakan, mungkin memiliki pengaruh yang lebih besar, dibandingkan
organisasi masyarakat, yang beroperasi di luar sistem pembuatan kebijakan. Pada
akhirnya, pemerintah mempunyai pengaruh paling besar karena bertanggung jawab
membuat kebijakan publik. Dalam banyak hal, menilai perubahan kebijakan adalah
tentang menilai seberapa besar pengaruh yang dapat diberikan oleh para advokat
dalam merayu pejabat pemerintah dan mendorong permasalahan mereka ke garis depan agenda kebijak
TAKTIK ADVOKASI
Berdasarkan pengalaman kami, mengetahui strategi dan taktik advokasi yang digunakan
dalam konteks evaluasi Anda sangatlah penting untuk menentukan fokus evaluasi dan
memilih metode yang tepat. Evaluator harus memerinci seluruh taktik yang dilakukan
oleh para advokat—kapan mereka menggunakannya dan kapasitas yang diperlukan
untuk melaksanakannya di awal evaluasi—dengan memperhatikan keragaman inisiatif
advokasi dan perubahan kebijakan. Beberapa inisiatif berfokus secara eksklusif pada
pengembangan kapasitas organisasi atau individu untuk melakukan satu jenis
advokasi, seperti bekerja dengan media atau melakukan pengorganisasian masyarakat.
Inisiatif lain berfokus pada pengembangan kapasitas organisasi secara keseluruhan
untuk melakukan berbagai taktik advokasi, seperti menambah staf berpengalaman
untuk memperluas organisasi.
Pembelaan 47
keterlibatan tion dari waktu ke waktu dan dalam berbagai masalah kebijakan.
Terakhir, beberapa inisiatif berfokus pada penerapan strategi atau taktik tertentu,
seperti kampanye komunikasi multinegara mengenai manfaat program penghentian
tembakau bagi masyarakat.
Sayangnya, pemahaman mengenai pengaruh atau efektivitas taktik tertentu
masih belum jelas. Kontak pribadi langsung dengan pengambil keputusan
dianggap oleh para advokat dan pengambil keputusan sebagai salah satu taktik
yang paling efektif, namun penelitian lain menunjukkan bahwa pemeliharaan
upaya, kepemilikan, kredibilitas, dan konteks spesifik lebih berpengaruh
dibandingkan alat atau alat tertentu. pendekatan (Baumgartner dan Leech 1998).
Terlebih lagi, hambatan terhadap partisipasi dalam arena politik Amerika masih
ada atau bahkan meningkat sejak resesi besar tahun 2008. Distribusi sumber
daya yang tidak merata, misalnya uang, cenderung mengarahkan perimbangan
kekuasaan ke arah kepentingan yang lebih makmur (Schlozman , Verba, dan
Brady 2012). Namun, para evaluator akan melihat bahwa pengetahuan mengenai
efektivitas taktik advokasi secara lebih umum, serta taktik khusus, akan berguna
untuk mengartikulasikan hasil-hasil program.
Fokus ilmu politik pada kelompok kepentingan telah menghasilkan ringkasan
yang kaya mengenai kegiatan advokasi di berbagai jenis organisasi advokasi,
sehingga meningkatkan ketelitian dalam instrumen evaluasi. Sebagian besar
literatur berfokus pada lobi, namun seiring berjalannya waktu, taktik ini telah
meluas hingga mencakup penggunaan pendekatan baru, seperti media sosial,
aktivitas pendidikan (termasuk menyelenggarakan forum kebijakan), dan taktik
menargetkan arena kebijakan baru. dan/atau tempat pengambilan keputusan,
seperti advokasi keadilan sosial, yang berfokus pada akar penyebab kesenjangan
ekonomi dan kesenjangan lainnya. Berdasarkan literatur tersebut dan upaya para
evaluator advokasi dan perubahan kebijakan untuk membuat katalog berbagai
macam taktik advokasi, kami bekerja sama dengan Aspen Institute dan
mengembangkan daftar taktik yang umum digunakan berikut ini. (Harap dicatat,
meskipun penelitian mengenai taktik advokasi menunjukkan bahwa pertumbuhan
bentuk-bentuk advokasi baru berjalan lambat, hal ini tidak berarti bahwa daftar
kami tidak akan kehilangan satupun taktik baru pada saat buku ini diterbitkan.)
Selain itu untuk membantu evaluator mengembangkan teori perubahan program
secara rinci, daftar ini dimaksudkan untuk menumbuhkan pemahaman umum
tentang kegiatan advokasi dan meningkatkan kemampuan generalisasi temuan evaluasi. Hal ini ju
untuk menumbuhkan pemahaman bersama tentang kegiatan advokasi antara advokat,

penyandang dana, dan evaluator. Jangan berasumsi bahwa para advokat menggunakan
pendekatan yang lazim dalam menyebutkan dan mendefinisikan taktik-taktik ini atau
memiliki pemahaman yang sama di antara mereka. Mungkin ada beberapa perbedaan
berdasarkan topik, kebangsaan, demografi, atau lokasi geografis.
Untuk mengatur daftar ini, kami mengelompokkan strategi dan kegiatan advokasi
berdasarkan empat jenis perubahan yang bertujuan: memobilisasi masyarakat dan
menyatukan sekutu advokasi; memperluas kesadaran masyarakat dan pembuat
kebijakan; mempengaruhi dukungan pembuat kebijakan; dan meneliti dan memantau
kebijakan. Tidak semua kegiatan ini secara langsung menargetkan kebijakan tertentu,
seperti pengorganisasian masyarakat, dan sebagian besar merupakan langkah menuju
peningkatan partisipasi dalam proses kebijakan, seperti mendapatkan liputan media
tentang suatu masalah tertentu yang kemudian dimasukkan dalam agenda kebijakan.
Daftar ini tidak dimaksudkan untuk mencerminkan praktik ad-vokasi yang sebenarnya.
Beberapa kegiatan masuk dalam dua kategori atau lebih, seperti memberikan kesaksian,
yang dapat mendidik para pengambil keputusan sekaligus mempengaruhi dukungan
mereka. Selain itu, beberapa taktik mungkin didefinisikan sebagai “strategi” dan mencakup
sejumlah taktik terpisah yang lebih kecil. Terakhir, daftar ini mengasumsikan kapasitas
advokasi individu dan organisasi pada tingkat tertentu dan tidak mencakup faktor-faktor
yang memfasilitasi, termasuk: sumber daya (uang, staf); basis konstituen atau
keanggotaan yang kuat; kepemimpinan yang suportif; keterampilan perencanaan
organisasi; keahlian konten dalam arena kebijakan tertentu; dan hubungan pribadi
dengan pengambil keputusan dan anggota masyarakat (Kimberlin 2010). (Silahkan lihat
Tabel 2.2 untuk mengetahui daftar masing-masing taktik advokasi, definisinya, dan targetnya.)
Memobilisasi Warga dan Menyatukan Sekutu Advokasi

Sebuah pendekatan multifaset yang penting untuk membangun basis dukungan guna
memastikan keberhasilan usulan kebijakan, para penyandang dana sangat aktif dalam
mendukung taktik akar rumput ini di seluruh dunia. Banyak dari taktik ini juga disebut
sebagai “aksi kolektif,” dan fokusnya adalah menyatukan orang-orang untuk mencapai
tujuan tertentu, seperti memobilisasi keanggotaan sebuah asosiasi untuk menunjuk
perwakilan kongres mereka.
Inisiatif-inisiatif ini dapat bersifat transnasional, seperti penegakan hukum yang melarang
perdagangan manusia, dan juga bersifat lokal, seperti mobilisasi kelompok masyarakat
untuk menyediakan perumahan bagi para tunawisma. Taktik utama meliputi
Pembelaan 49
keterlibatan masyarakat, pembangunan koalisi, pengorganisasian masyarakat, pengumpulan informasi,
mengadakan protes atau demonstrasi, dan membangun gerakan sosial.
Memperluas Kesadaran Masyarakat dan Pengambil Kebijakan
Advokat dapat mendidik masyarakat dan pengambil keputusan dengan menggunakan berbagai cara, seperti
liputan media, forum kebijakan, dan melakukan penelitian terhadap usulan kebijakan. Di arena internasional,
terdapat penekanan pada pengakuan suara masyarakat tertindas dalam pendekatan pendidikan yang
menyasar masyarakat (Friere 1970). Selain itu, fokus global pada keadilan sosial dan akses yang setara
terhadap hak asasi manusia, seperti keamanan ekonomi dan layanan kesehatan menjadi landasan bagi
banyak aktivis.
Taktik advokasi yang umum dilakukan mencakup kampanye kesadaran publik, kampanye kemauan publik,
advokasi media, dan advokasi terkait pemilu.
Mempengaruhi Dukungan Pembuat Kebijakan
Meskipun taktik-taktik ini cenderung lebih terlihat ketika sebuah kebijakan sedang dijalankan, namun
menargetkan para pembuat kebijakan dan aktor-aktor politik berpengaruh lainnya merupakan upaya yang
terus dilakukan. Kegiatan-kegiatan ini merupakan sarana untuk menumbuhkan dukungan serta mempererat
hubungan dengan para pengambil keputusan yang dapat bermanfaat di kemudian hari. Taktik yang paling
banyak dipelajari dan paling kontroversial adalah
melobi dan berupaya mempengaruhi undang-undang dengan berkomunikasi dengan pejabat pemerintah
yang terlibat dalam proses pengambilan keputusan (US Internal Revenue Service). Tapi itu bukan satu-
satunya taktik. Taktik lain yang berpotensi berpengaruh yang menyasar dukungan pembuat kebijakan
mencakup pendidikan yang berpengaruh/berpengaruh, pendidikan pembuat kebijakan, pengembangan
champion, kampanye kemauan politik, dan memberikan kesaksian pada dengar pendapat legislatif atau
lembaga.
Kebijakan Penelitian dan Pemantauan
Sebagai serangkaian kegiatan yang memerlukan keahlian teknis dalam melakukan penelitian serta
mengkaji dan mengomentari undang-undang, kebijakan, anggaran, dan prosedur sebelum dan sesudah
pengesahan, bidang ini sedang mengalami pertumbuhan. Advokat lama dan advokat baru, seperti
organisasi nirlaba, membawa keahlian ini ke dalam organisasi mereka atau melakukan kontrak dengan
lembaga think tank dan institusi akademis, sehingga meningkatkan pemahaman mereka sekaligus
menjadikan diri mereka sebagai pemberi informasi dan suara yang kredibel. Kegiatan tersebut antara lain
analisis dan penelitian kebijakan, model legislasi, pemungutan suara, umpan balik peraturan,
pemantauan anggaran, dan litigasi.
Singkatnya, para advokat mempunyai banyak pilihan meskipun banyak dari taktik tersebut
tidak diperlukan atau bahkan tidak sesuai. Taktik mungkin bersifat berkelanjutan, episodik, atau
diterapkan satu kali saja. Beberapa di antaranya merupakan taktik yang berdiri sendiri, seperti
kampanye pendidikan, sementara yang lainnya digabungkan dengan satu atau lebih taktik, seperti
pendekatan menutup-nutupi wilayah perairan (cover-the-waterfront) untuk mengamankan
pengesahan suatu undang-undang tertentu.
Advokasi dan Proses Pembuatan Kebijakan
Untuk memetakan ruang lingkup advokasi dan dinamikanya, kami menyarankan untuk mengacu
pada model pembuatan kebijakan yang dijelaskan dalam Bab 1. Seperti dijelaskan pada Tabel 2.1
di bawah, model tahapan kebijakan sangat berguna dan memungkinkan evaluator membandingkan
taktik advokasi di seluruh tahapan, serta untuk mengidentifikasi di mana para advokat menargetkan
upaya mereka. Misalnya, kelompok kepentingan profesional yang memiliki keanggotaan besar dan
staf yang berdedikasi mungkin aktif dalam kelima tahap tersebut, sementara organisasi yang
kurang mapan atau memiliki sumber daya mungkin hanya memiliki kekuatan untuk meningkatkan
kesadaran pembuat kebijakan dan masyarakat mengenai isu tertentu dalam satu tahap. Selain itu,
fokus suatu tahapan akan menentukan advokat mana yang lebih aktif dibandingkan yang lain,
seperti terbatasnya peran lembaga think tank pada tahapan yang tidak memiliki fokus analitis.
Yang terakhir, aktor-aktor non-institusional, seperti masyarakat, akan memiliki akses terbatas
pada tahap-tahap di mana para pembuat kebijakan terlibat dalam pembahasan usulan kebijakan
dan pemungutan suara terhadap masing-masing kebijakan.
Ada beberapa kekurangan dalam menggunakan kerangka ini untuk memandu desain
evaluasi. Taktik advokasi mungkin tidak sesuai dengan tahapan tertentu, seperti peningkatan
kapasitas advokasi organisasi. Mengingat situasi ini, evaluator mungkin ingin mengembangkan
kerangka kerja yang tumpang tindih dengan pendekatan tahap kebijakan namun mencakup tahap-
tahap persiapan tambahan yang berguna untuk desain evaluasi, termasuk: tahap awal
pengembangan kapasitas dan kepemimpinan kelembagaan di mana organisasi (1)
mengembangkan konten kebijakan dan keterampilan advokasi mereka sendiri, (2) melakukan
perencanaan strategi, dan (3) membangun aliansi yang bermakna dan strategis, sebelum
meluncurkan kegiatan advokasi (Brindis, Geierstanger, dan Faxio 2009); tahap mobilisasi dan
pemeliharaan serta peningkatan kemauan dan kemampuan

Tabel 2.1. Tahapan Proses Pembuatan Kebijakan, Kegiatan Advokasi

Potensial, dan Advokat yang Berpengaruh
Berpengaruh
Tahapan dan Kegiatan Advokasi Advokat
Tahap 1. Pengenalan Masalah: Upaya advokasi difokuskan pada mendidik Publik,

dan mendorong pejabat yang ditunjuk dan dipilih untuk mengenali sifat Grup yang menarik,
penting dari isu kebijakan, meningkatkan motivasi mereka untuk bertindak, Pelobi, Media,
seperti forum kebijakan, pertemuan tatap muka, dan advokasi media.
Tahap 2. Penetapan Agenda: Taktik advokasi berkonsentrasi pada Publik,

penentuan isu mana yang akan menjadi perhatian para pengambil keputusan, Grup yang menarik,
seperti mengamankan liputan media dan mempengaruhi opini publik. Pelobi, Media
Tahap 3. Perumusan Kebijakan: Pengambil keputusan dan Grup yang menarik,

pemangku kepentingan lainnya secara aktif melakukan advokasi atas nama Pelobi, Media,
proposal kebijakan untuk mencapai tahap selanjutnya, seperti memberikan Lembaga Think Tank
informasi tentang dampak kebijakan terhadap populasi sasaran.
Tahap 4: Adopsi Kebijakan: Para advokat dan pengambil keputusan Grup yang menarik,
membangun dukungan untuk adopsi, termasuk tawar-menawar, Pelobi, Media
persaingan, persuasi dan kompromi.
Tahap 5. Implementasi Kebijakan: Para advokat bekerja dengan lembaga- Grup yang menarik,
lembaga untuk merancang peraturan dan regulasi atau terlibat dalam taktik Pelobi, Media
lain untuk mempengaruhi dukungan pengambil keputusan, seperti protes, dan
pemantauan berkelanjutan terhadap implementasi kebijakan.
Tahap 6. Evaluasi Kebijakan: Para advokat bekerja untuk mempertahankan Grup yang menarik,
kepentingan dan perhatian publik, dengan harapan akan adanya dukungan Pelobi, Media,
berkelanjutan terhadap kebijakan yang diterapkan, seperti bermitra dengan Lembaga Think Tank
sekutu advokasi dan mendidik para pembuat kebijakan baru. Para pengambil
keputusan mencari informasi mengenai efektivitas kebijakan mereka.
Sumber: Theodoulou 1995; Lowery dan Brasher 2004; Theodoulou dan Kofinis 2004.
kemampuan untuk mewakili kepentingan tertentu; dan tahap komunitas kepentingan dan
interaksi dengan anggota lama dan baru, beberapa di antaranya mungkin merupakan
sekutu, sementara yang lain merupakan penentang (Lowery dan Brasher 2004). Tahap
postpassage tambahan, atau peralihan tahap prioritas jangka panjang dan sumber daya
lembaga politik , akan membantu memperjelas kapasitas organisasi untuk mempertahankan
fokus advokasinya dalam jangka panjang (Andrews dan Edwards 2004).
Tentu saja, lingkungan kebijakanlah yang akan menentukan tahapan mana yang
harus menjadi fokus. Jika inisiatif ini berfokus pada tahap-tahap persiapan seperti
mobilisasi dan pemeliharaan serta penetapan agenda, Anda mungkin tidak perlu berfokus
pada tahap-tahap terakhir, seperti partisipasi dalam implementasi kebijakan dan
pengembangan peraturan dan perundang-undangan. Untuk inisiatif advokasi yang
ditargetkan pada kebijakan tertentu, Anda mungkin ingin “mengambil pandangan jangka
panjang” dan memantau evolusi taktik advokasi sebelum dan sesudah disahkannya
undang-undang, misalnya, termasuk tahap pemeliharaan kebijakan. Perlu diingat, seperti
yang telah kami jelaskan di Bab 1, hanya sedikit kebijakan yang ditandatangani menjadi
undang-undang untuk pertama kalinya, khususnya di tingkat negara bagian dan federal,
sehingga memperpanjang waktu yang diperlukan untuk mencapai perubahan kebijakan
yang diinginkan hingga beberapa tahun. Selain itu, setelah undang-undang disahkan,
perhatian tambahan diperlukan untuk memastikan undang-undang tersebut diterapkan
dengan tepat. Alternatifnya, inisiatif advokasi mungkin sedang berjalan atau tidak
menargetkan kebijakan tertentu, seperti bekerja sama dengan media pada setiap tahap.
Hal ini berguna untuk mendokumentasikan pasang surut taktik advokasi tertentu di
seluruh tahapan dan memeriksa fleksibilitas advokasi, ketajaman teknis, dan pemeliharaan upaya (Gardner,
Kerangka kerja lain yang berguna adalah mengorganisir advokasi oleh cabang-cabang
pemerintahan dimana advokasi dilakukan. Misalnya, upaya untuk mempengaruhi para
pembuat kebijakan yang bekerja dengan undang-undang, program publik, atau keputusan
pengadilan disebut sebagai “advokasi kebijakan.” Yang dimaksud dengan “advokasi
legislatif” adalah kegiatan advokasi yang menyasar lembaga legislatif, seperti lobi.
Kegiatan “advokasi administratif” adalah upaya untuk mempengaruhi pengembangan
peraturan, perintah eksekutif, dan sarana cabang eksekutif lainnya, serta penegakan
hukum. Terakhir, aktivitas “advokasi hukum” (juga disebut “advokasi litigasi”) menggunakan
cabang yudikatif untuk mempengaruhi kebijakan melalui litigasi (Ezell 2001). Penelitian
tentang lobi menunjukkan bahwa para advokat fokus pada lebih dari satu tempat pada
satu waktu, bergantung pada
Pembelaan 53
membahas atribut isu kebijakan (Boehmke, Gailmard, dan Patty 2013).
Pada bagian berikutnya, kami melakukan pengecekan realitas dan melihat taktik mana
yang lebih mungkin digunakan dibandingkan taktik lain, memberikan panduan mengenai
apa yang dapat diantisipasi oleh evaluator meskipun ini adalah target yang bergerak. Kedua,
untuk menggambarkan keragaman dalam inisiatif advokasi, kami mendiskusikan para
advokasi dan advokasi yang dilakukan dalam enam kasus evaluasi.
PRAKTEK EVALUASI: TAKTIK ADVOKASI

DIEVALUASI
Seperti dijelaskan dalam Tabel 2.2 di bawah, temuan Survei Evaluasi APC Aspen/UCSF
menunjukkan bahwa evaluator APC fokus terutama pada komunikasi, pendidikan, dan
taktik penelitian yang menargetkan masyarakat dan/atau pengambil keputusan, termasuk
kampanye kesadaran masyarakat (59 persen), analisis dan penelitian kebijakan (55 persen),
advokasi media (48 persen), influencer/
pendidikan yang berpengaruh, seperti pejabat pemerintah (48 persen), dan pendidikan
pembuat kebijakan (46 persen). Tidak mengherankan, taktik advokasi di tingkat hulu yang
mungkin atau tidak memiliki tujuan perubahan kebijakan, menonjol dalam praktik evaluasi
APC atau pembangunan koalisi (59 persen) dan pengorganisasian masyarakat (52 persen).
Hal ini mungkin menjelaskan mengapa taktik lain yang merupakan bagian integral dari
proses pembuatan kebijakan dinilai lebih rendah dalam hal fokus atau umpan balik peraturan
(21 persen), pemantauan anggaran (20 persen), dan model perundang-undangan.
(18 persen).
Terakhir, aktivitas yang sangat mirip dengan lobi kurang mendapat perhatian dalam
evaluasi APC, seperti kampanye kemauan politik (32 persen), lobi (25 persen), dan
penjangkauan pemilih (7 persen). Potongan yang lebih sempit ini mungkin mencerminkan
perspektif pemberi dana—terutama yayasan swasta di Amerika Serikat yang persyaratan
perpajakannya mengharuskan penerima hibah untuk tidak terlibat dalam upaya lobi
langsung.1 Untuk evaluasi di luar lembaga
1. Di Amerika Serikat, terdapat yayasan swasta dan publik, yang masing-masing mempunyai
batasan berbeda dalam melakukan lobi. Yayasan publik mendapatkan dukungan dari berbagai sumber
dan mungkin terlibat dalam lobi terbatas dan memberikan dana hibah untuk lobi. Batasan ini dihitung
dengan dua cara: pengujian “Pengeluaran 501(h)” dan pengujian “Bagian Tidak Penting”.
Yayasan swasta menerima dukungan dari satu individu, keluarga, atau perusahaan, dan mereka tidak
boleh melobi atau menyediakan dana untuk melakukan lobi kecuali kepada badan amal publik yang
melakukan lobi (Alliance for Justice 2015).
Di Amerika Serikat, aktivitas yang berkaitan dengan lobi sering kali menjadi bagian dari perangkat
advokat.
Pesan yang ingin disampaikan disini adalah meskipun evaluator tidak fokus pada semua
taktik advokasi secara merata, evaluator APC tetap harus siap mengevaluasi berbagai strategi
dan taktik advokasi agar dapat memberikan informasi kepada para pemangku kepentingan. Rata-
rata, responden survei mengindikasikan bahwa mereka berfokus pada lebih dari enam kegiatan
advokasi, yang menyatakan perlunya memiliki konten yang cukup luas dan keahlian metodologis
yang dapat diterapkan di berbagai arena kebijakan, di bagian hulu, taktik pra-pasal, dan di seluruh
tahapan kebijakan. model perubahan kebijakan.

Mirip dengan Bab 1, kami menjembatani kesenjangan antara teori dan praktik serta
mengilustrasikan strategi dan taktik advokasi yang mungkin dihadapi oleh evaluator dalam
enam kasus evaluasi. Meskipun ini adalah perbandingan “apel dan jeruk” dan kasus-kasus ini
merupakan kampanye yang sangat berbeda dengan tujuan yang berbeda, kasus-kasus tersebut
mewakili bidang-bidang utama di mana evaluator APC cenderung memfokuskan upaya mereka.
Untuk Pendidikan dan Kebijakan Suku Tembakau (TTEP)
Inisiatifnya, masing-masing dari lima suku mengembangkan strategi advokasinya sendiri—a
Isu inti keadilan kesehatan dalam perubahan tersebut harus datang dari masyarakat.
Taktik advokasi, seperti menerapkan kebijakan bebas rokok di gedung-gedung publik dan
mendidik para pengambil keputusan, ditargetkan pada pejabat terpilih, komisaris, dan kepala
departemen. Penyampaian pesan, pembangunan koalisi, dan rasa kepemilikan komunitas
terhadap perubahan ditargetkan pada tingkat komunitas. Meskipun Oxfam memimpin Kampanye
GROW di banyak konteks nasional, kampanye ini dijalankan oleh koalisi sekutu dan kelompok
mitra. Oxfam melakukan berbagai kegiatan termasuk: lobi; advokasi langsung kepada pengambil
keputusan di sektor publik dan swasta mengenai reformasi kebijakan; mobilisasi masyarakat
melalui kegiatan daring dan luring; pembangkitan liputan media dengan serangkaian strategi
penjangkauan media; riset; dan pengembangan ringkasan kebijakan. Selain itu, untuk Kampanye
Pembekuan Lahan Bank Dunia, terdapat proyek video bersama grup rock Coldplay serta aksi dan
stunts di media sosial. Inisiatif Konservasi Tanah Internasional
kampanye di Kanada dan Australia bergantung pada berbagai kelompok advokat, ilmuwan,
pembuat kebijakan, lembaga pemerintah, serta perusahaan

Tabel 2.2. Kegiatan Advokasi dan Sasarannya
Persen Aspen/
Pembelaan Survei UCSF
Kegiatan Definisi, Ruang Lingkup Target
Responden itu
Fokus pada Taktik
Memobilisasi Warga dan Mengorganisir Sekutu Advokasi
Keterlibatan masyarakat- Meningkatkan keterlibatan individu- Individu, ment Tidak ditanya

ment dan memotivasi mereka untuk Publik
meningkatkan kualitas kehidupan

sipil
Gedung Menyatukan suara advokasi dengan Individu, 59%
koalisi mempertemukan individu, kelompok, Publik,

atau organisasi yang sepakat Minat
mengenai isu atau tujuan tertentu, Grup,

seperti operasi lapangan Organisasi nirlaba
Pengorganisasian Menciptakan atau membangun Individu, 52%
komunitas dukungan berbasis komunitas Publik
(juga disebut terhadap suatu isu atau posisi, sering

untuk sebagai komu- kali dengan membantu masyarakat
mobilisasi nity) yang terkena dampak kebijakan untuk
melakukan advokasi atas nama mereka sendiri
Penyelidikan Menyelenggarakan jajak pendapat Publik Tidak ditanya
melalui telepon, kelompok fokus,
dan jajak pendapat publik untuk menilai
pandangan dan sikap masyarakat
terhadap permasalahan dan isu kebijakan
Protes atau Memobilisasi demonstrasi, pawai, Individu, 6%

demonstrasi dan pembangkangan sipil Publik
Membangun sosial Menciptakan atau memperluas Publik, Tidak ditanya

gerakan kumpulan kelompok dan individu Minat
yang berupaya mengubah pemahaman Grup,

tentang suatu isu Organisasi nirlaba
Memperluas Kesadaran Masyarakat dan Pengambil Kebijakan
Kesadaran masyarakat-
Meningkatkan pengakuan di Publik 59%
kamera ness- kalangan masyarakat umum
pesan tentang suatu isu atau posisi
kebijakan, seperti kampanye pengiriman pesan
Tabel 2.2. Kegiatan Advokasi dan Sasarannya (lanjutan)
Persen Aspen/
Pembelaan Responden
Survei UCSF yang
Fokus pada Taktik
Kehendak publik Mempengaruhi kesediaan kelompok Publik 36%
kampanye sasaran yang bukan pembuat kebijakan
untuk bertindak mendukung suatu isu
atau usulan kebijakan
Advokasi media- Mempengaruhi pemberitaan di media, Media, 48%
cacy yang mungkin termasuk, namun tidak Pembuat kebijakan

terbatas pada
siaran televisi, radio, surat kabar dan
majalah cetak dan online, blog, dan
media sosial; dapat dibayar atau
diperoleh
Penjangkauan pemilih Menyampaikan suatu isu atau Publik, 7%
posisi kepada kelompok pemilih Pembuat kebijakan

tertentu sebelum pemilu
(penjangkauan pemilih,
mengadakan debat kandidat, dan
mendidik kandidat); pendaftaran
pemilih dan keluar-memilih, dan mendorong
warga untuk memilih
Mempengaruhi Dukungan Pembuat Kebijakan
Melobi Upaya untuk mempengaruhi undang- Pengambil kebijakan 25% (dalam konteks AS)
undang tertentu atau mendukung atau
menentang inisiatif pemungutan suara
pemberi pengaruh/ Memberikan informasi kepada individu yang Pembuat 48%
pendidikan diidentifikasi sebagai pemberi pengaruh kebijakan,

yang berpengaruh utama dalam pengambilan keputusan Berpengaruh
mengenai suatu isu atau posisi kebijakan
Pendidikan Menginformasikan, memberi nasihat, Pembuat kebijakan 46%
pembuat kebijakan atau memberi pengarahan kepada
pengambil keputusan tentang aspek
teknis dari suatu isu atau posisi,
dan tentang dukungannya yang luas atau penuh semangat.
Pengembangan Menumbuhkan individu-individu Pembuat 36%
juara terkemuka, termasuk para pembuat kebijakan,
kebijakan, untuk mengadopsi suatu isu Berpengaruh
dan melakukan advokasi secara publik

Tabel 2.2. Kegiatan Advokasi dan Sasarannya (lanjutan)

Persen Aspen/
Pembelaan Responden
Survei UCSF yang
Fokus pada Taktik
Keinginan politik Mempengaruhi kesediaan pembuat Pembuat kebijakan 32%
kampanye kebijakan untuk bertindak
mendukung suatu isu atau usulan
kebijakan
Permintaan saran Memberikan nasihat teknis atau Pembuat kebijakan Tidak ditanya
kesaksian tertulis pada sidang legislatif
atau lembaga
Kebijakan Penelitian dan Pemantauan
Analisis kebijakan Menyelidiki dan meneliti secara Pembuat kebijakan 55%
sistematis suatu masalah atau masalah untuk
mendefinisikannya dengan lebih baik atau
mengidentifikasi solusi yang mungkin
Perundang-undangan Merancang undang-undang Pembuat kebijakan 18%
model konsisten dengan posisi advokasi
mengenai isu kebijakan untuk
disebarluaskan kepada pembuat kebijakan.

ers
Umpan balik Memberikan komentar dan saran Pembuat kebijakan 21%
peraturan perbaikan terhadap peraturan kebijakan
tertentu
Pemantauan Melacak alokasi anggaran pemerintah Pembuat kebijakan 20%
anggaran atau pengeluaran untuk kebijakan
tertentu
Proses pengadilan Menggunakan sistem peradilan untuk Pengadilan 2%
menggerakkan kebijakan dengan mengajukan
tuntutan hukum atau tindakan perdata
Sumber: Program Perencanaan dan Evaluasi Aspen, The Aspen Institute; Aliansi untuk
Keadilan 2015; Coffman dan Bir 2015.
dan asosiasi perdagangan yang beroperasi dan bergantung pada hutan boreal.
Kampanye serupa terjadi di kedua negara—kombinasi taktik, termasuk
memanfaatkan argumen berbasis ilmu pengetahuan mengenai nilai konservasi
lahan, memberdayakan masyarakat adat untuk menegaskan hak-hak mereka atas
tanah adat, dan membina hubungan yang kuat dengan para pengambil keputusan
utama dari berbagai negara. spektrum politik. Project Health Colorado mendukung
empat belas penerima hibah dari Colorado, banyak di antaranya baru dalam bidang
advokasi dan mewakili berbagai sektor, termasuk advokat, pendidikan dan
penelitian, kepemimpinan, mobilisasi komunitas, penyedia layanan, pendidikan
publik, dan kesehatan masyarakat. Penerima hibah melakukan beragam kegiatan
sambil bekerja sama menggunakan kerangka pesan yang sama untuk memajukan
kemauan masyarakat terhadap akses layanan kesehatan. Inisiatif ini juga mencakup
media berbayar dan kampanye mobilisasi, strategi media sosial, pelatihan
relawan, forum komunitas, serta pengumpulan dan berbagi cerita. Di bawah Inisiatif
untuk Mempromosikan Transportasi yang Adil dan Berkelanjutan, terdapat tujuh
puluh empat hibah tingkat federal yang memperkuat kapasitas pendukung
transportasi, tiga puluh hibah tingkat negara bagian yang berfokus pada beberapa
isu (dengan penekanan besar pada peletakan dasar bagi revisi kebijakan federal ),
dan dua puluh satu hibah yang berfokus pada proyek percontohan komunikasi,
serta hibah pencarian dan teknologi. Taktik advokasi meliputi: penelitian dan
analisis kebijakan; komunikasi dan penyusunan perdebatan; peningkatan
kapasitas organisasi; dukungan program/proyek; koalisi dan pengembangan mitra
yang beragam; dan pertemuan penyandang dana ke penyandang dana. Terakhir,
program Let Girls Lead berfokus pada pengembangan kapasitas advokasi individu
dan pembentukan gerakan global yang terdiri dari 110 pemimpin dan organisasi
yang melakukan advokasi untuk anak perempuan. Para peserta melakukan
serangkaian taktik advokasi yang berbeda-beda di setiap negara dan mencakup:
para ahli yang berkomunikasi dengan pembuat kebijakan; analisis implementasi
kebijakan; pendidikan masyarakat luas; pawai; dan pertemuan remaja perempuan dan laki-laki deng
Dengan menggunakan empat kategori taktik advokasi yang kami lakukan, kami
melihat ada banyak persamaan dengan temuan Survei Aspen/UCSF. Semua
inisiatif mencakup taktik untuk memperluas kesadaran publik dan pembuat
kebijakan, dengan menargetkan kedua audiens meskipun mereka menggunakan
cara komunikasi yang berbeda. Misalnya, penggunaan media menonjol dalam
kampanye Project Health Colorado dan Kampanye GROW World Bank. Kedua, kecuali
Pembelaan 59
Project Health Colorado, semua inisiatif berupaya untuk secara langsung mempengaruhi
dukungan pembuat kebijakan dengan menggunakan berbagai taktik, termasuk
penggunaan lobi dalam kasus Inisiatif Bank Dunia. Tiga inisiatif memasukkan penelitian
dan pemantauan kebijakan dalam portofolio taktik advokasi mereka: Inisiatif Bank Dunia;
Kampanye untuk Mempromosikan Transportasi yang Berkeadilan dan Berkelanjutan;
dan Program Konservasi Tanah Internasional.
Memobilisasi masyarakat dan menyatukan sekutu advokasi merupakan hal yang
menonjol dalam dua inisiatif—Program Konservasi Tanah Internasional dan Inisiatif
untuk Mempromosikan Transportasi yang Adil dan Berkelanjutan—keduanya merupakan
isu kebijakan yang luas dan mencakup banyak pemangku kepentingan.
Perbedaan utama antara temuan survei dan kasus-kasus tersebut terletak pada
penekanannya: lima dari enam kasus berfokus pada perubahan kebijakan, dan sebagai
konsekuensinya terdapat keterlibatan evaluator yang lebih tinggi dalam bidang-bidang
seperti pendidikan pembuat kebijakan dan lobi. Pengamatan kedua adalah bahwa
semua kampanye ini mencakup kombinasi taktik advokasi. Selain memiliki keahlian
konten mengenai isu kebijakan tertentu, evaluator perlu memahami taktik advokasi
individu dan kaitannya serta pentingnya taktik lainnya. Keterbatasan sumber daya dapat
membatasi kemampuan evaluator untuk hanya menilai taktik-taktik yang memiliki nilai
atau kepentingan tertinggi bagi para pemangku kepentingan, sebuah situasi yang sulit
jika tujuannya adalah untuk memberikan informasi kepada praktik advokasi secara lebih umum.
KESIMPULAN
Kami mengakhiri bab ini dengan semangat yang optimis, namun penuh peringatan.
Advokasi dan advokasi dalam segala bentuk dan ukuran telah berkembang dalam
beberapa tahun terakhir dan akan terus berkembang di masa depan, memberikan
kontribusi terhadap basis pengetahuan yang signifikan yang dapat memberikan masukan
bagi praktik evaluasi. Meskipun terdapat perluasan advokasi atas nama suara-suara
yang terpinggirkan atau diam dan potensi peningkatan keterwakilan, terdapat hambatan
budaya, ekonomi, dan sistemis yang signifikan dalam menyamakan kedudukan kebijakan dalam waktu dek
Dan, sebagaimana telah kami uraikan di atas, advokasi, bahkan dalam arti yang paling
sempit sekalipun, tidak dapat dengan mudah diperiksa. Taktik dapat berubah secara
tidak terduga atau dirangkai menjadi perangkat, sehingga sulit untuk menilai efektivitasnya.
Namun, evaluator dapat menggunakan berbagai kerangka kerja dan definisi untuk
mengkarakterisasi para advokat serta strategi dan taktik mereka sebelum, selama, atau
setelah inisiatif perubahan kebijakan. Evaluator dapat melakukan hal yang menarik ini
bekerja dengan rasa perspektif, serta pemahaman tentang apa yang harus dilakukan
dan atas nama siapa.
Enam kasus kami menunjukkan bahwa meskipun fokusnya mungkin pada

strategi advokasi tertentu, seperti kampanye membangun kemauan publik,
kenyataannya adalah bahwa berbagai taktik akan diterapkan, memperluas kapasitas
advokasi saat melakukan advokasi. Selain itu, banyaknya penerima hibah yang
berbeda-beda dalam enam kasus tersebut menguatkan kompleksitas advokasi yang dijelaskan dalam li
Mengantisipasi dan bersiap menghadapi berbagai kemungkinan skenario evaluasi
advokasi mungkin sulit, namun seperti yang kita bahas di Bab 3, ada banyak pilihan
yang tepat untuk memahami lanskap yang rumit ini dan merancang evaluasi yang
cermat dan informatif.
Bagian 2
Desain, Hasil, dan Metode yang Sesuai


BAGIAN 3
MERANCANG ADVOKASI DAN KEBIJAKAN

EVALUASI PERUBAHAN
PERKENALAN
Mengevaluasi inisiatif advokasi dan perubahan kebijakan (APC) kini tidak sesulit yang
terjadi pada tahun 2000an, didukung oleh semakin banyaknya panduan evaluasi yang
disesuaikan dan kesediaan evaluator untuk berbagi instrumen dan pembelajaran. Evaluasi
APC juga dapat memanfaatkan karya perintis evaluator kebijakan, seperti Eleanor
Chelimsky dan Carol Weiss, serta diskusi lapangan evaluasi tentang peran konteks,
kompetensi budaya, penerapan desain eksperimental, dan pendekatan untuk memperkuat
desain evaluasi. . Pendekatan evaluasi yang ada dan yang baru muncul, seperti evaluasi
pembangunan, evaluasi pemberdayaan, dan penyelidikan apresiatif, sangat membantu
dalam mengarahkan desain evaluasi dan membingkai hubungan evaluator/pemangku
kepentingan. Dalam bab ini, kami memaparkan beberapa pedoman untuk merancang
evaluasi APC, dengan fokus pada strategi evaluasi yang khususnya dapat diterapkan
dalam bidang advokasi dan perubahan kebijakan. Karena evaluasi APC masih
memperluas batasannya, kami mengambil pendekatan pragmatis terhadap desain evaluasi
dan mempertimbangkan serangkaian pendekatan: pemantauan; desain perkembangan,
formatif, dan sumatif; pendekatan deduktif dan induktif; dan metode kuantitatif dan kualitatif.
Jangan sampai pembaca berpikir bahwa mengembangkan dan melaksanakan desain

evaluasi yang tepat akan berjalan mulus, kemungkinan besar hal ini akan berjalan mulus.
64 Desain, Hasil, dan Metode yang Sesuai
tidak demikian. Tantangannya banyak, dan kami telah menyertakan daftar ancaman
utama terhadap desain evaluasi APC beserta beberapa saran untuk mengatasi atau
setidaknya mengurangi dampaknya. Kampanye advokasi jarang sekali berjalan lancar
dan sangat dipengaruhi oleh kondisi politik dan kebijakan, seperti perubahan aliansi
yang tidak terduga atau liputan media mengenai kejadian yang tidak terduga. Namun,
ada beberapa hal yang tetap konstan, seperti kalender legislatif dan jaringan kebijakan
yang stabil.
Terakhir, kami menjelaskan desain evaluasi APC yang sebenarnya, termasuk
temuan dari temuan Survei Evaluasi APC Aspen/UCSF mengenai strategi desain dan
perbandingan dua studi kasus evaluasi, Let Girls Lead
dan Inisiatif untuk Mendukung Transportasi yang Berkelanjutan dan Berkeadilan,
untuk menggambarkan keragaman dalam desain evaluasi, tantangan yang diatasi,
dan strategi yang berguna.
MENGIDENTIFIKASI STRATEGI EVALUASI

Evaluator APC telah mengembangkan kumpulan template dan cara untuk menyusun
metode dan alat untuk mengevaluasi inisiatif advokasi dan perubahan kebijakan,
dipandu oleh model perubahan kebijakan serta kerangka kerja terkait lainnya, seperti
evaluasi pembangunan, penyelidikan apresiatif, dan teori pemberdayaan. . Misalnya,
Getting Equity Ad-vocacy Results (GEAR) dari PolicyLink membantu advokat,
penyelenggara, dan sekutu mereka melacak hasil kampanye kesetaraan. Hal ini
mencakup tolok ukur, metode, dan alat dan disusun berdasarkan empat prinsip:
Membangun Basis; Memberi Nama dan Membingkai Solusi Ekuitas; Memindahkan
Usulan Ekuitas; dan Membangun, Maju, dan Mempertahankan. Pendekatan lainnya
adalah Model Komposit Advokasi dan Perubahan Kebijakan yang dikembangkan oleh
evaluator APC dan staf evaluasi yang mewakili berbagai yayasan. Kekuatannya
terletak pada penyediaan template yang menjabarkan komponen-komponen inisiatif
APC, termasuk tujuan kebijakan (model tahapan perubahan kebijakan), taktik individu,
advokasi sementara dan hasil kebijakan, serta dampak jangka panjang, seperti
peningkatan layanan. Laporan ini juga memberikan serangkaian taktik advokasi dan
definisinya, serta potensi hasil sementara, seperti perubahan kemauan politik dan
kesadaran masyarakat. Perbedaan antara kerangka kerja ini terletak pada
penekanannya: sebagian besar memiliki seperangkat metode dan alat evaluasi yang
serupa
bersama.
Merancang Evaluasi Advokasi dan Perubahan Kebijakan 65
Di kancah internasional, Jim Coe dan Juliette Major dari Over-seas Development
Institute (ODI) (2013) menyusun metode evaluasi populer berdasarkan empat dimensi
inisiatif advokasi: (1) strategi dan arah serta kekuatan teori program suatu inisiatif.
mengubah; (2) pengelolaan dan keluaran atau pemantauan dan penilaian taktik advokasi;
(3) hasil dan dampak serta sejauh mana perubahan telah terjadi; dan (4) memahami
penyebab atau mengapa inisiatif advokasi berhasil atau gagal. Kerangka lain di kancah
internasional, namun dapat diterapkan secara lebih luas, adalah kerangka Institute for
Development Re-search (IDR), yang merekomendasikan bahwa kerja advokasi harus
diukur berdasarkan tiga kriteria: (1) kebijakan atau perubahan yang dihasilkan dari
pengaruh pengambilan keputusan. -membuat struktur; (2) masyarakat sipil dan penguatan
organisasi sipil untuk terus melakukan advokasi dan berpartisipasi dalam pengambilan
keputusan; dan (3) ruang demokrasi atau perluasan keterlibatan masyarakat sipil dalam
pengambilan keputusan (Chapman dan Wameyo 2001).
Meskipun Anda dapat mengadaptasi kerangka kerja ini atau mengembangkan strategi
baru untuk situasi Anda sendiri, Anda tetap perlu mempertimbangkan dasar-dasar evaluasi
berikut yang penting untuk keberhasilan desain.
Memperjelas Tujuan, Sasaran, dan Kegiatan Inisiatif

Seperti halnya dalam evaluasi program dan layanan, desain evaluasi berasal langsung
dari ruang lingkup dan tujuan inisiatif, serta strategi dan taktik advokasi yang spesifik.
Sasaran, sasaran, dan rencana aksi yang dinyatakan akan memberikan banyak informasi
mengenai hal ini, namun Anda tidak dapat berasumsi bahwa sasaran dan sasaran tersebut
realistis atau akan tetap sama selama inisiatif berlangsung. Mengkarakterisasi aspek
perubahan suatu inisiatif dan sejarahnya akan membantu menentukan apakah inisiatif
tersebut akan mengikuti serangkaian tindakan yang dapat diprediksi atau tidak.
Memahami berbagai pelaku dan kepentingan serta kebutuhan informasi mereka dari
waktu ke waktu, seperti apa yang dimaksud dengan keberhasilan, akan membantu
menentukan hasil dan memberikan masukan bagi model dan tingkat keterlibatan pemangku
kepentingan dalam desain evaluasi. Para advokat dan pemberi dana (selanjutnya disebut
sebagai pemangku kepentingan) mungkin memiliki tujuan aspirasional yang tidak dapat
dicapai dan mengabaikan keuntungan tambahan yang merupakan kemenangan signifikan bagi mereka.
Alternatifnya, mencegah kerugian yang signifikan mungkin tidak disadari oleh perusahaan
kemenangan penting itu. Selain itu, para pemangku kepentingan mungkin berbeda
pendapat mengenai definisi “sukses” dan memilih untuk meraih keuntungan lebih
kecil jika oposisi terbukti lebih tangguh dari perkiraan semula. Kemungkinan besar,
evaluasi akan memberikan pengecekan realitas dan memerlukan fleksibilitas dari
pihak evaluator.
Menentukan evaluasi dan fokus dari apa yang dievaluasi sangat penting untuk
desain evaluasi. Kompleksitas dan kematangan strategi inisiatif, taktik advokasi
spesifik, dan tingkat keterlibatan (internasional, nasional, negara bagian, dan lokal)
terkait dengan metode dan alat khusus dalam desain evaluasi. Misalnya, untuk
membantu menyatukan seluruh inisiatif advokasi dan perubahan kebijakan serta
dampaknya, kerangka IDR menggunakan lima dimensi: (1) kebijakan (nasional,
provinsi, lokal, internasional, lainnya); (2) sektor swasta (nasional, lokal, internasional,
multinasional, lainnya); (3) masyarakat sipil (LSM, organisasi kerakyatan, organisasi
berbasis komunitas, organisasi sekutu, dan lain-lain); (4) demokrasi atau sistem dan
budaya politik (ruang demokrasi, partisipasi masyarakat sipil, legitimasi politik
masyarakat sipil, akuntabilitas lembaga publik, transparansi lembaga publik, dan lain-
lain); dan (5) kesejahteraan individu (materi, sikap, dan lainnya) (Chapman dan
Wameyo 2001). Kami menyarankan Anda merujuk pada daftar taktik advokasi di
Bab 2 dalam mengembangkan inventarisasi taktik advokasi dalam situasi Anda,
yang sebagian besar berasal dari kajian advokasi. Penting juga untuk memahami
inisiatif ini dari sudut pandang penyandang dana dan advokasi dan tidak berasumsi
bahwa setiap orang memiliki definisi yang sama mengenai taktik advokasi tertentu
atau bahkan “advokasi” itu sendiri. Memiliki pengetahuan mendalam tentang
organisasi advokasi atau advokasi dan kegiatannya hampir sama dengan mengetahui
inisiatif.
Menentukan Tujuan Evaluasi, Strategi, dan Pertanyaan

Klarifikasi tujuan evaluasi dilakukan setelah pengembangan pemahaman rinci
mengenai inisiatif, baik itu perbaikan program, akuntabilitas dan penentuan
efektivitas program, dan/
atau generasi pengetahuan untuk memajukan bidang ini (Rossi, Lipsey, dan Free-
man 2004; Patton 2012). Namun, tujuan evaluasi dapat sangat bervariasi berdasarkan
jenis inisiatif dan pemangku kepentingan, serta lamanya waktu untuk menentukan.
saya memikirkan tujuan pembelajaran mana yang penting dan kepada siapa waktu
digunakan dengan baik. Fokus konvensional pada penilaian keberhasilan program
dan tercapai atau tidaknya tujuan awal mungkin kurang penting bagi pengelola
program yang lebih tertarik pada pemantauan berkelanjutan terhadap strategi dan
kegiatan inisiatif. Selain itu, apakah para advokat benar-benar ingin mengetahui
apakah suatu taktik advokasi bekerja lebih baik dibandingkan taktik advokasi lainnya
jika mereka sudah menjadi advokat yang cerdas dan telah mengadopsi berbagai
strategi? Pada awalnya, para advokat mungkin kurang tertarik untuk mempelajari
taktik dan strategi advokasi tertentu, namun seiring berjalannya waktu, mereka
mungkin tertarik untuk mempelajari taktik apa yang paling efektif dengan target yang
berbeda-beda, mulai dari pembuat kebijakan hingga perwakilan masyarakat.
Kepentingan penyandang dana mungkin berbeda dengan kepentingan para advokat,
seperti fokus pada apakah suatu inisiatif dilaksanakan sesuai dengan tujuannya atau
tidak, dan temuan gambaran besar yang menunjukkan bahwa dukungan mereka berkontribusi terhada
Mendamaikan beragam kepentingan ini bisa dilakukan. Hal ini memerlukan
kemitraan perantara dengan para pemangku kepentingan sejak dini dan mendapatkan
konsensus mengenai seberapa besar evaluasi akan fokus pada pengembangan
program, akuntabilitas, dan pengembangan pengetahuan. Evaluasi APC cenderung
kuat dalam pengembangan program dan pengetahuan, seperti mendokumentasikan
perubahan dalam kapasitas advokasi organisasi dan jaringan. Meskipun akuntabilitas
dan fokus pada pencapaian hasil program, seperti peningkatan dukungan pembuat
kebijakan terhadap isu kebijakan tertentu, masih dalam proses, peningkatan minat
penyandang dana untuk menunjukkan kontribusinya terhadap hasil yang
diprioritaskan, serta apakah hasil tersebut berkontribusi atau tidak. perubahan sistem
yang signifikan mendorong bidang ini ke arah ini.
Kebijaksanaan konvensional mengatakan bahwa jika kapasitas advokasi suatu
organisasi merupakan fokus utama dari sebuah inisiatif, maka evaluasi formatif
adalah strategi evaluasi yang tepat. Ini bisa menjadi bidang penyelidikan yang sangat
bermanfaat. Banyak aktivitas dan produk kapasitas advokasi yang dapat dihitung dan
dipantau terus-menerus, seperti jumlah kontak media, kontak pembuat kebijakan,
berapa kali advokat memberikan kesaksian, dan kehadiran di forum kebijakan.
Terdapat alat dan metrik teruji yang dapat digunakan oleh evaluator dan advokat,
seperti Alliance for Justice
Alat Penilaian Kapasitas Advokasi dan Perencana Kemajuan Advokasi dari Aspen
Institute . Pelacakan taktik dan perubahan yang diformalkan
karakteristik praktik Pemantauan, Evaluasi, dan Pembelajaran (MEL) juga dapat bermanfaat. Selain
itu, evaluasi yang berfokus pada pemanfaatan serta menanyakan dan menjawab pertanyaan-
pertanyaan yang dapat ditindaklanjuti, khususnya seiring dengan berkembangnya suatu inisiatif dapat
menyelaraskan perbedaan-perbedaan dalam kebutuhan informasi para pemangku kepentingan (Patton 2012).
Sedangkan evaluasi sumatif sulit dilakukan dalam situasi dimana ada
Jika jangka waktu yang pendek dan/atau kurangnya tindakan, maka keinginan pemberi dana untuk
menilai dampak program dan menentukan nilai investasi mereka secara keseluruhan mendorong
pemikiran baru dalam hal ini. Evaluator memiliki banyak pilihan untuk mengembangkan desain
evaluasi sumatif yang baik. Pengembangan teori perubahan program dan/atau model logika dapat
menyederhanakan kompleksitas dan hasil permukaan yang dapat diukur. Berfokus pada hasil
sementara yang berada di bawah kendali suatu inisiatif, seperti perubahan dalam dukungan pembuat
kebijakan, dapat memberikan informasi yang berguna mengenai efektivitas program. Pendekatan
yang cocok untuk lingkungan yang kompleks, seperti pemikiran sistem, dapat mengurangi
ketidakpastian dan membuat hubungan antar elemen inisiatif menjadi lebih transparan.
Rancangannya juga bergantung pada stabilitas program dan apakah suatu inisiatif dapat
menjadi model yang dapat direplikasi atau apakah inisiatif tersebut terus bertransformasi dan
beradaptasi terhadap perubahan keadaan. Inisiatif advokasi dan perubahan kebijakan biasanya mirip
dengan yang terakhir, seperti kampanye untuk membangun kemauan publik yang berkembang seiring
dengan perubahan medan politik. Untuk situasi di mana jalur ke depan belum begitu jelas, pendekatan
evaluasi pembangunan dan pengumpulan data secara real-time akan memberikan para evaluator
sarana untuk menilai kemajuan dan memberikan masukan bagi strategi. Pendekatan-pendekatan
ini dapat mengakomodasi perubahan kondisi yang menjadi ciri inisiatif advokasi serta memperkuat
kemitraan antara evaluator dan pemangku kepentingan.
Pertanyaan evaluasi, salah satu pilar desain evaluasi, akan dibentuk oleh tujuan evaluasi, serta
membantu memperjelas tujuan evaluasi. Evaluator Eleanor Chelimsky (2007) mengingatkan kita
bahwa ada empat jenis pertanyaan: deskriptif atau bagaimana dan pertanyaan apa; pertanyaan
normatif atau menunjukkan hasil program dibandingkan dengan standar; pertanyaan sebab-akibat
yang berfokus pada atribusi; dan pertanyaan berbasis pengetahuan, seperti pelajaran yang didapat.
Namun, informasi dari pemangku kepentingan pada akhirnya akan menentukan pertanyaan evaluasi.
Banyak penyandang dana ingin mengetahui apakah inisiasi advokasi

tive telah dilaksanakan sesuai dengan tujuan dan kualitas pelaksanaannya, apakah suatu
inisiatif mencapai hasil, dan apa peran dukungan mereka. Tergantung pada kematangan
inisiatif tersebut, mereka mungkin juga ingin mengetahui apakah suatu inisiatif dapat
diterapkan di tempat lain atau jika diadaptasi di tempat lain, kemungkinan besar hasilnya
akan seperti apa. Selain itu, keuntungan ekonomi yang diperoleh masyarakat dari
kemenangan kebijakan mungkin diperlukan oleh pemberi dana untuk membenarkan
inisiatif tersebut kepada dewan direksi. Analisis keuangan memberikan banyak manfaat
bagi penyandang dana yang ingin mengetahui bagaimana sumber daya mereka digunakan
dan/atau dimanfaatkan, namun analisis ini memerlukan perhitungan yang baik oleh
penerima hibah dan model dampak keuangan suatu kebijakan yang dipikirkan dengan
matang. Adalah bijaksana untuk memperjelas kepentingan para pemangku kepentingan
di sini. Apakah mereka menginginkan analisis laba atas investasi (ROI) yang menyeluruh
atau inventarisasi sumber daya alam yang diperoleh oleh penerima hibah?
Sebaliknya, menunjukkan sebab-akibat dan laba atas investasi mungkin kurang
bermanfaat bagi para advokat dibandingkan pembelajaran strategis dan penjelasan rinci
tentang taktik yang digunakan untuk mendapatkan dukungan pembuat kebijakan terhadap
undang-undang tertentu atau taktik efektif dalam menarik perhatian media. Dengan inisiatif
yang matang, para advokat juga mungkin menginginkan evaluasi yang kredibel yang
menunjukkan bahwa tindakan mereka telah menghasilkan tindakan kebijakan atau
pemberdayaan masyarakat. Hal ini mencerminkan nilai kerja mereka sekaligus
meningkatkan pemahaman penyandang dana dan advokasi mengenai mekanisme sebab-
akibat hingga mereka dapat disingkirkan. Kebutuhan informasi bagi pemangku
kepentingan harus mengalir langsung dari diskusi mengenai tujuan evaluasi.
Berdasarkan tinjauan kami terhadap desain advokasi dan evaluasi perubahan

kebijakan, pertanyaan evaluasi formatif yang digunakan oleh evaluator APC meliputi:
• Kemajuan atau kekurangan apa yang telah dicapai dalam penerapan inisiatif ini dan
menunjukkan pencapaian tujuan dan sasaran inisiatif, seperti peluncuran kampanye,
memberikan kesaksian pada dengar pendapat legislatif, atau membangun infrastruktur
organisasi untuk melakukan advokasi?
• Seberapa baik para advokat melakukan kampanye atau kegiatannya?

Apa yang bisa diperbaiki?
• Hasil apa yang paling signifikan hingga saat ini, misalnya perubahan
kapasitas advokasi organisasi, jangkauan masyarakat dan/atau pembuat kebijakan, atau

peningkatan dukungan terhadap posisi advokasi?
• Apa saja faktor pendukung dan penghambat (internal dan eksternal) yang ditemui dalam
implementasi dan pemeliharaan inisiatif ini?
• Apa saja keluarannya, seperti ringkasan kebijakan, pelatihan advokat, dan peningkatan
komunikasi dengan sektor lain atau sekutu advokasi?
• Apa yang telah dipelajari dari inisiatif ini yang dapat digunakan untuk memberikan informasi
strategi dan taktik advokat, serta peran penyandang dana dalam mendukung advokat?
Demikian pula, pertanyaan evaluasi sumatif yang umum meliputi:
• Strategi dan/atau taktik apa yang paling efektif dalam mencapai tujuan tersebut
hasil yang diinginkan?
• Apa dampak strategi/kegiatan inisiatif terhadap kelompok sasaran, dan/atau pembuat

kebijakan?
• Sejauh mana hasil dari inisiatif ini tercapai? Adalah

hasil ini berkelanjutan?
• Peran apa yang dimainkan oleh para advokat dan penyandang dana dalam mencapai
hasil dari inisiatif ini? Bukti apa yang ada untuk menunjukkan dukungan
kontribusi kucing/penyandang dana?
• Sejauh mana inisiatif ini menghasilkan perubahan pada individu, organisasi, populasi, dan/
atau sistem?
• Apa yang berkontribusi terhadap (atau menghambat) keberhasilan inisiatif?
• Apa yang dapat dipelajari dari keberhasilan dan kegagalan tersebut
menginformasikan strategi pemberi dana, seperti adaptasi inisiatif di situasi lain?
Ketahui Konteksnya: Pemain Politik dan Arena Kebijakan

Mengidentifikasi dan mengkarakterisasi seluruh individu dan organisasi yang terlibat serta
kepentingan mereka dalam inisiatif advokasi sangat penting untuk keberhasilan evaluasi
karena “siapa yang Anda kenal” merupakan aspek mendasar dari banyak inisiatif APC.
Hubungan yang penting bagi para advokat dan pengambil keputusan mungkin juga perlu
dipupuk oleh para evaluator. Sebuah
inisiatif advokasi dan kebijakan dapat menjadi lingkungan yang padat penduduk dan
kompleks. Para advokat dapat bermitra dengan banyak sekutu, termasuk pembuat
kebijakan dan penerima manfaat dari taktik advokasi mereka, seperti kelompok
masyarakat rentan. Peran mungkin berubah-ubah dan sulit untuk dikarakterisasi seiring
berkembangnya inisiatif. Kami menyarankan untuk mengambil pandangan yang luas,
tidak hanya sekedar advokasi dan pemberi dana, tetapi juga melibatkan organisasi
mitra yang memainkan peran penting dalam kampanye advokasi. Selain itu, para
pengambil keputusan, yang mungkin juga merupakan sekutu advokasi, juga harus
dipertimbangkan. Jangan lupa sertakan pihak oposisi dalam peta dunia politik Anda,
termasuk mereka yang bersikap ambivalen terhadap pilihan kebijakan, serta mereka
yang sangat menentang usulan perubahan. Sekalipun kampanye tersebut tidak bersifat
konfliktual, kemungkinan besar terdapat kepentingan-kepentingan yang secara ideologis
menentang atau menolak perubahan.
Bagi Anda yang sudah memiliki pengetahuan tentang advokasi dan perubahan
kebijakan, ini adalah pengingat untuk memahami seluk-beluk arena kebijakan.
Kompleksitas—banyaknya pemain kunci, entitas politik yang bersaing dan saling
bertentangan, serta proses pembuatan kebijakan yang tidak pasti—merupakan ciri
khas dari banyak inisiatif APC. Namun, jangan berasumsi bahwa kemampuan Anda
untuk merancang dan melaksanakan desain evaluasi APC yang rumit akan merugikan
Anda. Para evaluator harus memiliki pengetahuan yang cukup mengenai pokok
bahasan kebijakan atau arena kebijakan dan proses pembuatan kebijakan, serta
memiliki keterampilan dalam proses kebijakan seperti halnya para advokat dan pembuat
kebijakan itu sendiri. Misalnya saja, bidang kebijakan kesehatan memerlukan keahlian
konten yang berbeda dengan kebijakan transportasi, dan bidang ini mempunyai
pemain yang berbeda-beda. Terdapat juga perbedaan dalam pembuatan kebijakan
federal dan negara bagian dalam arena kebijakan—birokrasi, pendanaan, dan tanggung
jawab implementasi kebijakan. Bersikaplah realistis tentang pengetahuan Anda
tentang arena kebijakan dan isinya, sejarah, dan pendukungnya. Jika Anda memiliki
pemahaman yang dangkal mengenai arena kebijakan, Anda mungkin perlu bermitra
dengan para ahli yang memiliki keahlian konten dan pengalaman jangka panjang
dengan arena kebijakan tertentu.
Menentukan Peran Evaluator

Bagaimana tim evaluasi APC berhubungan dengan inisiatif dapat memfasilitasi
keberhasilan perencanaan dan pelaksanaan evaluasi, serta penerapannya

kation temuan evaluasi. Dengan asumsi lima Prinsip Panduan bagi Evaluator dari
American Evaluation Association (AEA) (Penyelidikan Sistematis, Kompetensi,
Integritas/Kejujuran, Menghargai Orang, dan Tanggung Jawab terhadap Kesejahteraan
Umum dan Masyarakat) telah dimasukkan ke dalam desain evaluasi, kami membahas
sebuah Ada beberapa aspek peran evaluator yang memerlukan pertimbangan
khusus: pertanyaan tentang adanya evaluasi eksternal atau internal atau keduanya,
dan kemitraan evaluator dengan pemangku kepentingan.
Evaluasi eksternal di tingkat perusahaan memberikan peluang untuk
mengembangkan temuan-temuan yang dapat digeneralisasikan dan pengembangan
lapangan, sekaligus melakukan beberapa pekerjaan berat yang mungkin tidak dapat
dilakukan oleh penyandang dana dan advokat sendiri, seperti melaksanakan rancangan
metode campuran. Seperti yang diungkapkan oleh evaluator APC, Julia Coffman
(2009), kelemahan potensial dari evaluasi di tingkat perusahaan adalah bahwa
evaluasi tersebut mungkin tidak cukup fokus pada apa yang dianggap bermanfaat
oleh para advokat, seperti informasi yang tepat waktu tentang hasil dari taktik tertentu.
Pendekatan silo yang menjadi ciri banyak evaluasi eksternal mungkin tidak
mempertimbangkan bentuk penindasan yang bersifat prediktif terhadap hasil inisiatif
dan, lebih buruk lagi, melanggengkan sistem yang mendukung ketidakadilan sosial.
Demikian pula, evaluasi internal yang dilakukan oleh staf penerima hibah kemungkinan
besar tidak memiliki sumber daya dan keahlian evaluasi untuk menilai dampak jangka
panjang. Mungkin juga tidak ada tingkat objektivitas atau perspektif yang memberikan
penilaian pragmatis dan jujur terhadap kemajuan dan pencapaian inisiatif.
Dalam praktiknya, desain yang ideal adalah sebuah pendekatan yang
menggabungkan perspektif netral, sumber daya, dan kekuatan dari evaluasi eksternal
dengan sudut pandang orang dalam dan di tingkat dasar dari advokat. Salah satu
pendekatannya adalah dengan memasukkan komponen bantuan teknis evaluasi
yang memperkuat keahlian evaluasi advokat dalam pengembangan dan pelaksanaan
desain serta meningkatkan pemahaman mereka tentang bagaimana data dikumpulkan
dan dianalisis, dan bagaimana hasilnya dapat digunakan untuk strategi. perbaikan.
Selain itu, mengadopsi perspektif “teman yang kritis” juga dapat membantu menjadikan
evaluator eksternal sebagai orang dalam yang objektif. Didefinisikan sebagai “orang
terpercaya yang mengajukan pertanyaan provokatif, memberikan data untuk diperiksa
melalui lensa lain, dan memberikan kritik terhadap karya seseorang sebagai teman,”
seorang teman yang kritis meluangkan waktu untuk memahami sepenuhnya konteks
karya yang disajikan dan hasil yang dilakukan orang atau kelompok tersebut
menuju. Perspektif teman yang kritis memadukan objektivitas yang diharapkan dari
seorang evaluator dengan sifat dapat dipercaya dan kepekaan yang merupakan ciri-ciri
seorang teman (Costa dan Kallick 1993, 49).
Dibandingkan dengan arena evaluasi lainnya, model kemitraan evaluasi dapat

mempunyai dampak yang besar terhadap desain dan pelaksanaan evaluasi APC. Inisiatif
advokasi dan perubahan kebijakan biasanya berbasis hubungan. Sebagaimana
dikemukakan Michael Quinn Patton (2012) dalam edisi terbaru buku klasiknya, Essentials
of Utilization Focused Evalua-tion, pemangku kepentingan evaluasi harus terlibat secara
pribadi dan aktif dalam evaluasi dengan tujuan meningkatkan kegunaan dan kegunaan
evaluasi. . Kolaborasi dengan para pemangku kepentingan ditandai dengan negosiasi
yang berkelanjutan dan keterlibatan dalam pengembangan dan pelaksanaan evaluasi,
termasuk mengidentifikasi dan menyempurnakan pertanyaan evaluasi, melakukan analisis
kontekstual, dan mengembangkan teori perubahan program.
Kemitraan ini berisiko jika tim evaluasi tidak memiliki kompetensi budaya untuk bekerja
dengan beragam pemangku kepentingan yang mungkin tidak memiliki nilai dan pola pikir
yang sama, khususnya dalam cara mereka memandang evaluasi. Dianggap sebagai
kompetensi yang penting bagi profesi ini, salah satu Prinsip Panduan AEA untuk Evaluator
adalah bahwa evaluator harus mampu “menunjukkan kompetensi budaya dan
menggunakan strategi dan keterampilan evaluasi yang tepat untuk bekerja dengan
kelompok yang berbeda budaya” (AEA 2011). Dalam konteks advokasi dan perubahan
kebijakan, evaluator perlu mempertimbangkan dinamika kekuasaan dan mengidentifikasi
kepentingan siapa yang dilayani oleh evaluasi tersebut. Mereka harus peka terhadap
“ketidaksetaraan dan ketidakadilan dalam hubungan dan pengaturan sosial sehari-hari”
(Free-man, Franca, dan Vasconcelos 2010, 7). Komunitas evaluasi telah mengidentifikasi
tujuh metode untuk meningkatkan kompetensi budaya suatu evaluasi:
1. Pertimbangkan komunitas yang menjadi sasaran rencana evaluasi tersebut
2. Instrumen survei pre-test dengan kelompok etnis yang berbeda
3. Memperoleh informasi tentang atribut-atribut lain yang berkaitan dengan etnisitas

dan identifikasi diri kelompok etnis
4. Membangun pemeriksaan proses ke dalam evaluasi dengan mengadakan diskusi berkelanjutan

kursus dengan tim evaluasi mengenai pengalaman mereka dengan peserta
5. Gunakan triangulasi berbagai sumber informasi
6. Libatkan konsultan ahli budaya atau etnis dalam evaluasi

tim
7. Membuat laporan penelitian yang berisi pembahasan lengkap mengenai sampel dan
metodologi pengambilan sampel yang digunakan (Dunaway et al. 2013)
Selain itu, penerapan pendekatan evaluasi partisipatif dan perluasan inklusi akan
membantu menempatkan evaluasi pada posisi yang lebih setara.
Ini adalah bidang yang mendapat manfaat besar dari kebijaksanaan dalam
bidang evaluasi. Model evaluasi pembangunan Michael Quinn Patton (2009)
membawa keterlibatan pemangku kepentingan ke tingkat berikutnya dengan em-
fase pembelajaran dan adaptasi berkelanjutan. Evaluasi merupakan fungsi penting

berbasis kemitraan yang tanggap terhadap pembelajaran pemangku kepentingan
dan kebutuhan informasi. Yang paling ujung dari kontinum kemitraan evaluator/
pemangku kepentingan adalah pendekatan evaluasi pemberdayaan David
Fetterman (2005) dan kepemilikan evaluasi oleh pemangku kepentingan atau
masyarakat. Evaluator bukan merupakan figur yang mempunyai otoritas dan lebih
merupakan fasilitator serta pemangku kepentingan yang memiliki kendali lebih
besar terhadap evaluasi. Demikian pula, penyelidikan apresiatif dan pemeriksaan
proaktif terhadap citra positif kegiatan di tingkat organisasi menempatkan pemangku
kepentingan sebagai penentu kebijakan. Hal ini sangat cocok untuk menilai
kapasitas advokasi organisasi dan dapat digunakan untuk membangun hubungan
antar pemangku kepentingan, memperkuat kapasitas evaluasi advokasi, dan
memandu desain evaluasi dan implementasinya (Coghlan, Preskill, dan Catsambas
2003). Kami menjelaskan hubungan evaluator dengan advokat, penyandang dana,
dan pengambil keputusan secara lebih rinci di Bab 6.
Komunikasi yang Efektif

Mengkomunikasikan temuan-temuan evaluasi penting untuk mencapai misi ganda
yaitu pembelajaran strategis dan menciptakan serta mempertahankan warisan
perubahan. Memikirkan rencana komunikasi selama tahap perencanaan evaluasi
dan implementasi serta menciptakan umpan balik informasi akan memastikan
bahwa temuan berkontribusi pada advokasi.
strategi dan taktik. Jelas bahwa komunikasi dimulai sejak awal, ketika para
pemangku kepentingan didorong untuk memberikan masukan dalam pertanyaan
evaluasi dan pengumpulan data itu sendiri, termasuk membantu mengidentifikasi
pemangku kepentingan utama yang akan diwawancarai atau disurvei. Dalam banyak
hal, mereka adalah pengguna akhir, sehingga mereka juga akan siap untuk belajar
dari temuan evaluasi.
Mengembangkan dan menyebarkan temuan-temuan evaluasi sejak dini dan
sering kali dapat menciptakan wahana perubahan yang terus berlanjut setelah
inisiatif berakhir. Dengan dukungan pemangku kepentingan, publikasi evaluasi dan
produk lainnya dapat digunakan untuk menyempurnakan kampanye dan taktiknya,
serta membangun kapasitas organisasi untuk mengumpulkan dan menggunakan
data. Misalnya, kasus deskriptif mengenai keberhasilan kebijakan dapat memberikan
edukasi kepada pihak lain, serta memperkuat dukungan di masa depan. Sayangnya,
tidak ada pendekatan yang bisa diterapkan untuk semua pihak, dan pemangku
kepentingan yang berbeda memerlukan jenis informasi yang berbeda dalam format
yang berbeda pula. Kebutuhan informasi bagi penyandang dana sangat berbeda
dengan kebutuhan advokasi, misalnya memerlukan laporan ringkasan yang dapat
diakses dan diserahkan kepada dewan direksi. Para advokat memerlukan informasi
praktis yang mendukung praktik advokasi, seperti penjelasan singkat tentang
pengembangan kapasitas dan strategi. Mereka juga ingin menyampaikan keberhasilan
mereka kepada pihak lain, meskipun mereka sering enggan untuk berbagi rincian
taktik advokasi mereka karena takut akan mengungkapkan terlalu banyak informasi
kepada pihak oposisi. Para evaluator perlu mendiskusikan format apa yang harus
digunakan untuk menyebarkan temuan evaluasi—apakah hasil paling baik disajikan
melalui webinar, laporan singkat, siaran pers, power point, ringkasan singkat untuk
situs web, dan/atau pendekatan lainnya. Mengingat peran media sosial dan jaringan,
ada kemungkinan besar bahwa penyebaran temuan akan terjadi jauh lebih cepat
dan sering kali diketahui melalui berbagai mekanisme, termasuk tweet dan
Facebook. Oleh karena itu, temuan-temuan evaluasi perlu disajikan dengan cara
yang menarik dan dapat didengar tanpa menimbulkan keributan. Sebaliknya, di lain
waktu, khususnya jika hasil evaluasi tidak sesuai dengan arah yang diinginkan, para
advokat mungkin memilih untuk mengubur hasil-hasil tersebut, memilih untuk tidak
menyajikannya kepada dunia luar, namun menggunakan temuan-temuan untuk kepentingan internal.
MENGATASI TANTANGAN APC

DESAIN EVALUASI
Para evaluator menyambut baik, jika tidak berhasil, tantangan yang ada. Namun,
mengevaluasi inisiatif advokasi dan perubahan kebijakan mungkin lebih sulit
dibandingkan jenis program lainnya. Evaluator Steven Teles dan Mark Schmitt (2001,
43) menyimpulkan tantangan evaluasi APC: “Evaluator harus memperoleh dan secara
akurat menimbang dan mensintesis informasi yang tidak sempurna, dari sumber yang
bias dengan pengetahuan yang tidak lengkap, dalam kondisi yang berubah dengan
cepat di mana hubungan sebab akibat hampir tidak mungkin terjadi. untuk
membangun." Hal ini merupakan tambahan dari permasalahan evaluasi yang biasa
dihadapi para evaluator, seperti keterbatasan sumber daya dan keterlambatan
memulai. Namun, evaluator mempunyai beberapa pilihan yang kuat untuk mengatasi
tantangan-tantangan ini, dan teori serta praktik evaluasi standar dapat mengatasi
banyak masalah desain yang akan muncul dalam evaluasi APC. Misalnya, melakukan
penilaian evaluabilitas untuk menentukan apakah suatu inisiatif dapat dievaluasi dengan ketersediaan a
sumber daya yang mampu dan dalam jangka waktu tertentu akan memunculkan
tantangan sejak dini serta mengelola harapan para pemangku kepentingan (Bamberger
dkk. 2012). Kami menyarankan agar para evaluator memberikan perhatian khusus
pada aspek-aspek inisiatif APC berikut ini ketika menentukan strategi evaluasi
menyeluruh:
Kurangnya Transparansi Strategi Advokasi

Sifat oposisi atau konflik yang menjadi ciri sebagian besar pembuatan kebijakan
menciptakan tantangan unik bagi para evaluator, seperti keengganan para advokat
dan bahkan penyandang dana untuk mengungkapkan rincian rencana permainan
mereka karena takut akan memberikan bantuan kepada pihak oposisi. Mungkin juga
terdapat unsur risiko bagi para advokat yang terlibat dalam bidang hak asasi manusia
dan bidang-bidang lain yang memungkinkan adanya tindakan pembalasan. Meskipun
keleluasaan merupakan elemen penting yang perlu dipertimbangkan dalam setiap
desain evaluasi, hal ini bahkan lebih penting lagi dalam konteks evaluasi APC.
Evaluator Michael Quinn Patton (2008) menggambarkan pendekatan “Pertama,
jangan merugikan” untuk mengevaluasi dampak kampanye untuk mempengaruhi
keputusan Mahkamah Agung, sebuah kampanye diam-diam yang dirancang untuk
menghindari menarik oposisi yang kuat. Laporan evaluasi dirahasiakan, termasuk
tidak dibuat salinannya secara elektronik, dan hanya didistribusikan kepada segelintir orang terpilih. Pen
untuk menerapkan pendekatan pengumpulan data yang bersifat rahasia, seperti Debriefs
Periode Intens dari Innovation Network , yang menciptakan tempat yang aman tepat setelah
aktivitas advokasi untuk membahas pertanyaan-pertanyaan sensitif tentang keberhasilan dan kegagalan.
Pembatasan Beberapa Bentuk Advokasi
Penting bagi evaluator untuk memahami definisi “lobi” atau advokasi yang menargetkan undang-
undang federal, negara bagian, dan lokal tertentu dalam arti yang sebenarnya. Sebagaimana
dijelaskan oleh Alliance for Justice (2015), ada dua jenis lobi, yaitu lobi langsung dan akar
rumput. “Lobi langsung” adalah komunikasi dengan anggota legislator (federal, negara bagian,
lokal) atau staf legislatif yang mengacu pada undang-undang tertentu dan mengungkapkan
pandangan mengenai undang-undang tersebut. “Lobi akar rumput” adalah komunikasi dengan
masyarakat umum yang mengacu pada peraturan perundang-undangan tertentu, menyampaikan
pandangan terhadap peraturan perundang-undangan tersebut, dan mendesak masyarakat
untuk menghubungi pembuat undang-undangnya.
Selain itu, evaluator perlu membedakan peraturan perundang-undangan, yang dapat
mencakup upaya-upaya lokal, dari jenis keputusan lainnya. Internal Revenue Service AS
mendefinisikan “perundang-undangan” sebagai:
Perundang-undangan mencakup tindakan Kongres, badan legislatif negara bagian, dewan
lokal, atau badan pemerintahan serupa, sehubungan dengan tindakan, rancangan undang-
undang, resolusi, atau hal serupa (seperti konfirmasi legislatif atas jabatan yang ditunjuk), atau
oleh masyarakat dalam referendum, inisiatif pemungutan suara, amandemen konstitusi, atau
prosedur serupa. Hal ini tidak termasuk tindakan yang dilakukan oleh badan eksekutif, yudikatif,
atau administratif. (Layanan Pendapatan Internal AS)
Pada awal tahun 2000-an, pedoman federal AS yang membingungkan dan membatasi lobi
nirlaba mengakibatkan banyak penyandang dana mengalihkan sumber dayanya ke kegiatan
advokasi yang tidak terlalu kontroversial, seperti penelitian, pendidikan, dan bekerja dengan
media.1 Di satu sisi, hal ini membatasi advokasi, karena mereka tidak dapat menerapkan strategi
yang berpotensi lebih efektif. Mereka juga tidak mempunyai keuntungan taktis yang bisa
dinikmati oleh organisasi dengan sumber daya lebih baik yang melakukan lobi.
Bagi evaluator, pembatasan ini berarti mengabaikan bentuk-bentuk pengaruh utama,
1. “Secara umum, tidak ada organisasi yang dapat memenuhi syarat untuk mendapatkan status pasal
501(c)(3) jika sebagian besar aktivitasnya berupaya mempengaruhi undang-undang (umumnya dikenal
sebagai lobi). Organisasi 501(c)(3) mungkin terlibat dalam beberapa lobi, namun terlalu banyak aktivitas
lobi berisiko kehilangan status bebas pajak” (Internal Revenue Service).
yang merugikan penyandang dana, advokat, dan bidang evaluasi pada

umumnya. Meskipun beberapa kesalahpahaman mengenai batasan lobi
telah diatasi dengan mendidik penyandang dana tentang advokasi apa yang
diperbolehkan, arena evaluasi di AS terus bergulat dengan isu-isu definisi.
dan bentuk advokasi apa yang legal. Misalnya, penyandang dana mungkin
menyamakan definisi advokasi dan lobi meskipun sebagian besar taktik
advokasi bukanlah lobi.
Mengatasi Kompleksitas Inisiatif

Inisiatif advokasi seperti penguatan masyarakat sipil secara luas atau
pendekatan koalisi terhadap perubahan kebijakan mungkin melibatkan
banyak aktor di berbagai sektor dan selama bertahun-tahun. Selain itu,
mekanisme perubahan menambah dimensi kompleksitas lainnya, dan faktor
eksternal menambah unsur ketidakpastian. Evaluator APC harus bergulat
dengan kompleksitas ini tanpa menjadi bingung karenanya. Salah satu
strateginya adalah dengan menggabungkan pendekatan evaluasi
pembangunan, yang mencirikan kompleksitas dan sifat-sifatnya—nonlinier,
kemunculan, adaptasi, ko-evolusi, interaksi dinamis, dan ketidakpastian—
dan memberikan strategi dan alat bagi para evaluator APC untuk
mengantisipasi dan belajar. dari program atau inisiatif yang terus berubah (Patton 2011).
Pendekatan pemikiran sistem dan memandang inisiatif sebagai jaringan
hubungan memungkinkan evaluator memahami inisiatif APC secara holistik
dan dinamis, dan tidak mengabaikan aspek dan perubahan yang tidak
termasuk dalam model linier. Penggunaan lensa sistem mempunyai potensi
untuk menangkap perubahan yang tidak diinginkan serta memunculkan
rekomendasi untuk perbaikan program dan mengidentifikasi faktor
pendorong perubahan (Foster Fish-man, Nowell, dan Yang 2007). Potensi
penggunaan alat sistem untuk advokasi dan evaluasi perubahan kebijakan
sangat banyak dan kompatibel dengan strategi pemantauan program dan
desain evaluasi perkembangan/formatif/sumatif. Meskipun hal ini masih baru
dan memerlukan beberapa pelatihan teknis, khususnya dalam
mengkarakterisasi interaksi antar komponen sistem, konsep-konsep ini
diterjemahkan ke dalam panduan di luar arena evaluasi APC yang dapat
diterapkan, seperti A Practical (2014) karya Nancy Latham . Panduan
Mengevaluasi Perubahan Sistem dalam Konteks Sistem Pelayanan Kemanusiaan.
Selain itu, teknik analisis baru, termasuk analisis kontribusi, analisis kontekstual
(seperti evaluasi realis), dan analisis jaringan sosial memungkinkan untuk menavigasi
kompleksitas dan menentukan apa yang berkontribusi terhadap pencapaian hasil
sementara dan jangka panjang.
Semua pendekatan ini dapat digunakan untuk menghubungkan titik-titik atribusi dan
memberikan pemahaman yang lebih kuat tentang peran pendanaan, taktik advokasi
utama, dan bagaimana perubahan kebijakan terjadi, atau mungkin pembelajaran
penting yang bisa diambil jika perubahan tidak terjadi. terjadi. Misalnya, evaluator
Todd C. Honeycutt dan Debra A. Strong (2012) menggunakan analisis jaringan sosial
(SNA) untuk menguji kapasitas dan fungsi dua belas koalisi yang didanai oleh Robert
Wood Johnson Foundation untuk memajukan perluasan cakupan asuransi kesehatan.
Mereka mampu mengukur tingkat komunikasi antar anggota organisasi, tingkat
keterlibatan dalam kegiatan advokasi, keselarasan nilai-nilai, dan tingkat hubungan
secara keseluruhan di tingkat koalisi, sehingga memberikan pemahaman yang lebih
kuat tentang dinamika koalisi dan peluang yang mereka miliki. menyediakan untuk
memajukan agenda kebijakan dan berbagi sumber daya.
Terakhir, kerangka permasalahan yang buruk, atau permasalahan yang sulit

diselesaikan dan tidak mudah diselesaikan, memungkinkan para evaluator dan
pemangku kepentingan untuk memandang inisiatif APC dengan cara yang berbeda
secara mendasar. Hal ini mengakui adanya kompleksitas permasalahan kebijakan
yang ditargetkan oleh penyandang dana dan pendukungnya, serta kesulitan dalam
mencapai konsensus mengenai solusi tertentu, seperti pemanasan global. Misalnya
saja, kerangka kerja ini telah diterapkan secara retrospektif pada dua isu kebijakan
yang kompleks—perluasan asuransi kesehatan untuk anak-anak dan penguatan
RUU Pertanian federal untuk meningkatkan akses terhadap makanan sehat (Sherman
dan Peterson 2009). Kerangka kerja ini memaksa para pemangku kepentingan untuk
mencermati permasalahan itu sendiri, efektivitas intervensi, dan keterlibatan pemangku kepentingan.
Mengatasi Masalah Kredibilitas dan Ketelitian

Pekerjaan kebijakan bersifat kompleks dan seringkali bersifat nonlinier, dan hal ini
ditandai dengan beragamnya kondisi, beragam jenis pengaruh, dan beragam titik
intervensi. Biasanya, terdapat banyak aktor yang secara bersamaan mendukung dan
menentang kebijakan atau strategi advokasi tertentu. Mungkin juga terdapat
kesenjangan waktu antara saat taktik atau kampanye advokasi dilakukan
dan pencapaian perubahan kebijakan yang diinginkan, sehingga sulit untuk

menentukan sebab dan akibat.
Tidak mengherankan jika sebagian besar responden Survei Evaluasi APC

Aspen/UCSF (84 persen) melaporkan bahwa mereka menggunakan desain non-
eksperimental dan hanya 6 persen yang menggunakan desain eksperimental. Para
evaluator APC berpendapat bahwa upaya advokasi pada dasarnya tidak bisa
dilakukan melalui penyelidikan ilmiah yang lebih tradisional, dan menunjukkan
hubungan sebab-akibat antara taktik dan hasil adalah tugas yang hampir mustahil.
Oleh karena itu, komunitas evaluasi APC memegang teguh standar kontribusi dalam
hal atribusi dan pengumpulan bukti
hal ini menunjukkan bahwa inisiatif advokasi memainkan peran penting dalam
mencapai hasil yang diinginkan (Coffman 2014). Dengan cara yang sama, seperti
pendapat Bamberger dan yang lainnya, jika kondisinya memungkinkan, evaluator
mempunyai kewajiban untuk menanyakan tentang atribusi dan apa yang akan terjadi
jika tidak ada inisiatif (White 2013; Bamberger dkk. 2004).
Evaluator Steven Teles dan Mark Schmitt (2011, 39) dengan fasih menggambarkan
terbatasnya pilihan bagi evaluator APC: “Oleh karena itu, evaluasi advokasi harus
dilihat sebagai bentuk penilaian yang terlatih—sebuah keahlian dan pengetahuan
diam-diam—dan bukan sebagai metode ilmiah.” Namun, persoalan dalam menunjukkan
secara meyakinkan bahwa suatu program berhasil tidak hanya terjadi pada evaluasi
APC, dan evaluasi dapat menjadi “seni sekaligus sains” dalam lingkungan sosial
yang kompleks. Bidang evaluasi terus bergulat dengan validitas internal dan
memberikan bukti yang dapat dipercaya bahwa suatu program benar-benar melakukan
apa yang dimaksudkan, serta menghasilkan temuan evaluasi yang dapat
digeneralisasikan, atau validitas eksternal. Isu-isu ini lebih menonjol dalam evaluasi
APC. Menggunakan desain eksperimental atau uji coba kontrol acak (RCT), yang
merupakan “standar emas”, untuk menunjukkan inferensi adalah hal yang sulit dalam
kondisi apa pun dan terlebih lagi dalam konteks APC di mana intervensi bersifat
tersebar dan hasilnya tidak pasti. Mengembangkan temuan-temuan yang dapat
digeneralisasikan mungkin lebih informatif bagi para pemangku kepentingan yang
menginginkan temuan-temuan yang dapat ditindaklanjuti, namun hal ini bisa menjadi
pertanyaan yang sulit karena banyak inisiatif advokasi tidak dapat dilakukan dengan
pengambilan sampel secara acak dan identifikasi kelompok kontrol atau bahkan kelompok pembanding
Masalah validitas adalah bagian dari perdebatan yang lebih besar mengenai valid atau tidaknya
konsep validitas Campbellian, yang dikembangkan untuk penelitian belajar mengajar,

sesuai untuk digunakan dalam evaluasi program secara umum (Chen, Donaldson,
dan Mark 2011). Apakah masuk akal atau bahkan bertanggung jawab untuk
mendorong desain penelitian yang ketat dalam konteks di mana kemungkinan
pengujian hipotesis dibatasi oleh kompleksitas situasi dan kesulitan dalam
membedakan dampak intervensi dari faktor-faktor lain, seperti kerja sama berbagai
sekutu advokasi? untuk melobi pengesahan RUU tertentu? Atau, seperti halnya
dalam banyak konteks evaluasi, mungkin terdapat kendala anggaran, waktu, dan
data yang membahayakan kualitas pendekatan eksperimental dan mungkin
mengarah pada kesimpulan yang salah (Bamberger, Rugh, Church, dan Fort
2004) . Namun, jika pendekatan objektif dan kuantitatif dapat digunakan untuk
melihat efektivitas berbagai taktik advokasi dan memberikan informasi kepada strategi
advokasi dan/atau pemberi dana, maka pendekatan ini harus dipertimbangkan.
Kami juga memasuki perdebatan yang sedang berlangsung antara dua

paradigma yang membingkai penyelidikan sosial atau positivisme logis (satu
realitas, logika deduktif, dan pengujian hipotesis) versus konstruktivisme (realitas
ganda, logika induktif, dan pengalaman hidup), yang lebih memilih sudut pandang
pragmatis atau penggunaan kedua metode penyelidikan yang tepat sebagaimana
ditentukan oleh pertanyaan evaluasi (Christie dan Fleischer 2015).
Evaluasi APC cenderung condong ke arah yang terakhir, dengan menekankan
pentingnya perspektif advokat dan mengakui peran konteks dan banyak realitas
yang saling bersaing. Karena inisiatif APC dapat mencakup isu kekuasaan, kontrol,
dan keadilan sosial, evaluator memiliki kewajiban yang lebih besar untuk
mempertimbangkan perspektif subyektif para pemangku kepentingan dan
mengeksplorasi sinergi dalam mengembangkan metodologi yang kuat (Mertens dan
Hesse-Biber 2013). Praktik evaluasi mungkin merupakan kombinasi dari kedua
paradigma tersebut, dan evaluator menggunakan pendekatan hibrid atau pragmatis dalam desainnya
Lebih dari 24 persen responden Survei Evaluasi APC Aspen/UCSF 2014 mengatakan
bahwa mereka menggunakan desain eksperimen semu.
Untungnya, terdapat semakin banyak pilihan untuk mengatasi tantangan-
tantangan ini sehingga dapat menghasilkan temuan-temuan yang kredibel dan bermanfaat.
Pada tingkat desain, penerapan pendekatan metode campuran dan triangulasi
kegiatan pengumpulan data kualitatif dan kuantitatif akan sangat memperkuat temuan
evaluasi. Misalnya saja menggabungkan performa
pemantauan dan evaluasi real-time serta pendekatan Proses Penilaian Cepat (RAP)
dapat memberikan informasi kepada pemangku kepentingan tentang apa yang berhasil
dan apa yang tidak, serta memberikan gambaran yang jelas tentang taktik advokasi
serta proses dan hasil sebab akibat (Coffman 2014).
Bidang evaluasi telah memberikan banyak pilihan untuk melakukan triangulasi
komponen kuantitatif dan kualitatif, dengan alasan untuk menempatkan keduanya pada
posisi yang setara. Evaluator Sharlene Hesse-Biber (2013) merekomendasikan agar
evaluator mengembangkan keahlian mereka dalam menggabungkan kedua pendekatan
desain selama evaluasi, sehingga meningkatkan kredibilitas dan transparansi desain.
Demikian pula, Bamberger dkk. (2012) berargumentasi untuk tidak mengadu domba
metodologi kualitatif dan kuantitatif dan memasukkannya berdasarkan kelebihannya.
Misalnya, data wawancara kualitatif dapat membantu dalam interpretasi temuan
kuantitatif, seperti mengidentifikasi sejarah yang menjelaskan penolakan yang kuat
terhadap kebijakan tertentu.
Kedua, jika konteks evaluasi Anda mencakup teori perubahan program dan/atau
model logika, maka Anda berada pada posisi yang tepat untuk memantau kemajuan
dan pencapaian keluaran, hasil, dan dampak inisiatif serta menguji validitas hubungan
antara komponen-komponen model.
Hal ini juga merupakan sarana untuk menjelaskan mengapa hasil program tercapai
atau tidak tercapai dan memfokuskan evaluasi pada aspek-aspek utama inisiatif,
memperkuat desain dan implementasi inisiatif di masa depan (Bamberger dkk. 2012).
Demikian pula, dalam inisiatif yang penuh ketidakpastian dan perubahan, penting
untuk bersikap fleksibel dan memiliki teori perubahan atau model logika yang gesit dan
dapat dengan cepat beradaptasi dengan aspek-aspek yang muncul dalam inisiatif
advokasi dan perubahan kebijakan, termasuk revisi terhadap logika tersebut. model.
Dalam evaluasi multi-tahun, kami menyarankan agar dilakukan tinjauan tahunan
terhadap rencana evaluasi oleh para pemangku kepentingan untuk membahas
penyertaan hasil-hasil baru jika inisiatif telah mengarah ke arah yang baru dan apakah
akan melakukan penyelidikan baru yang memiliki minat tinggi atau tidak. namun belum
tentu tercakup dalam pertanyaan evaluasi atau keluaran model logika. Ini juga
merupakan saat yang tepat untuk mendiskusikan apa yang tidak berjalan dengan baik
atau tidak efektif. Misalnya, bekerja sama dengan media memerlukan banyak keahlian
dan waktu, dan manfaatnya mungkin tidak terlihat untuk beberapa waktu atau bahkan
tidak terlihat sama sekali (Gardner, Geierstanger, McConnel, dan Brindis 2010).
Yang pasti, desain eksperimental bukanlah hal yang mustahil.

Hal ini sangat bergantung pada sifat inisiatif dan apakah inisiatif tersebut dapat
dipisahkan dari pengaruh lain atau tidak. Misalnya, desain eksperimental dapat
digunakan untuk menilai kampanye media yang ditargetkan untuk meningkatkan
dukungan masyarakat terhadap referendum jika ada kelompok pembanding yang tidak
terkena kampanye tersebut. Organisasi yang menerima dana untuk mendukung direktur
kebijakan dapat dibandingkan dengan organisasi serupa yang tidak menerima dukungan
tersebut. Namun, inisiatif advokasi yang menyasar masyarakat secara lebih luas, seperti
mobilisasi masyarakat, dan pembangunan kemauan masyarakat
Kampanye mempunyai dampak yang tersebar luas, dan sulit, bahkan tidak mungkin,
untuk membedakan peserta dari yang bukan peserta.
Kedua, terdapat alternatif selain penugasan acak dan mengidentifikasi kelompok
kontrol, seperti membentuk kelompok pembanding atau menggunakan kelompok
advokasi yang tidak ada untuk membandingkan kelompok advokasi yang sebenarnya
untuk mengesampingkan penjelasan alternatif. Disebut sebagai “Survei dengan Placebo”
(SwP), pendekatan ini digunakan dengan beberapa keberhasilan oleh evaluator APC,
termasuk memasukkan organisasi pendukung plasebo dalam survei persepsi pembuat
kebijakan mengenai pengaruh kelompok advokasi terhadap hasil kebijakan pendidikan
tingkat negara bagian. Organisasi plasebo memiliki peringkat pengaruh yang lebih
rendah dari rata-rata dibandingkan organisasi advokat sebenarnya (Whitehurst dan
Struit 2014). Pendekatan lain untuk membangun kelompok pembanding adalah dengan
menggunakan pencocokan skor kecenderungan dan analisis regresi logistik dari survei
sampel yang cukup besar yang menargetkan populasi geografis yang sama dan
mencakup pertanyaan-pertanyaan yang menarik untuk menilai perubahan yang dapat
dikaitkan dengan inisiatif (Bamberger et al. 2012).
Selain itu, ada sejumlah cara untuk meningkatkan ketelitian desain non-
eksperimental yang tidak memiliki kelompok kontrol, seperti survei yang ditargetkan
hanya pada kelompok intervensi. Misalnya, instrumen survei yang memiliki validitas
konstruk yang tinggi dan mengukur apa yang ingin diukur, dan dilengkapi dengan
sampel informan yang cukup besar untuk mendapatkan kekuatan statistik yang
memadai, mungkin memiliki temuan yang lebih kuat mengenai dampak dibandingkan
survei yang dirancang dan dilaksanakan dengan buruk. termasuk kelompok kontrol.
Strategi lain untuk meningkatkan ketelitian adalah sebagai berikut.
Desain longitudinal, seperti perbandingan prates dan pascates dari peserta inisiatif
mungkin kurang teliti dibandingkan beberapa observasi selama
waktu atau perbandingan dengan kelompok kontrol. Oleh karena itu, jika jumlah sampel yang
kuat dapat dicapai dan dikombinasikan dengan pengumpulan data kualitatif, maka jumlah
tersebut mungkin cukup untuk menjawab pertanyaan evaluasi mengenai pelaksanaan
program dan dampak yang dirasakan.
Pengambilan sampel, meskipun merupakan masalah dalam inisiatif advokasi yang tidak
dapat digeneralisasikan dan/atau memiliki sejumlah kecil peserta, kebijakan, atau hasil,
memberikan peluang bagi evaluator APC untuk meningkatkan validitas temuannya.
Pengambilan sampel secara acak mungkin tidak dapat dilakukan karena berbagai alasan,
termasuk biaya, kecilnya jumlah populasi sasaran, dan/atau penekanan pada deskripsi
versus analisis analitis.
Namun hal ini mungkin dapat diterapkan dalam kampanye media atau acara politik berskala
besar, seperti debat kampanye, di mana kelompok pembanding dapat diidentifikasi. Ini adalah
area yang terus berkembang seiring evaluator mengembangkan pendekatan untuk bekerja
dengan sampel kecil, seperti desain sampel bertingkat dan pengambilan sampel klaster.
Pengambilan sampel nonrandom, terutama pengambilan sampel purposif, dan pemilihan
informan yang dapat memberikan pemahaman mendalam mengenai inisiatif ini akan terbukti
lebih informatif dibandingkan dengan pengambilan sampel acak yang berpotensi skewed dari
sejumlah kecil informan. Identifikasi kasus-kasus yang sesuai dengan berbagai skenario
dalam suatu inisiatif akan melindungi kita dari mengabaikan outlier serta memberikan
pemahaman yang komprehensif tentang inisiatif tersebut (Yin 2014; Bamberger dkk. 2012).
Demikian pula, menangkap dan menggambarkan hasil-hasil yang tidak diantisipasi adalah
hal yang tepat karena banyak konteks advokasi dan perubahan kebijakan yang bersifat
ketidakpastian. Teknik pengambilan sampel dapat diterapkan pada sumber data lain, seperti
laporan kemajuan penerima hibah, yang memberikan banyak pilihan bagi evaluator dan
pemangku kepentingan untuk menampilkan informasi yang berguna dan valid.
Pengumpulan data dasar mengenai budaya politik, lanskap kebijakan, dan target inisiatif
APC pada awal inisiatif advokasi dalam bentuk sistem Pemantauan, Evaluasi, dan
Pembelajaran (MEL) sangat dianjurkan. Namun, keterbatasan sumber daya dan sifat dinamis
suatu inisiatif dapat mengakibatkan terabaikannya isu-isu yang ternyata menjadi sangat
penting di kemudian hari. Pergeseran kerangka waktu, strategi, dan pencapaian dapat
menjadikan pendekatan MEL awal menjadi usang (Laney 2003). Namun, teknik untuk
merekonstruksi data dasar dengan menggunakan data sekunder mengenai
faktor sosioekonomi, analisis kebijakan yang dilakukan, wawancara retrospektif dan survei
terhadap para advokat dan pengambil keputusan, liputan media tentang isu dan peristiwa,
dan data Sistem Informasi Geografis (GIS), dapat digunakan untuk menciptakan kembali
kondisi di awal inisiatif melawan yang akan dibandingkan sambil mengatasi kesenjangan
dalam kegiatan pengumpulan data (Bamberger dkk. 2012).
Terakhir, jangan meremehkan kualitas dan kegunaan data sekunder —analisis kebijakan
yang dilakukan pada tahap perumusan kebijakan, sistem penelusuran legislatif dan catatan
pemungutan suara pembuat kebijakan, data proyek, data historis mengenai kondisi ekonomi,
data demografis dalam konteks budaya, dan liputan media. Informasi ini dapat berfungsi
sebagai indikator serta mengurangi kebutuhan untuk mengumpulkan beberapa jenis data
primer. Hal ini dapat digunakan untuk merekonstruksi data dasar ketika evaluasi dimulai
terlambat pada a
proyek. Terakhir, hal ini dapat digunakan dalam analisis kontribusi sebagai bagian dari bukti
bahwa taktik advokasi berkontribusi terhadap perubahan yang diinginkan, seperti kampanye
media yang ditujukan kepada para pembuat kebijakan yang kemudian mengubah posisi
mereka terhadap kebijakan tertentu.
Terlepas dari jenis desain dan strategi yang digunakan untuk meningkatkan ketelitian,
penting untuk mengidentifikasi dan mempertimbangkan penjelasan saingan dalam setiap
desain evaluasi. Misalnya, apakah ada pendukung lain yang tidak mendukung inisiatif ini
namun berperan penting dalam mencapai hasil program? Sejauh mana faktor kontekstual,
seperti krisis ekonomi yang terjadi secara tiba-tiba, bertanggung jawab atas hasil kampanye?
Di satu sisi, mendiskusikan penjelasan yang bertentangan dengan pemangku kepentingan

akan meningkatkan transparansi desain dan keterbatasannya, sehingga meningkatkan
kapasitas evaluasi dan dukungan.
Hal ini juga memperluas batasan evaluasi dan pertimbangan pertanyaan dan metode evaluasi
yang mungkin tidak disertakan.
Tantangan desain dan metodologi ini tidak hanya terjadi pada evaluasi APC, dan banyak
pemikiran telah diberikan untuk mengatasi tantangan ini di arena evaluasi lain yang kompleks
dan bergerak cepat. Michael Bamberger dan rekannya Jim Rugh dan Linda Mabry (2012)
mengembangkan tujuh langkah kerangka Evaluasi Dunia Nyata untuk mengatasi
keterbatasan anggaran, waktu, data, dan pengaruh politik yang menantang evaluasi di negara-
negara berkembang. Mereka menggambarkan sejumlah situasi yang sulit untuk dievaluasi
dan mempunyai kesamaan dengan inisiatif pembangunan demokrasi, seperti:
dampak program kredit mikro terhadap pemberdayaan perempuan di pedesaan.

Kerangka kerja tujuh langkah mereka menekankan pada klarifikasi penggunaan
hasil oleh pemangku kepentingan, sekaligus memberikan strategi praktis untuk
mengatasi kendala. Hal yang sangat penting dalam evaluasi APC adalah saran
untuk merekonstruksi data dasar, seperti kelompok fokus, catatan proyek, dan data
sekunder. Bamberger dkk. juga memberikan saran konkrit untuk memahami dan
memasukkan faktor-faktor politik, seperti aktor-aktor utama dan perspektif mereka,
serta mengembangkan pendekatan untuk mengatasi permasalahan politik yang
mungkin timbul selama evaluasi. Terakhir, mereka menyediakan berbagai desain
dan pendekatan statistik untuk meningkatkan validitas serta mengurangi biaya dan
meningkatkan efisiensi dalam pengumpulan data.
Singkatnya, rendahnya penggunaan desain eksperimental dan kuasi-

eksperimental oleh responden Survei Aspen/UCSF tidak berarti bahwa desain
yang ketat secara metodologis bukanlah praktik evaluasi APC yang standar: ada
beberapa pilihan untuk meningkatkan ketelitian desain dan instrumen Anda dan
menghasilkan temuan yang divalidasi. Selain itu, para pemangku kepentingan
tidak selalu mencari bukti “standar emas” mengenai efektivitas program.
Mereka berharap dapat mendokumentasikan bukti nyata untuk membantu
memandu strategi advokasi, memastikan kontribusi pemberi dana, dan memberikan
masukan bagi perencanaan strategis pemberi dana untuk upaya di masa depan.
Evaluator APC mempunyai banyak pilihan untuk memenuhi kebutuhan informasi
ini dan menghasilkan temuan yang kredibel dan berguna. Namun, mereka harus
memiliki pengetahuan tentang inisiatif advokasi dan jenis atau aspek inisiatif apa
yang dapat dijadikan rancangan percobaan, sehingga dapat menentukan
kesesuaian metode tersebut dengan pertanyaan evaluasi. Selain itu, mereka
perlu mengkomunikasikan secara efektif ancaman terhadap validitas seluruh aspek evaluasi.
Waktu Evaluasi
Penentuan waktu evaluasi APC memberikan perbedaan besar terhadap kualitas
teknis desain dan kegunaan temuan. Meskipun melakukan evaluasi program
prospektif atau retrospektif pada titik tengah merupakan praktik standar untuk
program yang memiliki rangkaian masukan, kegiatan, keluaran, dan hasil yang
relatif jelas, hal ini dapat sangat melemahkan kegunaan evaluasi dalam situasi
yang bergerak cepat. Inisiatif APC. Jika memungkinkan, cobalah untuk melakukan
evaluasi sebelum dimulainya advokasi
inisiatif dan menyiapkan sistem pelaporan yang melaporkan temuan secara real time.
Metode Evaluasi Cepat (RE), seperti Penelitian Tindakan Partisipatif (PAR), Proses
Penilaian Cepat (RAP), dan Penilaian Cepat, Penelitian, dan Evaluasi (RARE), yang
efektif di negara-negara berkembang dan di mana sumber daya dan waktu terbatas,
sangat dapat diterapkan dalam konteks yang berkembang pesat ini. Dengan menggunakan
strategi kerja lapangan berbasis tim, pendekatan ini dapat digunakan untuk menjawab
pertanyaan evaluasi perkembangan, formatif, dan sumatif, memberikan perspektif orang
dalam dan mengidentifikasi masalah yang muncul atau tidak terduga (I-TECH 2008).
Alasan kedua untuk terjun ke lapangan adalah agar temuan evaluasi dapat diterapkan
pada praktik advokasi selama inisiatif atau kampanye berlangsung. Pemantauan
memastikan keselarasan tujuan penyandang dana dan strategi advokasi sambil
memberikan panduan mengenai strategi. Salah satu skenario evaluasi adalah
menggabungkan pendekatan prospektif yang mendokumentasikan tolok ukur dan
mengukur kemajuan suatu proyek pada awal upaya advokasi, dengan evaluasi retrospektif
yang berfokus pada hasil (Guthrie, Louie, David, dan Foster 2005). Pembelajaran di sini
bisa menjadi signifikan, termasuk pemahaman tentang apa yang berhasil dan apa yang
tidak.
Selain itu, Anda mempunyai keuntungan taktis karena pengumpulan informasi dari aktor
dan advokat politik akan lebih mudah karena Anda telah membina hubungan dengan
mereka.
Tantangan lainnya adalah tidak adanya kerangka waktu evaluasi yang cukup panjang
dan tidak adanya kesempatan untuk mengkaji dampak jangka panjang dari suatu inisiatif.
Namun, tidak selalu jelas kapan suatu inisiatif benar-benar berakhir. Titik akhir yang
optimal adalah ketika keberlanjutan telah tercapai dan penerima hibah mampu
mempertahankan taktik advokasi dan kemitraan setelah inisiatif selesai (Carden 2004).
Mengantisipasi titik akhir proyek yang tidak pasti dan mengumpulkan data selama inisiatif
berlangsung setidaknya akan memberikan landasan yang kuat untuk evaluasi retrospektif
yang ketat di kemudian hari.
Evaluator sebagai Advokat
Praktik evaluasi APC pada dasarnya tidak netral atau apolitis. Hal ini dapat terjadi di arena
yang penuh tantangan dan berisiko tinggi, di mana lawannya bisa sangat sengit dan
taruhannya bisa besar. Evaluator tidak dapat menganggap dirinya sebagai pengamat yang
sepenuhnya obyektif tanpa adanya kepentingan atau kepentingan dalam hal tersebut
prakarsa. Meskipun tidak bertugas mempengaruhi perumusan, pengesahan, dan implementasi
kebijakan, hampir tidak mungkin memisahkan evaluasi APC dari politik dan interaksi antar aktor
politik. Ada konsensus dalam komunitas evaluasi APC bahwa evaluasi harus memberikan
informasi kepada penerima hibah dan advokasi strategi dan taktik, baik dalam tahap
perencanaan dan pelaksanaan. Namun, orientasi layanan ini disertai dengan tanggung jawab
yang besar di pihak evaluator untuk menjaga integritas pekerjaan mereka, serta menavigasi
situasi politik ini dengan kebijaksanaan dan kepekaan terhadap kebutuhan pemangku
kepentingan. Evaluator harus mematuhi standar praktik evaluasi yang tinggi, seperti
menggunakan proses penjaminan mutu dan menyimpan catatan yang menunjukkan bahwa
metode evaluasi yang tepat telah digunakan, sekaligus mengakui potensi peran mereka sebagai
advokat meskipun hal tersebut sangat bersinggungan. Mereka juga perlu memaksimalkan daya
tanggap evaluator terhadap aktor politik dan konteks mereka, termasuk melindungi kerahasiaan
informasi tertentu dan memberikan laporan tertulis yang berimbang dan jelas (Mohan dan
Sullivan 2006). Prinsip Panduan AEA untuk Evaluator,
khususnya kebutuhan untuk memberikan perhatian khusus pada aturan perilaku etis, sangat
membantu dalam hal ini:
Evaluator harus mematuhi etika, standar, dan peraturan profesional terkini

mengenai risiko, kerugian, dan beban yang mungkin menimpa mereka yang
berpartisipasi dalam evaluasi; mengenai persetujuan untuk berpartisipasi
dalam evaluasi; dan mengenai memberi tahu peserta dan klien tentang ruang
lingkup dan batasan kerahasiaan. (AEA 2011)
Kami tidak ingin meremehkan dua tantangan abadi lainnya dalam praktik evaluasi APC:
kapasitas evaluasi penerima hibah yang terbatas atau tidak ada sama sekali, dan kendala
sumber daya. Namun, advokasi dan evaluasi perubahan kebijakan telah berkembang,
memberikan pendekatan baru untuk meminimalkan atau menghindari tantangan-tantangan ini.
Misalnya, penerapan pendekatan teori perubahan untuk merinci strategi advokasi membantu
membentuk kembali strategi dan harapan penyandang dana.
Alat penilaian kapasitas organisasi dan pendekatan evaluasi pembangunan menyediakan
sarana untuk memperkuat kapasitas evaluasi advokat.
Topik-topik ini dibahas lebih lengkap di Bab 6.
Bidang evaluasi APC terus bergulat dengan banyak tantangan ini untuk mengembangkan
desain evaluasi yang gesit dan teliti yang mampu

mengantisipasi hal-hal yang tidak terduga dan memenuhi kebutuhan advokasi dan
penyandang dana yang terkadang berbeda. Terdapat strategi dan sumber daya yang kuat
untuk mengatasi tantangan-tantangan ini, namun bagi banyak evaluator, berbagi strategi
dan model dalam kehidupan nyata adalah hal yang “menjadi kebutuhan utama”. Pada bagian
selanjutnya, kami fokus pada praktik evaluasi dan mendiskusikan temuan dari Aspen/
Survei Evaluasi APC UCSF mengenai pendekatan desain evaluasi yang digunakan,
dilanjutkan dengan pemeriksaan dan perbandingan dua kasus evaluasi, Let Girls Lead dan
Initiative to Support Sustainable and Equitable Transportation.
PRAKTEK EVALUASI: PENDEKATAN DESAIN
DIGUNAKAN OLEH EVALUATOR APC
Temuan dari Survei Evaluasi APC Aspen/UCSF menunjukkan bahwa rata-rata evaluator
APC biasanya menggunakan empat atau lebih pendekatan dalam praktik evaluasi APC
mereka, meskipun tidak harus semuanya sekaligus. Ketika kita melihat lebih dekat pada
pendekatan evaluasi yang “digunakan” lebih sering oleh evaluator APC dibandingkan yang
lain, kita melihat bahwa pendekatan tersebut menggunakan pendekatan yang mendukung
pembelajaran berkelanjutan di tingkat advokasi dan sponsor, menguatkan pengamatan
bahwa pemangku kepentingan menginginkan informasi yang berguna dan mereka sering
menginginkannya, atau pemantauan kinerja (64 persen), evaluasi partisipatif (62 persen),
dan pelacakan proses (55 persen). Seperti dijelaskan pada Tabel 3.1, pendekatan evaluasi
yang bekerja dalam lingkungan yang kompleks, bergerak cepat, dan berubah-ubah sering
digunakan, seperti pendekatan berpikir sistem (61 persen), evaluasi perkembangan (61
persen), dan pendekatan evaluasi dan penilaian cepat secara real-time ( 46 persen).
Peringkat analisis kontribusi tingkat menengah (37 persen) menunjukkan bahwa

evaluator mulai mencermati hubungan sebab akibat dan memvalidasi strategi program serta
menentukan mana yang berhasil dan mana yang tidak.
Kita hanya bisa berspekulasi mengenai dua pendekatan yang jarang digunakan, yaitu
penyelidikan apresiatif dan evaluasi berbasis pemberdayaan, yang masing-masing
berjumlah 29 persen dan 22 persen. Hal ini sejalan dengan cita-cita kebijakan dan inisiatif
advokasi perubahan kebijakan, namun sejauh ini daya tariknya masih terbatas. Rendahnya
atau tidak adanya penggunaan metode eliminasi umum mungkin mencerminkan kurangnya
keahlian dalam menggunakan pendekatan ini atau terbatasnya kesempatan untuk menggunakannya.
Kami merasa hasilnya cukup mewakili kondisi praktik evaluasi APC saat ini.
Evaluator APC adalah pengguna awal yang menggunakan pendekatan yang mengatasi
tantangan kompleksitas, seperti perspektif pemikiran sistem. Bekerja sama dengan
pemangku kepentingan merupakan prioritas utama, mulai dari pengembangan kemitraan
kerja hingga pemberdayaan pemangku kepentingan untuk berperan sebagai mitra
dalam evaluasi. Terakhir, perbedaan pendekatan yang digunakan oleh responden
survei mungkin menunjukkan pendekatan yang mungkin kurang dapat diterapkan pada
evaluasi APC dan/atau bidang pertumbuhan yang memungkinkan. Meskipun terdapat
temuan yang ambigu, kami dapat mengatakan dengan yakin bahwa penilai APC
mempunyai pilihan yang tepat untuk dipilih dan mereka menggunakannya.
Melalui perbandingan dua desain evaluasi yang serupa, kami menyelidiki bagaimana
temuan survei ini berperan dalam praktik evaluasi dan apakah terdapat keselarasan
antara apa yang menurut para evaluator telah mereka lakukan dan apa yang sebenarnya
mereka lakukan.
PRAKTEK EVALUASI:
DUA KASUS EVALUASI
Meskipun bukan merupakan resep untuk keberhasilan desain evaluasi, akan sangat
membantu jika kita melihat bagaimana para evaluator advokasi dan inisiatif perubahan
kebijakan memadukan dan mencocokkan berbagai komponen desain, bermitra dengan
pemangku kepentingan, dan mengatasi keterbatasan sumber daya dan waktu. Untuk
bab ini, kami membandingkan desain evaluasi dari dua inisiatif advokasi dan perubahan
kebijakan yang sangat berbeda: evaluasi program Let Girls Lead, sebuah program
peningkatan kapasitas bagi para pemimpin dewasa yang mengadvokasi hak-hak
remaja perempuan di Liberia, Gua-temala, Honduras , dan Malawi; dan evaluasi Inisiatif
Mendukung Transportasi Berkelanjutan dan Berkeadilan (selanjutnya disebut Inisiatif
Transportasi). Kedua inisiatif ini bertujuan untuk memperkuat kapasitas masyarakat
sipil namun menggunakan mekanisme perubahan yang berbeda: model Let Girls Lead
membangun jaringan advokasi global yang menerima pelatihan untuk mengadvokasi
kemenangan kebijakan tertentu di tingkat nasional atau lokal; Inisiatif Transportasi
menargetkan RUU Reotorisasi Transportasi Permukaan federal sambil mendukung
upaya kebijakan tingkat negara bagian dan menciptakan efek riak serta memajukan
dialog mengenai transportasi di Amerika Serikat.
Dilakukan pada tahun 2013, menjelang akhir lima tahun pertama Let
Tabel 3.1. Pendekatan Evaluasi yang Paling Sering Digunakan oleh Aspen/
Responden Survei APC UCSF
Persen dari
Responden
yang mengatakan
Pendekatan Evaluasi (*tidak saling eksklusif)
mereka
menggunakan
pendekatan tersebut
Pemantauan kinerja – Melacak kinerja upaya advokasi dalam hal 64%
keluaran dan hasil, termasuk mengidentifikasi tolok ukur atau indikator kemajuan
dan melacaknya secara berkala.
Evaluasi partisipatif – Bermitra dengan berbagai pemangku kepentingan— 62%
seperti advokat, penyedia layanan, dan pengguna akhir layanan—dalam

mengembangkan evaluasi (seperti tujuan dan desain) dan dalam semua fase
implementasinya.
Pemikiran sistem – Menggunakan elemen teori sistem untuk mengevaluasi 61%
bagaimana inisiatif advokasi melakukan intervensi dalam sistem sosial. Suatu sistem
didefinisikan sebagai konfigurasi bagian-bagian yang saling berinteraksi dan saling
bergantung yang terhubung melalui jaringan hubungan, membentuk suatu keseluruhan
yang lebih besar daripada jumlah bagian-bagiannya.
Evaluasi perkembangan – Diciptakan oleh Michael Quinn Patton, pendekatan ini 61%
menampilkan hubungan jangka panjang seperti mitra antara evaluator dan pihak yang
menerapkan strategi yang sedang dievaluasi, termasuk seringnya penggunaan
umpan balik untuk pengembangan inisiatif advokasi yang berkelanjutan.
Pelacakan proses – Menelusuri proses sebab akibat dan memeriksa peran hasil 55%
sementara dan variabel intervensi dalam sebab akibat

urutan.
Evaluasi waktu nyata dan penilaian cepat – Mengumpulkan data secara 46%
sistematis, biasanya menggunakan metode campuran, seiring dengan semakin

intensifnya upaya advokasi. Data ini biasanya disampaikan kembali kepada para
advokat untuk penyesuaian strategi dan taktik advokasi.
Analisis kontribusi – Menentukan apakah suatu kasus dapat dibuat kredibel bahwa 37%
upaya advokasi berkontribusi terhadap hasil atau dampak terkait kebijakan.

Tabel 3.1. Pendekatan Evaluasi yang Paling Sering Digunakan oleh Aspen/
Responden Survei UCSF APC (lanjutan)
Persen dari
Responden
yang mengatakan
Pendekatan Evaluasi (*tidak saling eksklusif)
mereka
menggunakan
pendekatan tersebut
Penyelidikan apresiatif – Suatu proses yang menggali, mengidentifikasi, dan 29%
mengembangkan lebih jauh hal-hal terbaik yang ada dalam suatu organisasi untuk
menciptakan masa depan yang lebih baik, yang biasanya mencakup rancangan kolektif
dengan pemangku kepentingan terkait mengenai seperti apa keadaan masa depan yang diinginkan.
Evaluasi berbasis pemberdayaan – Menggunakan konsep, teknik dan temuan 22%
evaluasi untuk mendorong perbaikan dan penentuan nasib sendiri di

antara kelompok sasaran utama, yang dapat berupa peningkatan kapasitas mereka untuk
merencanakan, melaksanakan dan mengevaluasi advokasi mereka sendiri.
Metode eliminasi umum – Mengumpulkan bukti untuk menghilangkan penjelasan 0%
alternatif atau tandingan mengenai dampak sampai diperoleh penjelasan yang paling
meyakinkan, yang mungkin terkait atau tidak dengan inisiatif advokasi yang sedang
dievaluasi.
Sumber: Program Perencanaan dan Evaluasi Aspen, The Aspen Institute.
Inisiatif Girls Lead, tim evaluasi eksternal ditugaskan untuk menilai efektivitas
program, menangkap bagian dari cerita Let Girls Lead, dan memberikan
panduan kepada kelompok lain. Para evaluator mengembangkan evaluasi
dengan metode campuran di empat negara dengan empat pertanyaan
evaluasi sumatif: (1) Bukti apa yang menunjukkan kontribusi Let Girls Lead
terhadap hasil-hasil advokasi dan kebijakan utama yang bertujuan untuk
meningkatkan kesehatan, pendidikan, penghidupan remaja perempuan, dan
hak asasi manusia? (2) Perbedaan apa saja yang dibuat Let Girls Lead
dalam kehidupan remaja perempuan yang terlibat dalam inisiatif ini? (3)
Bukti apa yang menunjukkan kontribusi Let Girls Lead terhadap peningkatan
kapasitas advokasi Fellows, organisasi mereka, dan jaringan yang didukung
oleh Let Girls Lead? dan (4) Apakah model Let Girls Lead menjadi katalisator
upaya advokasi dan perubahan kebijakan? Jika ya, bagaimana hal ini dicapai?
Evaluasi Inisiatif Transportasi mempunyai tiga tujuan: (1)
pembelajaran dan perbaikan sepanjang masa inisiatif untuk mendukung pencapaian

hasil inisiatif; (2) akuntabilitas atas dana yang diinvestasikan dalam inisiatif ini; dan (3)
kontribusi pengetahuan dalam kebijakan transportasi, advokasi, dan filantropi serta
bidang evaluasi sebagai barang publik. Evaluasi dilakukan antara tahun 2011 dan 2013
dan dilaksanakan dalam dua tahap. Fase pertama mencakup evaluasi sumatif
retrospektif terhadap inisiatif reformasi kebijakan federal. Untuk tahap kedua, para
evaluator melakukan desain evaluasi formatif untuk pekerjaan di tingkat negara bagian
sejak masih dalam tahap awal, termasuk komponen pemantauan untuk
menginformasikan keputusan strategi yayasan.
Kedua kasus tersebut menggambarkan banyak prinsip dan tantangan desain

evaluasi yang dibahas di atas, khususnya perlunya bersikap pragmatis dan
memanfaatkan prinsip dan pendekatan evaluasi konvensional. Tim evaluasi di kedua
konteks mengambil langkah-langkah untuk memahami dan peka terhadap dampak yang mungkin terjadi.
konteks vokal dan perubahan kebijakan. Evaluator Let Girls Lead bekerja dengan
evaluator nasional yang lebih memahami konteks, fasilitas bahasa, dan akses lebih
baik terhadap pembuat kebijakan, serta kemampuan melakukan perjalanan ke tempat-
tempat terpencil untuk mewawancarai pemimpin desa, remaja perempuan, dan
pemangku kepentingan lainnya. Evaluator nasional berfokus pada pendokumentasian
bukti kontribusi Let Girls Lead terhadap hasil advokasi dan kebijakan, serta kontribusinya
terhadap pengembangan kapasitas bagi Fellows dan organisasi serta jaringan mereka.
Para evaluator Inisiatif Transportasi bermitra dengan pakar transportasi dan
mengorganisir kelompok referensi evaluasi untuk memberikan bantuan terhadap
kebijakan transportasi federal. Terakhir, evaluator di kedua konteks bekerja sama
dengan penyandang dana untuk memeriksa desain evaluasi dan memberikan informasi
bagi strategi klien ke depan, memberikan rekomendasi untuk meningkatkan keberhasilan
program serta menyempurnakan aspek program untuk meningkatkan efektivitasnya.
Pada tingkat desain, kedua tim evaluasi memasukkan teori perubahan dan evaluator
mengembangkan model logika yang terkait dengan pertanyaan evaluasi, meskipun
evaluator dari Inisiatif Transportasi memasukkan aktivitas untuk menguji hubungan
sebab akibat. Para evaluator Inisiatif Transportasi juga mengembangkan model logika
individual untuk setiap hibah di tingkat negara bagian, dengan menggabungkan
strategi dan hasil untuk memastikan bagaimana komponen negara akan mencapai
hasil-hasilnya.
Ada beberapa kesamaan dalam metode yang digunakan. Kedua evaluasi tersebut
Tanda-tandanya menggunakan wawancara dan instrumen survei, meskipun keduanya

digunakan untuk tujuan yang berbeda. Instrumen wawancara Inisiatif Transportasi
berfokus pada persepsi mengenai peran hibah, pencapaian hasil, kapasitas, dan
manfaat. Para evaluator mensurvei penerima hibah dan mengumpulkan data kuantitatif
tentang kemajuan, kapasitas koalisi dan organisasi, serta kebutuhan masa depan. Tim
evaluasi Let Girls Lead mensurvei Let Girls Lead Fellows mengenai persepsi mereka
mengenai kontribusi dan efektivitas program dalam mencapai perubahan kebijakan,
faktor pendukung, dan tantangan. Mereka juga mewawancarai pemangku kepentingan
utama, termasuk rekan-rekan, staf, pelatih, dan perwakilan Yayasan PBB, mengenai
manfaat dan efektivitas kegiatan program tertentu yang mereka rasakan. Kedua tim
evaluasi tersebut melakukan review dokumen, termasuk dokumentasi program
meskipun untuk tujuan yang berbeda. Evaluator Let Girls Lead menyertakan tinjauan
dokumen dalam analisis kontribusinya dan verifikasi kontribusi program terhadap satu
atau dua hasil advokasi dan kebijakan per negara. Para evaluator Inisiatif Transportasi
meninjau dan memberi kode pada dokumentasi program internal dan meninjau data
sekunder, seperti liputan media dan bahasa serta status RUU, untuk memvalidasi
temuan dan klaim dampak.
Kedua kasus evaluasi ini juga menunjukkan fleksibilitas dan kemauan evaluator
untuk memadukan dan mencocokkan pendekatan konvensional sambil memasukkan
pendekatan-pendekatan yang baru muncul. Tim evaluasi Let Girls Lead menggunakan
analisis kontribusi, khususnya wawancara, tinjauan dokumen, dan teknik Perubahan
Paling Signifikan (MSC) untuk menilai peran program dalam mencapai hasil advokasi
dan kebijakan utama yang bertujuan untuk meningkatkan kesejahteraan remaja
perempuan. kesehatan, pendidikan, mata pencaharian, dan peningkatan kapasitas hak
asasi manusia dan advokasi untuk Fellows. Para evaluator Inisiatif Transportasi
menggunakan pendekatan penyelidikan apresiatif, dengan mengandalkan persepsi
terhadap perubahan paling signifikan untuk mengevaluasi hibah komunikasi, yang
memiliki hasil yang kurang jelas dibandingkan dua komponen lainnya.
Kedua evaluasi tersebut menghadapi tantangan yang sama atau meluncurkan
evaluasi di akhir inisiatif dan memiliki jangka waktu yang singkat untuk melaksanakan
berbagai kegiatan pengumpulan data. Evaluasi Let Girls Lead dilakukan pada tahun
kelima program dan memakan waktu enam bulan
untuk merencanakan, mengumpulkan data, dan mengembangkan rancangan laporan. Kedua

fase Inisiatif Transportasi masing-masing memakan waktu sekitar enam bulan, dengan
beberapa komponen yang tumpang tindih di tingkat federal, negara bagian, dan lokal.
Meskipun para evaluator dari kedua inisiatif mengumpulkan data mengenai serangkaian
pertanyaan evaluasi formatif dan sumatif, keduanya bergulat dengan keterbatasan model
yang bersifat point-in-time, seperti melakukan evaluasi dalam lingkungan politik yang tidak dapat diprediksi.
Misalnya, otorisasi ulang RUU Transportasi Darat federal tidak terjadi pada saat komponen
evaluasi federal dilakukan.
Ada juga tantangan terhadap validitas dalam kedua konteks tersebut. Kompleksitas
dan cakupan arena kebijakan transportasi serta permasalahannya sendiri menghalangi
pengumpulan data yang komprehensif, serta akses terhadap pembuat kebijakan.
Tim evaluasi Let Girls Lead harus menghadapi keterbatasan dalam
data yang dapat digunakan untuk melakukan triangulasi temuan, serta perbedaan bahasa
yang membatasi distribusi temuan secara lebih luas, meskipun hal ini meningkatkan akses
tim ke pemangku kepentingan. Terlepas dari keterbatasan ini, pembelajaran dari kedua
evaluasi ini lebih luas dari sekedar efektivitas program, termasuk mendokumentasikan
kontribusi inisiatif dan model Let Girls Lead terhadap hasil kebijakan tertentu dan penilaian
terhadap peran komponen reformasi federal dalam Inisiatif Transportasi dan hubungannya.
hingga portofolio kapasitas advokasi dan hibah perubahan kebijakan tingkat negara bagian.
(Silakan lihat Lampiran A untuk deskripsi kedua kasus evaluasi tersebut.)
Singkatnya, kedua hal ini merupakan inisiatif advokasi dan perubahan kebijakan yang
sangat berbeda, namun evaluasi keduanya memiliki kesamaan dalam desain, metode, dan
penekanan pada pembelajaran klien. Evaluasi tersebut memiliki keterbatasan serupa, yaitu
tantangan terhadap validitas dan keterbatasan waktu. Meskipun inisiatif-inisiatif ini dan
evaluasinya tidak memperhitungkan berbagai skenario yang mungkin dihadapi oleh
evaluator, namun sebagian besar inisiatif tersebut mencerminkan temuan mengenai
pendekatan yang digunakan oleh sebagian besar responden Survei Aspen/UCSF pada
Tabel 3.1 di atas, termasuk penggunaan evaluasi partisipatif. desain yang berfokus pada
kinerja dan pemberi dana serta kontribusi program. Namun, terdapat beberapa perbedaan
mendasar dalam kedua inisiatif tersebut, yang menghalangi pendekatan desain evaluasi
yang bersifat universal. Para evaluator beragam
dan mencocokkan serangkaian pendekatan dan metode evaluasi yang serupa agar sesuai
dengan konteks khusus mereka, yang lebih dari biasanya.
KESIMPULAN
Fondasinya telah diletakkan dimana terdapat banyak pendekatan yang sudah ada dan
beberapa pendekatan baru terhadap desain evaluasi yang dapat dikombinasikan dalam
berbagai cara. Walaupun prinsip-prinsip dan strategi desain evaluasi tradisional akan
mengatasi banyak tantangan yang ditimbulkan oleh inisiatif APC, kami menyarankan agar
kita bersikap terbuka untuk mengadaptasi pendekatan dan kerangka kerja yang baru dan
mungkin belum teruji. Secara umum, rancangan APC bersifat non-eksperimental atau kuasi-
eksperimental, dan mengandalkan triangulasi dan penggunaan pendekatan konvensional
dan baru, khususnya pemantauan kinerja dan penggunaan analisis kontribusi untuk
memvalidasi temuan. Menyeimbangkan ketelitian dan refleksi sulit dilakukan dalam situasi
apa pun dan model evaluasi kemitraan Anda akan sangat menentukan bagaimana
ketegangan ini diselesaikan.
Dalam kebanyakan kasus, desain evaluasi bergantung pada kebutuhan informasi pemangku
kepentingan dan kemampuan untuk menyesuaikan evaluasi terhadap perubahan lingkungan.
Seperti yang diilustrasikan dalam dua kasus evaluasi kami, rancangan evaluasi advokasi dan
perubahan kebijakan telah mengalami banyak kemajuan, dari hanya berfokus pada hasil
proses jangka pendek, hingga menggabungkan pendekatan-pendekatan berbeda untuk
menentukan efektivitas program dan kontribusi program terhadap pencapaian kebijakan
tertentu.
Pada Bab 4, kami mengkaji rincian desain evaluasi dan meninjau berbagai metode,
hasil, dan ukuran yang digunakan oleh evaluator APC dengan keberhasilan yang baik.
BAB 4
HASIL DAN METODE ADVOKASI

DAN EVALUASI PERUBAHAN KEBIJAKAN
PERKENALAN
Dipandu oleh temuan Survei Evaluasi APC Aspen/UCSF 2014 mengenai metode
yang paling sering digunakan oleh evaluator advokasi dan perubahan kebijakan
(APC) dan metode yang digunakan dalam enam kasus evaluasi, kami meninjau
sejumlah besar metode evaluasi, hasil, dan langkah-langkah yang sedang
dilakukan. digunakan oleh evaluator APC dalam berbagai situasi. Metode evaluasi
konvensional dan baru yang berguna ditekankan, seperti studi kasus, serta
metode dan alat unik yang telah dikembangkan secara khusus untuk mengevaluasi
inisiatif advokasi dan perubahan kebijakan dan yang digunakan di lapangan.
Banyak dari instrumen dan langkah-langkah ini telah disusun menjadi perangkat
yang mudah digunakan, yang telah didistribusikan secara luas dan tersedia bagi
para advokat, evaluator, dan pemberi dana. (Silakan lihat Lampiran B untuk
daftar alat dan perangkat ini.)
Karena pemilihan metode seringkali berasal dari teori perubahan atau model
logika, kami mendiskusikan pro dan kontra mengembangkan dan bekerja dengan
teori perubahan program dan/atau model logika. Meskipun hal ini terkadang
menjadi isu yang kontroversial, ada manfaatnya mengembangkan pemahaman
bersama tentang bagaimana suatu inisiatif bekerja dan/atau menggunakan
serangkaian hasil yang berurutan untuk memandu desain evaluasi dalam konteks
inisiatif advokasi dan perubahan kebijakan. Kami juga mendiskusikan strategi untuk mengatasi
mengatasi keterbatasan pendekatan teori perubahan/model logika, seperti nonlinieritas

inisiatif APC.
Karena identifikasi langkah-langkah untuk memantau kemajuan dan menilai
efektivitas program merupakan hal yang melekat dalam pembahasan metode, kami
memberikan gambaran singkat untuk memilih atau mengembangkan langkah-langkah
yang bermakna dan tepat. Evaluator APC telah mengidentifikasi serangkaian tindakan
yang kuat (juga disebut sebagai indikator) yang ditargetkan untuk hasil tertentu.
Tantangannya adalah memilih solusi yang layak, sesuai dengan hasil yang ditargetkan
oleh sebuah inisiatif, dan informatif bagi para pemangku kepentingan.
Untuk mengatur metode, instrumen, dan langkah-langkah ini, kami menggunakan
kerangka model logika, dimulai dengan masukan atau sumber daya yang diperlukan,
diikuti dengan keluaran dan hasil yang dihasilkan dari masukan tersebut, dan diakhiri
dengan evaluasi dampak dari inisiatif advokasi dan perubahan kebijakan terhadap
sistem. , kehidupan individu, norma sosial, dan perluasan ruang demokrasi.
Terakhir, kami menjelaskan temuan survei Aspen/UCSF mengenai metode yang
digunakan dan tidak digunakan, dan kami melanjutkan pemeriksaan praktik evaluasi
APC, membandingkan desain dan metode dari dua evaluasi advokasi dan perubahan
kebijakan: Kampanye Konservasi Lahan Internasional dan Kampanye Oxfam GROW .
Kedua evaluasi tersebut berfokus pada permasalahan penggunaan lahan, khususnya
konservasi hutan dan penggunaan lahan pertanian, dan keduanya memiliki fokus
internasional. Secara khusus, kami tertarik pada metode yang digunakan oleh
evaluator dalam desain evaluasi titik tengah ketika hasil inisiatif masih diupayakan
dan pembelajaran strategis merupakan prioritas utama.
MENGEMBANGKAN PROGRAM TEORI PERUBAHAN

DAN/ATAU MODEL LOGIKA
Saat ini, terdapat konsensus yang baik di antara para evaluator APC mengenai
pengembangan dan penggunaan teori perubahan program, dan/atau model logika
sebagai bagian dari desain evaluasi perubahan kebijakan dan advokasi. Misalnya,
mayoritas responden Survei Evaluasi APC Aspen/UCSF menyatakan bahwa mereka
telah menggunakan teori perubahan (98 persen) dan model logika atau kerangka log
(96 persen) dalam praktik evaluasi APC dan menganggapnya sangat berguna. Para
pendukungnya berpendapat bahwa teori program tentang bagaimana inisiatif advokasi
dan kebijakan mencapai hasil sangat penting untuk mengembangkan desain dengan
hasil dan indikator yang sesuai. Ada pula yang mengatakan
Hasil dan Metode Advokasi dan Evaluasi Perubahan Kebijakan 99
bahwa inisiatif advokasi dan proses perubahan kebijakan terlalu sulit untuk
diprediksi sehingga tidak bisa memberikan satu penjelasan pasti mengenai cara
kerja suatu program serta urutan masukan, kegiatan, dan hasil yang berurutan.
Inisiatif advokasi yang bergerak cepat dan bersifat perkembangan dan terus
berkembang mungkin tidak akan pernah mencapai kondisi stabil selama periode
penilaian, seperti strategi koalisi untuk mendukung reformasi kebijakan federal
yang tidak pernah terwujud. Hal ini mungkin benar, dan tidak disarankan untuk
memaksakan rantai hasil yang tidak memiliki dasar nyata atau terlalu meremehkan
kompleksitas suatu inisiatif. Namun, logika “model logika” dapat membantu
menjelaskan jenis sumber daya yang dimanfaatkan dan setidaknya beberapa
strategi yang dikembangkan untuk mencapai hasil yang diinginkan.
Pertanyaan bagi evaluator APC adalah apakah fokus pada mekanisme sebab-
akibat atau hubungan antara masukan, kegiatan, keluaran, dan hasil dapat
dilakukan dan/atau diinginkan. Apakah teori perubahan penting untuk menentukan
efektivitas suatu program? Apakah kondisinya kondusif untuk mengembangkan
teori perubahan? Jika jawaban atas kedua pertanyaan ini adalah “ya”, maka ada
banyak sumber daya yang dapat digunakan untuk membantu Anda dalam
perjalanan Anda. Teori-teori perubahan kebijakan yang diuraikan dalam Bab 2
harus ditinjau kembali. Mereka memberikan titik awal yang tepat untuk membangun
teori perubahan. Dengan menggali literatur penelitian ilmu politik dan kebijakan
publik akan membantu memberikan panduan mengenai jenis bukti yang dapat
digunakan untuk menunjukkan hubungan sebab akibat yang dihipotesiskan.
Selain itu, Kerangka Strategi Advokasi, yang dikembangkan oleh Julia Coffman,
merupakan langkah awal yang berguna dalam mengembangkan teori perubahan.
Sebagaimana dijelaskan secara lebih rinci di Bab 5 tentang metode unik,
kerangka kerja ini memetakan taktik ad-vokasi tertentu sesuai dengan perubahan
yang diinginkan dan target audiens (Coffman dan Beer 2015).
Bidang evaluasi juga telah mencapai kemajuan yang signifikan dalam
mengembangkan pendekatan evaluasi berbasis teori, seperti evaluasi realis dan
pengumpulan informasi tentang hubungan antara konteks, mekanisme, dan hasil.
Alat-alat seperti pemetaan proses dan pengembangan diagram alur kerja yang
memberikan informasi rinci tentang “siapa, apa, kapan, bagaimana, dan di mana”
dari masukan, keluaran, dan hasil dapat digunakan untuk mengembangkan
representasi visual dari elemen-elemen ini. Selain itu, ada metode untuk
memperkuat analisis kausal, seperti teori jaringan dan
mengembangkan diagram yang menggambarkan hubungan antara orang, organisasi,

dan koalisi. Dinamika sistem dan diagram lingkaran sebab-akibat memberikan
pemahaman yang lebih mendalam mengenai komponen-komponen inisiatif yang
kompleks dan hubungannya, sehingga menawarkan lebih banyak fleksibilitas
dibandingkan hasil yang linear dan berurutan (Funnel dan Rogers 2011).
Penting untuk mengantisipasi berbagai kondisi di mana teori perubahan dapat
dikembangkan. Banyak penyandang dana yang proaktif dalam mengembangkan
teori perubahan mereka sendiri, yang oleh evaluator Huey Chen dan Nanette Turner
(2012) dan yang lainnya disebut sebagai “teori pemangku kepentingan” berdasarkan
observasi dan pengalaman yang dapat digunakan untuk mengembangkan model
logika evaluasi. Namun, kami menyarankan agar kita berhati-hati karena bukti yang
mendukung teori pemangku kepentingan mungkin lebih lemah dan hanya didasarkan
pada persepsi. Namun, hal ini dapat menjadi batu loncatan yang baik karena
mencerminkan pemahaman penyandang dana terhadap program dan pendahulunya.
Alternatifnya, mungkin terdapat keterbatasan minat atau sumber daya untuk
membangun model inisiatif, dan evaluator harus mempertimbangkan untuk
mengembangkan teori perubahan dan/atau model logika mereka sendiri untuk
mengidentifikasi metode dan sumber data, serta mengenal lebih baik model inisiatif tersebut. inisiatif d
Lima dari enam kasus evaluasi menggambarkan berbagai cara teori perubahan
dapat dimasukkan ke dalam evaluasi APC. Misalnya, seperti yang kami jelaskan di
Bab 3, evaluasi program Let Girls Lead dan Inisiatif untuk Mendukung Transportasi
Berkelanjutan dan Berkeadilan mencakup teori perubahan dan evaluator
mengembangkan model logika, yang dikaitkan dengan pertanyaan evaluasi. Evaluator
dari Inisiatif Transportasi memasukkan kegiatan untuk menguji hubungan sebab
akibat, sedangkan evaluator dari Let Girls Lead tidak. Evaluator Inisiatif Transportasi
juga mengembangkan model logika individual untuk setiap hibah tingkat negara
bagian, menggabungkan strategi dan hasil untuk memastikan bagaimana keseluruhan
komponen negara bagian akan mencapai hasil yang diinginkan. Hanya Program
Konservasi Lahan Internasional yang tidak menyertakan teori perubahan dan/atau
model logika karena inisiatif yang bersifat cair dan cepat berubah. Baik itu teori
perubahan tingkat atas yang berperan sebagai pemandu atau di balik layar, atau teori
perubahan yang teruji dengan hasil dan indikator yang sangat terkait, evaluator perlu
menentukan peran yang tepat dan integrasi teori perubahan.
berubah sesuai dengan keadaan mereka. (Silakan lihat Lampiran A untuk

penjelasan penggunaan teori perubahan dan/atau model logika dalam lima desain
evaluasi.)
Jika pengembangan teori perubahan bukan merupakan prioritas atau tidak
layak dilakukan, kami merekomendasikan pengembangan model logika atau rantai
hasil yang fleksibel untuk memfokuskan desain evaluasi pada hal-hal yang berada
di bawah kendali inisiatif. Meskipun perbedaan antara teori perubahan dan model
logika mungkin agak kabur, Michael Quinn Patton (2012, 235) memberikan aturan
sederhana: “Menentukan mekanisme sebab-akibat akan mengubah model logika
menjadi teori perubahan.” Terdapat banyak sumber daya yang baik untuk
mengembangkan dan bekerja dengan model logika dalam arena advokasi dan
evaluasi perubahan kebijakan, serta dalam bidang evaluasi yang lebih luas,
termasuk Advocacy Progress Planner dari Aspen Institute dan Advocacy Progress
Planner dari Harvard Family Re-search Project. Model Logika Komposit Perubahan
Kebijakan, yang dikembangkan untuk mendukung para advokat dalam
mengembangkan model logika mereka sendiri dan dalam perencanaan,
pelaksanaan, pemantauan, dan evaluasi inisiatif advokasi mereka. Yang kami
maksud dengan “fleksibel” adalah evaluator harus meninjau kembali model logika
secara berkala dan menyesuaikan hasilnya agar mencerminkan perubahan dalam
kampanye. Jika tidak ada model yang logis, pertanyaan evaluasi akan mendorong pemilihan hasil da
MASUKAN, KELUARAN, HASIL, METODE, DAN

PENGUKURAN
Tujuan utama bab ini adalah memaparkan berbagai hasil dan metode yang dapat
dimasukkan oleh evaluator dalam desain evaluasinya untuk menilai kemajuan dan/
atau pencapaian inisiatif (atau kekurangannya) secara sistematis. Sebelum beralih
ke tinjauan kami terhadap berbagai masukan, hasil, dan dampak, kami membahas
pemilihan langkah-langkah dan instrumen serta tantangan yang ditimbulkan oleh
inisiatif APC, serta beberapa cara kreatif yang dilakukan evaluator APC untuk
menghindari tantangan-tantangan ini.
Tindakan yang Berarti

Pertanyaan dan hasil evaluasi APC juga menentukan sebagian besar pemilihan
ukuran (terkadang disebut sebagai “indikator”) atau cara untuk menentukan secara
tepat kemajuan inisiatif dan pencapaian inisiatif.
hasil yang efektif. Caranya adalah dengan memilih indikator yang layak dan bermakna.
Marc Holley, Cheri Recchia, dan Valarie Bocksette (2016) mengidentifikasi lima jebakan
pengukuran kinerja hibah yang dapat digunakan sebagai pedoman dalam memilih
ukuran atau: (1) “perangkap manajemen mikro” atau pengukuran berlebihan; (2)
“perangkap lindung nilai” dan penggunaan langkah-langkah yang mudah dicapai yang
melebih-lebihkan keberhasilan penerima hibah; (3) “perangkap yang setidaknya dapat
diukur” dan tidak menggunakan langkah-langkah yang lebih selaras dengan hasil,
namun lebih sulit untuk diterapkan; (4) “perangkap kendali penuh,” atau tidak
menggunakan langkah-langkah yang berhubungan dengan hasil yang lebih besar dan
lebih sulit dikendalikan; dan (5) “perangkap kompleksitas-tidak-dapat-diukur-objektif,”
seperti itulah kedengarannya, atau menghindari pengukuran dalam situasi kompleks
hanya karena kompleksitasnya. Selain itu, hanya karena Anda dapat mengukur
sesuatu bukan berarti Anda harus mengukurnya meskipun apa yang berarti bagi satu
pemangku kepentingan mungkin tidak berarti bagi pemangku kepentingan lainnya.
Kami menyarankan penggunaan kriteria berikut untuk mengidentifikasi pengukuran
yang bermakna dan tepat: validitas dan sejauh mana pengukuran tersebut sesuai
dengan fenomena yang dipertanyakan; kelayakan dan sumber daya yang tersedia,
seperti waktu, kapasitas dan/atau pendanaan penerima hibah dan evaluator; dan
kegunaan serta sejauh mana tindakan tersebut bersifat informatif dan kepada siapa.
Beberapa hasil advokasi dan perubahan kebijakan lebih kaya akan ukuran
dibandingkan hasil lainnya dan dapat diukur dengan mudah, seperti pemungutan
suara, tanda tangan, dan partisipan. Taktik advokasi mungkin mempunyai lebih dari
satu ukuran untuk setiap taktiknya. Misalnya, untuk mendokumentasikan kegiatan
pendidikan pembuat kebijakan, kita dapat melihat jumlah pertemuan atau pengarahan
yang diadakan dengan para pengambil keputusan, serta jumlah dan jenis pembuat
kebijakan yang dijangkau. Banyak dari langkah-langkah ini dapat dilacak oleh para
advokat itu sendiri, termasuk media, pembentukan koalisi dan pengorganisasian akar
rumput, pendidikan pemilih, penelitian dan pendidikan, menargetkan pengambil
keputusan dan masyarakat, litigasi, dan lobi.
Meskipun terdapat banyak ukuran yang tersedia bagi para evaluator, masih
terdapat beberapa rintangan yang unik bagi inisiatif APC dalam mengidentifikasi dan
menangani tindakan tersebut. Beberapa aspek dari inisiatif APC tidak mudah untuk
diukur, seperti “pengaruh,” dan akan lebih baik jika dijelaskan. Atau, sesuatu mungkin
dapat diukur, namun angka-angka tersebut mungkin tidak menunjukkan bahwa
perubahan yang diinginkan telah terjadi karena masuknya
Intervensi, seperti pengembangan ringkasan kebijakan yang dapat dilacak, namun

hanya merupakan salah satu dari banyak taktik yang digunakan dalam kampanye. Ada
juga masalah sumber daya dan kapasitas di tingkat penerima hibah dan/atau evaluator
untuk mengumpulkan informasi ini. Ukuran proses, seperti jumlah surat yang diterbitkan
kepada editor mudah dikumpulkan, bahkan secara retrospektif; namun, melakukan
analisis isi surat-surat tersebut mungkin kurang layak dilakukan. Terakhir, beberapa
tindakan memerlukan keahlian dan sumber daya evaluasi yang signifikan, khususnya
pengukuran dampak pada tingkat sistem, seperti perubahan dalam masyarakat sipil.
Para evaluator APC telah mengembangkan beberapa pendekatan yang praktis
dan masuk akal untuk mengatasi banyak rintangan ini. Karena kampanye advokasi
dapat mengubah arah atau menginginkan hasil yang melampaui jangka waktu evaluasi,
komunitas evaluasi APC telah berfokus pada proses atau ukuran hasil sementara dan
identifikasi indikator tolok ukur pada titik waktu tertentu yang merupakan bagian dari
evaluasi. jalan menuju tujuan. Mereka memberikan umpan balik langsung mengenai
kemajuan dan memperkenalkan elemen fleksibilitas dalam pelaksanaan suatu inisiatif
(Stachowiak, Reisman, dan Boardman 2013). Selain itu, satu tindakan tidak selalu
memperhitungkan berbagai aspek dari suatu program, dan evaluator APC yang
berpengalaman menyarankan untuk mempertimbangkan serangkaian tindakan untuk
menentukan apakah taktik atau kampanye advokasi telah berhasil atau tidak, seperti
menggunakan pendekatan kualitatif untuk menggambarkan taktik atau tindakan advokasi.
Berbagai langkah melindungi agar tidak mengabaikan dampak penting program, serta
menguatkan atau memperkuat temuan dari langkah-langkah lain. Misalnya, survei
pemeringkatan pembuat kebijakan dapat digabungkan dengan bentuk pengumpulan
data lainnya untuk memberikan informasi tentang faktor-faktor kontekstual yang lebih
luas. Penggunaan pendekatan metode campuran memberikan peluang untuk
memastikan apakah terdapat konsistensi dalam temuan di berbagai pendekatan
pengumpulan data, serta memberikan informasi kontekstual lebih lanjut untuk data
kuantitatif yang dikumpulkan. Yang terakhir, kesesuaian suatu indikator dengan
strategi atau taktik advokasi mungkin lemah, dan suatu indikator, seperti jumlah peserta
dalam forum kebijakan, mungkin hanya mewakili pencapaian, oleh karena itu disarankan
untuk menggunakan lebih banyak indikator daripada jumlah peserta dalam forum
kebijakan. lebih sedikit. Misalnya, pengumpulan data longitudinal mengenai kemajuan
program dan penggunaan metode untuk mengidentifikasi dan menghilangkan
penjelasan alternatif dapat memperkuat klaim evaluator bahwa hasil yang diperoleh benar-benar sesuai d
hasil dari serangkaian strategi yang diterapkan oleh para advokat (Henry dkk. 2013; Rog
2012).
Untuk memilih langkah-langkah yang bermakna, kami merekomendasikan penggunaan
pendekatan partisipatif dan bekerja sama dengan pemangku kepentingan selama tahap
perancangan untuk mengidentifikasi langkah-langkah, serta menjelaskan aspek teknis dari
masing-masing langkah, seperti kesesuaiannya dengan hasil dan bagaimana langkah-
langkah tersebut bekerja sendiri dan bersama-sama untuk menunjukkan kemajuan atau
efektivitas program. Hal ini akan mengelola ekspektasi pemangku kepentingan dan
mengurangi kemungkinan terjadinya “kejutan” di kemudian hari jika hasilnya bertentangan
dengan apa yang diharapkan, serta meningkatkan penerimaan dan penggunaan temuan
untuk memperkuat program.
Memilih Instrumen
Selama proses pemilihan metode, evaluator juga harus transparan dan mengkomunikasikan
kekuatan dan keterbatasan penggunaan alat pengumpulan data tertentu, seperti validitas
wajah dan apakah suatu instrumen benar-benar mengukur apa yang seharusnya diukur.
Misalnya, jika Anda mengembangkan panduan wawancara de novo, pastikan untuk
melakukan uji coba dengan pemangku kepentingan untuk meningkatkan kesesuaian
dengan konteks, seperti menggunakan nama taktik advokasi yang digunakan dalam
konteks tertentu, atau bahkan nama itulah yang disebut oleh para advokat, yang terkadang
menyebut diri mereka sebagai “aktivis.” Kedua, harus ada diskusi tentang bagaimana
instrumen dapat bekerja sama untuk memperkuat validitas temuan. Meskipun kutipan dan
pernyataan anekdot mungkin bisa menjadi penentu dalam beberapa konteks, seperti pada
pembuat kebijakan yang mungkin terbujuk oleh pernyataan pribadi masing-masing
konstituen, evaluator harus menjelaskan manfaat menggabungkan jenis informasi ini
dengan informasi kualitatif dan/atau kuantitatif lainnya. data. Hal ini meningkatkan
kemungkinan adanya dukungan dan pemahaman terhadap temuan tersebut. Hal ini juga
merupakan peluang untuk memainkan peran bantuan teknis dan meningkatkan
pengetahuan pemangku kepentingan tentang berbagai instrumen evaluasi—
kuesioner wawancara, kelompok fokus, survei, observasi, analisis isi, laporan penerima
hibah, anggaran, studi kasus, formulir pelacakan, dan alat pemetaan—yang dapat
digunakan dalam evaluasi APC.
Pada bagian selanjutnya mengenai masukan, keluaran, hasil, dan dampak, kami
mengacu pada metode spesifik, memberikan contoh peran dan apa yang mendasarinya.
dalam keadaan yang dapat diterapkan. Pada Tabel 4.1, kami memasangkan masukan/
keluaran/hasil/pendapatan/metode dengan ukuran kemajuan dan pencapaian hasil.
Meskipun ada banyak pilihan yang baik, tantangannya adalah untuk mengidentifikasi
metode dan langkah-langkah yang bermakna yang menghasilkan informasi yang informatif,
memberikan wawasan lebih lanjut, termasuk konsekuensi yang tidak diantisipasi, dan
berguna untuk tahap upaya selanjutnya, misalnya kampanye di masa depan.
Mengkarakterisasi Masukan: Kapasitas Advokasi, Konteks, dan Sumber Daya

Pada tahun 2000an, yayasan di seluruh dunia menyadari bahwa peningkatan kapasitas
advokasi merupakan langkah pertama yang diperlukan untuk mencapai tujuan perubahan
kebijakan jangka panjang. Hal ini dianggap sebagai hasil jangka pendek yang penting,
dan yayasan berkomitmen untuk memahami portofolio investasi advokasi mereka. Meskipun
tidak selalu terikat dengan kebijakan, pengembangan kapasitas advokasi telah terbukti
merupakan bidang yang perlu didukung dengan jelas, dengan kekuatan organisasi dan
individu yang jelas yang dapat dikembangkan. Informasi yang dikumpulkan juga berguna
bagi penyandang dana dan advokasi, dan dapat digunakan untuk mengidentifikasi bidang-
bidang prioritas untuk pengembangan kapasitas serta membantu organisasi memanfaatkan
keterampilan yang mereka miliki untuk terlibat secara efektif dalam pekerjaan advokasi.
Oleh karena itu, dukungan besar diarahkan kepada organisasi-organisasi yang belum
terbiasa melakukan advokasi sebagai sarana untuk meningkatkan partisipasi dalam arena
kebijakan. Organisasi nirlaba, organisasi kesehatan dan layanan kemanusiaan, serta
lembaga pendidikan, yang banyak di antaranya tidak mempunyai kapasitas atau terbatas
(seperti staf yang berdedikasi, memiliki keterampilan, dan mandat untuk melakukan
advokasi) diminta untuk meningkatkan upaya mereka. Namun, advokasi bukanlah tugas
yang mudah bagi pendatang baru. Hal ini memerlukan hubungan, kehadiran, keahlian
khusus, dan pemahaman yang kuat terhadap arena kebijakan. Selain itu, untuk dapat
masuk dan berhasil menavigasi arena kebijakan memerlukan upaya dan sumber daya yang
berkelanjutan untuk memastikan partisipasi yang berkelanjutan dan mendapatkan tempat di meja perundingan
Investasi dalam kapasitas advokasi tidak terbatas pada advokasi yang baru pertama
kali melakukan advokasi; organisasi-organisasi yang berpengalaman dalam bidang
advokasi secara berkala perlu memperlengkapi diri untuk melakukan jenis advokasi baru,
atau mereka mungkin perlu memperoleh kapasitas tambahan untuk melaksanakan jenis
inisiatif advokasi baru, seperti bekerja dengan media atau menggabungkan kegiatan sosial. media.
Ingatlah bahwa kapasitas advokasi merupakan keahlian yang terus berkembang. Makin,
penelitian (juga disebut sebagai “advokasi pendidikan”) dilakukan oleh para advokat,
dan mereka mengembangkan penelitian dan laporan kebijakan yang ditujukan
kepada para pengambil keputusan, sehingga menjadikan diri mereka sebagai suara
yang kredibel di arena kebijakan (Boaz, Fitzpatrick, dan Shaw 2008). Selain itu, para
advokat didorong untuk bekerja dalam koalisi dan mengembangkan hubungan
tambahan dengan mitra advokasi lainnya. Kadang-kadang, para mitra bergiliran
memimpin upaya advokasi tertentu. Namun, secara bersama-sama, mereka bekerja
dengan tujuan yang sama untuk memajukan lingkungan yang lebih adil bagi isu-isu
yang dianggap kontroversial, seperti kesehatan reproduksi.
Pada tingkat desain evaluasi, penilaian kapasitas advokasi memberikan informasi
formatif tentang sumber daya dan keterampilan di bidang-bidang yang penting untuk
mendukung advokasi. Ini juga memeriksa semua tingkatan organisasi, termasuk
kepemimpinan, staf, keanggotaan, dan dewan direksi. Informasi dari wawancara,
kelompok fokus, data proses, dan alat penilaian kapasitas dapat digunakan untuk
menilai kesiapan untuk terlibat dalam advokasi yang efektif dan bidang-bidang utama
yang perlu diperkuat, dan untuk memeriksa keselarasan tujuan pemberi dana dan
advokasi dengan sumber daya dan keterampilan yang tersedia. Analisis dokumen
dapat digunakan untuk menetapkan dasar yang dapat dibandingkan untuk melihat
apakah suatu intervensi berhasil mengatasi kesenjangan kapasitas (seperti
peningkatan pengetahuan tentang advokasi, peningkatan keterampilan media, dan
sumber daya advokasi yang berdedikasi). Terakhir, jika keberlanjutan merupakan
hal yang penting, maka perlu dilakukan pemantauan berkelanjutan terhadap
kapasitas organisasi, seperti kemampuan untuk merespons perubahan kondisi dan peluang yang mun
Ada banyak pilihan dalam bidang ini, termasuk alat penilaian kapasitas advokasi
yang sudah tersedia dan alat penilaian kapasitas yang telah dikembangkan dan
divalidasi melalui proses evaluasi.
Instrumen-instrumen ini saling tumpang tindih, jadi yang penting adalah memilih
instrumen yang sesuai dengan tujuan evaluasi, serta konteks budaya dan organisasi.
Misalnya, apakah Anda perlu menilai kapasitas secara luas atau kapasitas di
wilayah tertentu? Apakah Anda memerlukan instrumen yang mampu menjangkau
arena kebijakan tertentu? Untuk arena internasional, Anda mungkin ingin
memasukkan perspektif hak asasi manusia, seperti keterlibatan perempuan dan
pemberdayaan warga negara. Memperkuat kemampuan organisasi secara lebih luas
—LSM, dunia usaha, kelompok masyarakat—untuk memperkuat masyarakat sipil
dan
menciptakan kondisi yang memungkinkan keterlibatan masyarakat yang lebih besar dalam arena
kebijakan merupakan langkah awal yang penting bagi keberhasilan advokasi di kemudian hari
(Chapman dan Wameyo 2001). (Silakan lihat Bab 5 untuk informasi lebih lanjut mengenai
instrumen yang dirancang khusus ini.)
Selain itu, diagram laba-laba dapat digunakan oleh organisasi untuk membandingkan dan
membedakan kompetensi advokasi secara visual, serta melacak pekerjaan advokasi dari waktu
ke waktu. Organisasi dapat menilai tingkat kompetensinya dan mengembangkan jaringan yang
mencirikan kekuatan dan kelemahannya dalam berbagai bidang, seperti bekerja dengan media
atau evaluasi (Riesman, Gienapp, dan Stachowiak 2007).
Meskipun penerapan alat penilaian kapasitas secara mandiri dapat sangat meningkatkan
pembelajaran dan strategi organisasi, sampel responden mungkin tidak cukup besar untuk
menghasilkan temuan yang kuat dalam konteks evaluasi. Penting untuk mendapatkan umpan
balik dari organisasi advokasi, organisasi pendanaan, dewan direksi dan anggotanya, serta
organisasi sekutu atau mitra yang simpatik mengenai apakah kelompok tersebut memiliki
keterampilan yang diperlukan untuk melakukan kampanye advokasi atau tidak. Evaluator
eksternal dapat memainkan peran kunci dalam mensintesis informasi yang dikumpulkan dari
seluruh pemangku kepentingan dan memberikan wawasan mengenai potensi implikasi data
untuk langkah organisasi selanjutnya. Penilaian eksternal ini juga memungkinkan responden,
karena yakin akan kerahasiaannya, untuk mengungkapkan lebih banyak informasi dibandingkan
jika mereka merasa bahwa tanggapan mereka disebabkan oleh diri mereka sendiri.
Fokus pada kapasitas advokasi organisasi hanyalah sebagian saja. Para evaluator perlu
memperluas pandangan mereka dengan memasukkan masukan-masukan lain, khususnya
konteks yang lebih luas dan peluang-peluang yang diberikan kepada para pendukung serta
tantangan-tantangan yang diberikan. Misalnya, advokasi dan evaluator dapat menggambarkan
fitur awal dari konteks advokasi dan perubahan kebijakan dengan menggunakan teori sistem.
Ada beberapa cara untuk menerapkan konsep teori sistem pada konteks evaluasi APC yang
kompleks. Elemen sistem dalam inisiatif APC dapat diidentifikasi dan dikategorikan, seperti
lembaga pemerintah, tingkat pemerintahan, advokat, penyandang dana, individu, atau populasi,
yang mengikat inisiatif APC selama tahap perencanaan evaluasi dan membuat garis dasar.
Kedua, terdapat arketipe sistem berbeda yang dapat membantu mengkarakterisasi inisiatif secara
keseluruhan. Sistem bisa tidak terorganisir dan kacau.

otic, mereka dapat terorganisir dan sederhana dengan hubungan linier, atau mereka
dapat terorganisir dan kompleks, seperti sistem di dalam sistem dan hubungan tidak
langsung antar komponen sistem. Ketiga, berbagai alat dapat digunakan untuk
memetakan dan menggambarkan hubungan antar komponen inisiatif APC, seperti
diagram lingkaran sebab akibat dinamika sistem, yang menggambarkan interaksi antar
bagian program baik sebagai penguatan (penguatan) atau penetralisir (penyeimbangan),
atau dapat digunakan untuk mengidentifikasi titik intervensi dengan pengaruh tinggi,
seperti membalikkan keadaan saat ini. Ada beberapa alat pemetaan sistem, namun
sebagian besar alat tersebut bertujuan untuk mengidentifikasi elemen-elemen kunci
sistem dan menunjukkan hubungan antara elemen-elemen ini menggunakan garis
penghubung dan panah untuk menunjukkan arah, sebab dan akibat, atau penundaan
waktu ( Stroh 2009). Metode konvensional, seperti pendekatan Evaluasi Cepat (RE),
yang mencakup wawancara, kelompok fokus, pemetaan sosial, dan observasi
langsung, juga dapat digunakan untuk dengan cepat mengkarakterisasi kondisi awal
dan menetapkan garis dasar yang dapat dijadikan dasar untuk data masa depan.
dibandingkan (I-TECH 2008).
Ada juga kepentingan abadi dalam mendokumentasikan pengaruh yang dimiliki
oleh aktor, organisasi, dan kumpulan organisasi politik, termasuk: tingkat pengaruh
atau apakah suatu organisasi taktik atau advokasi mencapai hasil jangka panjang
yang semakin meningkat. pengaruh yang terbatas (ODI 2014); jalur pengaruh atau
siapa yang dipengaruhi dan bagaimana caranya (Chapman dan Wameyo 2001; ODI
2004); peran pemberi pengaruh kebijakan (ODI 2004); dan lingkup pengaruh serta
menilai besarnya pengaruh yang dimiliki seorang advokat terhadap pembuat kebijakan,
advokat lainnya, dan masyarakat. Pengaruh advokat terhadap aktor politik, pemangku
kepentingan, dan entitas masyarakat dapat dicirikan oleh jenis kontrol yang dimiliki
seorang advokat, seperti tidak ada kontrol, lebih sedikit kontrol, atau lebih banyak
kontrol, dan kontrol tidak langsung atau kontrol langsung. Terdapat juga sejumlah
produk perangkat lunak pemetaan kekuasaan yang merinci berbagai aktor dan
hubungan mereka dengan pihak lain serta jenis pengaruhnya. Namun, definisi
“pengaruh” bervariasi menurut instrumen dan pengguna, dan hal ini memerlukan uji
tuntas dari pihak evaluator agar definisinya jelas, apakah tujuannya adalah untuk
menggambarkan siapa yang mencoba mempengaruhi siapa atau siapa yang memiliki
pengaruh lebih besar.
Selain itu, mendokumentasikan sumber daya yang penting untuk peluncuran dan/
atau mempertahankan inisiatif, seperti pendanaan untuk mendukung kebijakan khusus
pelatihan direktur atau staf dalam menyusun pesan-pesan media, akan berpengaruh di
kemudian hari jika analisis keuangan dilakukan atau pihak lain ingin mempelajari tentang
unsur-unsur penting yang berkontribusi terhadap keberhasilan atau kegagalan.
Sebagai wilayah yang kaya sumber daya, terdapat banyak perangkat yang ditargetkan
untuk para advokat yang mencakup pendekatan yang mudah digunakan untuk
mengkarakterisasi konteks politik, jaringan, dan dinamika kekuasaan di dalam dan antar
kelompok. (Silakan lihat Lampiran B untuk daftar toolkit.)
Menilai Keluaran: Kinerja dan Implementasi

Fokus utama evaluasi APC pada tahap ini adalah apakah suatu organisasi berhasil
merencanakan, mengembangkan, dan melaksanakan suatu strategi, dan temuannya
sangat berguna bagi para advokat, penyandang dana, dan evaluator.
Mengadopsi pendekatan Pemantauan, Evaluasi dan Pembelajaran (MEL) dan menyiapkan
sistem pengumpulan data untuk memantau implementasi dan hasil inisiatif advokasi
secara berkelanjutan memungkinkan evaluator dan advokasi untuk mengevaluasi
kemajuan, menentukan apa yang berhasil dan apa yang tidak, dan alasannya, dan
menunjukkan hasil awal kepada pemangku kepentingan. Selain itu, kuesioner penilaian
mandiri dengan rubrik penilaian dapat digunakan untuk menanyakan para advokat untuk
menilai seberapa baik mereka merencanakan dan melaksanakan suatu kegiatan.
Bidang pengujian yang kedua adalah mengenai pelaksanaan kegiatan advokasi itu
sendiri, apakah itu kampanye multifaset atau taktik tersendiri, seperti peningkatan liputan
media. Seperti yang kami uraikan pada Tabel 4.1, terdapat banyak jenis kegiatan
advokasi, dengan berbagai metode dan langkah yang dapat dilakukan, antara lain:
memperkuat aliansi dan kemitraan; mempengaruhi pemahaman dan dukungan pembuat
kebijakan, menumbuhkan pemimpin; pembangunan kemauan dan keterlibatan
masyarakat; melibatkan media; dan penelitian dan analisis kebijakan. Ini adalah bidang
praktik evaluasi yang sangat kuat, dan terdapat banyak pendekatan untuk memantau
dan menilai pelaksanaan kegiatan secara prospektif dan retrospektif, termasuk laporan
pemantauan penerima hibah, wawancara segera setelah suatu peristiwa, tinjauan
dokumen, observasi suatu peristiwa, dan real-time. pengumpulan data, seperti Proses
Penilaian Cepat (RAP), dan kelompok fokus. Pendekatan lain adalah dengan
menghasilkan representasi visual atas inisiatif dan status komponen-komponennya.
Selain untuk menilai kapasitas advokasi, diagram laba-laba dapat digunakan untuk
menampilkannya
perubahan efektivitas taktik advokasi dari waktu ke waktu dalam format visual.
Kerangka logis, juga disebut sebagai “logframe,” adalah alat perencanaan yang
dapat digunakan oleh evaluator untuk menentukan seberapa baik inisiatif advokasi
telah dilaksanakan (Organizational Development Institute 2014). Ini adalah tabel
yang menggambarkan tujuan inisiatif, keluaran, indikator keberhasilan, cara
memantau apakah perubahan telah terjadi atau tidak, dan asumsi atau kondisi yang
diperlukan untuk mencapai tujuan.
Selain itu, ada pemeriksaan terhadap hasil strategi atau taktik dengan tujuan
untuk menyesuaikannya guna meningkatkan efektivitas, seperti memiliki keahlian
yang tepat, dan mengidentifikasi faktor pendukung dan hambatan. Anda dapat
menggunakan metode konvensional, seperti instrumen survei atau kuesioner
wawancara, untuk memberikan informasi dasar tentang pelaksanaan dan efektivitas
yang dirasakan dari serangkaian taktik advokasi yang terperinci. Temuan-temuan
ini dapat digunakan untuk membatasi evaluasi dan mempersempit fokus pada hal-
hal yang termasuk dalam cakupan inisiatif. Namun, strategi “menutupi wilayah
perairan” mempunyai keterbatasan. Pertama, tidak mencerminkan sinergi antar
kegiatan. Kedua, ini adalah pendekatan yang dangkal untuk memahami serangkaian
taktik. Terakhir, bergantung pada seberapa cepat suatu instrumen dapat dikelola
dan dianalisis, mungkin terdapat masalah dalam mengingat kembali informan dan
memisahkan berbagai taktik satu sama lain.
Kemungkinan besar, pemangku kepentingan dan Anda ingin mengetahui lebih
banyak tentang aspek-aspek utama dari strategi dan taktik tertentu (seperti kampanye
media, pertemuan tatap muka dengan pengambil keputusan), termasuk mengapa
taktik tertentu dipilih dan apakah taktik tersebut diterapkan pada waktu, target
kegiatan, dan apakah kegiatan tersebut dianggap efektif. Ada beberapa pilihan untuk
mengkaji taktik tertentu, termasuk pendekatan konvensional, seperti wawancara
dengan perwakilan media dan metode yang unik atau disesuaikan, seperti survei
rating pembuat kebijakan. Anda juga dapat menggabungkan metode. Untuk menilai
pelaksanaan berbagai aktivitas media, kami menggunakan pendekatan metode
campuran yang menggabungkan wawancara dengan perwakilan media, persepsi
advokasi terhadap aktivitas advokasi media mereka, serta analisis konten kliping
surat kabar (Gardner, Geierstanger, Brindis, dan McConnel 2010) .
Data kualitatif, seperti observasi terstruktur, wawancara semi terstruktur, dan

laporan kemajuan, dapat memberikan wawasan yang berguna tentang bagaimana dan
mengapa suatu taktik dilaksanakan, peran yang dimainkan oleh organisasi dan mitra,
faktor-faktor yang memfasilitasi dan tantangan-tantangan, dan bagaimana suatu taktik
dapat diterapkan secara berbeda. Evaluator juga dapat bekerja sama dengan advokat
untuk mengembangkan sistem pelacakan (seperti formulir pelacakan kontak media
yang mudah dipelihara) untuk memberikan informasi tentang jumlah kontak, kualitas
kegiatan mereka, serta permasalahan yang muncul selama melaksanakan kegiatan
tersebut. dan bagaimana hal ini ditangani. Laporan proyek penerima hibah yang
deskriptif merupakan sarana yang berguna untuk mengumpulkan informasi tentang
bagaimana suatu taktik diterapkan, statusnya, dan kemungkinan dampaknya.
Wawancara dan kelompok fokus dapat digunakan untuk mengumpulkan informasi
tentang kesadaran pengambil kebijakan terhadap seorang advokat, seperti posisi
advokat terhadap pemanasan global, serta untuk menyelidiki jenis taktik tertentu dan/atau faktor penduk
Terakhir, pertanyaan mengenai taktik dapat dijalin ke dalam kumpulan cerita dan
jurnal yang diselesaikan oleh peserta. Semua pendekatan ini merupakan peluang
bagi evaluator untuk meningkatkan pemahaman mereka tentang inisiatif advokasi
tertentu dan konteksnya sambil mendokumentasikan inisiatif tersebut dan persepsi
pemangku kepentingan terhadap perubahan, faktor pendukung, dan hambatan.
Tujuan lain pada tahap ini adalah untuk mendokumentasikan produk nyata yang
dihasilkan oleh para advokat—ringkasan penelitian, forum kebijakan, tanggapan
terhadap permintaan informasi, materi bantuan teknis advokasi, sistem pengumpulan
data, postingan blog—yang digunakan untuk mendidik masyarakat dan pembuat
kebijakan. -pembuat, serta membangun kredibilitas advokat. Bidang baru yang
mendapatkan daya tarik, dan disebut sebagai “advokasi pendidikan” atau “penelitian
kebijakan”, sumber daya yang dikembangkan oleh Methods Lab dan pihak lain sangat
membantu dalam mengembangkan desain untuk menilai pengaruh kegiatan-kegiatan
ini (Pasanen dan Shaxson 2016 ).
Berdasarkan pengalaman kami dalam mengevaluasi taktik advokasi, kami telah
mengidentifikasi empat tantangan evaluasi di bidang ini yang perlu diwaspadai oleh
para evaluator. Pertama, banyak taktik yang mungkin digabungkan menjadi satu
strategi, sehingga sulit untuk menilai efektivitas satu taktik. Mungkin kombinasi taktiklah
yang mempunyai dampak paling besar. Kedua, penggunaan pendekatan real-time dan
pemberian informasi pada praktik advokasi mungkin terhambat oleh lamanya waktu
yang dibutuhkan untuk mengumpulkan data, serta sifat proses kampanye atau
kebijakan yang bergerak cepat. Pengumpulan data Rapid Assessment Process (RAP)
bisa dilakukan minimal empat hari, namun memerlukan tim
untuk pengumpulan dan analisis data (I-TECH 2008). Ketiga, keberhasilan dalam
melaksanakan suatu taktik mungkin tidak berarti keberhasilan dalam mencapai hasil
yang diinginkan, terutama jika terjadi kejadian yang tidak terduga. Terakhir, sulit untuk
memberikan bukti bahwa taktik atau serangkaian taktik tertentu akan menghasilkan
hasil jangka pendek, seperti perubahan pemahaman pembuat kebijakan terhadap suatu
isu kebijakan. Penting untuk tidak menyamakan keberhasilan pelaksanaan taktik
advokasi dengan pencapaian hasil jangka pendek atau menengah dan meremehkan
manfaat penting yang diperoleh seorang advokasi. Terlepas dari tantangan-tantangan
ini, ada manfaat besar dalam mengklarifikasi dan mendefinisikan taktik dan melakukan
dialog dengan para advokat dan penyandang dana mengenai kegiatan yang didanai
mana yang merupakan intervensi dan bagaimana hal tersebut akan dimasukkan
dalam teori evaluasi perubahan dan/atau model logika. Selain itu, sebagian dari
informasi ini dapat dengan mudah dikumpulkan oleh para advokat itu sendiri dan
digunakan secara real-time untuk memberikan masukan bagi strategi dan pendanaan,
seperti sejauh mana kegiatan dilaksanakan sesuai rencana dan mengidentifikasi hambatan yang mengha
Mengevaluasi Hasil
Permasalahan yang sama yang menantang pengembangan model logika yang masuk
akal juga menghambat identifikasi dan penilaian hasil APC atau kompleksitas inisiatif,
ketidakpastian, dan ketidakpastian. Atribut-atribut ini juga mempersulit identifikasi
tindakan-tindakan yang sensitif terhadap perubahan dan/atau mengukur apa yang ingin
diukur. Evaluator APC telah mempersiapkan diri dan terdapat beberapa kerangka
kerja untuk mengidentifikasi hasil APC serta metode dan metrik yang sesuai. Misalnya,
Jim Coe dan Ju-liette Majot (2013) dari Overseas Development Institute mengambil
perspektif internasional dan mengidentifikasi tiga kategori umum: (1) hasil internal
yang menunjukkan perubahan dalam kapasitas advokasi organisasi; (2) hasil konteks
advokasi seperti perubahan relasi kekuasaan; dan (3) perubahan kebijakan dan praktik,
seperti perubahan dalam perdebatan kebijakan yang lebih luas.
Terdapat juga permasalahan bahwa hasil dapat berubah selama berlangsungnya

inisiatif, sehingga memerlukan ketangkasan dari pihak evaluator dan fleksibilitas dari
pemberi dana. Berfokus pada berbagai hasil dengan menggunakan berbagai metode—
kualitatif dan kuantitatif, pemantauan, dan kinerja—memastikan bahwa evaluator tidak
mengabaikan perubahan yang tidak terduga, sekaligus meningkatkan kemampuan
pemberi dana dan advokasi untuk menavigasi perubahan yang terkadang menjadi kendala.
keadaan otik. Pemetaan Hasil (OM) dapat digunakan untuk memantau kemajuan
program dalam mencapai hasil. Analisis kontribusi retrospektif dapat digunakan
untuk mendokumentasikan arah inisiatif setelah kejadian sehingga hasil yang tidak
diantisipasi tidak terabaikan, serta mendokumentasikan hubungan sebab akibat
yang dapat direplikasi di tempat lain. Demikian pula, Outcome Harvesting adalah
pendekatan baru yang digunakan di arena internasional untuk mengevaluasi
jaringan, organisasi nirlaba, dan lainnya, dan dapat digunakan secara retrospektif
untuk mendokumentasikan peran inisiatif dalam mempengaruhi serangkaian hasil.
Dengan menggunakan data yang dapat diverifikasi dari berbagai sumber, hasil
pascainisiatif diidentifikasi dengan pengguna, terutama penyandang dana, dan
deskripsi hasil dikembangkan yang mencakup informasi tentang “siapa yang
mengubah apa, kapan, dan di mana” serta kontribusi inisiatif (Wilson-Grau dan Britt
2013) .
Sampai saat ini, pengidentifikasian langkah-langkah atau bukti pencapaian untuk
setiap hasil mengalami tantangan karena kurangnya metrik, sumber data, serta
terbatasnya kapasitas untuk mengumpulkan informasi tersebut. Mungkin tantangan
yang lebih besar adalah mencapai konsensus dengan para pemangku kepentingan
mengenai jenis bukti yang dapat menunjukkan pencapaian hasil program. Salah
satu strategi untuk mengatasi hambatan tradisional ini adalah dengan menggunakan
kombinasi metode kuantitatif dan kualitatif. Misalnya, menghitung jumlah kebijakan
yang disahkan tidak menggambarkan apa yang telah dicapai. Strategi yang lebih
baik adalah menggabungkan jumlah kebijakan yang disahkan dengan studi kasus
yang mendokumentasikan taktik advokasi, proses perubahan kebijakan, dan dampak
jangka pendek dan jangka panjang yang dicapai.
Kami telah menyusun metode evaluasi yang konvensional dan unik berdasarkan
hasil model logika yang mencerminkan model tahap kebijakan umum yang
dijelaskan dalam Bab 1, termasuk hasil kegiatan advokasi yang mungkin tidak
berfokus pada perubahan kebijakan, seperti penguatan aliansi dan kemitraan dan
pembangunan kemauan dan keterlibatan publik. Kami juga telah mengatur hasil-
hasil ini berdasarkan kapan hal tersebut mungkin terjadi selama proses pembuatan
kebijakan. Terdapat beberapa perbedaan dalam cara para evaluator membedakan
antara hasil jangka pendek, menengah, dan panjang, meskipun sebagian besar
evaluator menganggap perubahan kebijakan atau pengesahan suatu undang-
undang, khususnya di tingkat nasional dan internasional, sebagai hasil jangka
panjang. -datang. Kami mengakui bahwa ini adalah urutan hasil yang linier dan berurutan
mungkin tidak sesuai dengan situasi Anda dan Anda mungkin menemukan bahwa
hasil Anda bercabang, bersifat dua arah, atau mencakup putaran umpan balik.
Misalnya saja, tercapainya pengesahan sebuah RUU dapat memberikan dampak
positif pada kapasitas advokasi organisasi, sehingga semakin memperkuat dan
membangun kepercayaan tambahan di antara para advokasi. Kami memilih untuk
menjadi seinklusif mungkin dalam daftar hasil, metode, dan ukuran kami, dengan
memanfaatkan literatur evaluasi APC, kerangka kerja, dan desain evaluasi.
Hasil Jangka Pendek dan Sementara (0–2 tahun)

Ciri unik dari evaluasi APC adalah penekanannya pada hasil jangka pendek atau
jangka pendek. “Interim” memiliki dua arti di sini. Dalam istilah evaluasi, hal ini
merupakan langkah-langkah proses dalam kerangka evaluasi formatif yang
merupakan hasil langsung dari kegiatan advokasi. Hal ini merupakan indikator
kemajuan dan apakah taktik advokasi berada pada jalur yang tepat untuk mencapai
tujuan yang diinginkan. Dalam komunitas evaluasi APC, “interim” juga mengacu
pada pendekatan sementara atau sementara untuk mengevaluasi hasil jangka
panjang yang hingga saat ini sulit untuk diidentifikasi dan dinilai. Ini adalah titik di
mana fokus evaluasi dapat bergeser dari evaluasi formatif ke evaluasi sumatif dan
menilai efektivitas suatu inisiatif yang mungkin lambat untuk “berkembang”
sepenuhnya dibandingkan dengan jenis program lainnya. Akibatnya, banyak evaluasi
APC cenderung lebih fokus pada pembelajaran strategis dan mengukur apakah
suatu strategi dan/atau taktiknya efektif dan kemudian membuat rekomendasi untuk
koreksi di tengah jalan.
Evaluator APC Julia Coffman (2009) merekomendasikan untuk fokus pada
serangkaian hasil sementara agar tidak mengabaikan bidang-bidang di mana taktik
advokasi berhasil (atau tidak berhasil). Dengan memanfaatkan sumber daya desain
evaluasi dalam bidang ini, kami telah mengidentifikasi enam kategori hasil jangka
pendek dan sementara yang merupakan ciri khas dari inisiatif advokasi dan dari
mana evaluator mungkin ingin memilih satu atau lebih hasil: syarat-syarat perdebatan;
memperkuat kemitraan, jaringan, dan koalisi; mempengaruhi pemahaman dan
dukungan pembuat kebijakan; menumbuhkan juara; pembangunan kemauan dan
keterlibatan publik; dan melibatkan media. Kami juga telah mengidentifikasi
pendekatan evaluasi, langkah-langkah, dan alat-alat khusus yang telah digunakan di
lapangan pada masing-masing bidang tersebut.
Ketentuan Debat
Bagi banyak aktivis, tujuan akhirnya bukanlah perubahan kebijakan, dan sebuah inisiatif
mungkin berakhir jauh sebelum proposal kebijakan dirumuskan atau terjadi jauh setelah
kebijakan diimplementasikan, seperti meluncurkan kampanye pendidikan masyarakat
mengenai dampak kesenjangan ekonomi terhadap perekonomian. komunitas yang lebih luas.
Selaras dengan tahap Penetapan Agenda dalam model tahap kebijakan kami, mengubah
cara perdebatan dan mempengaruhi wacana suatu isu dapat dicapai dengan bekerja
sama dengan media untuk membingkai ulang sebuah isu agar lebih menonjol di mata
publik dan menghasilkan ringkasan pendidikan dan laporan, meningkatkan visibilitas
suatu isu sehingga isu tersebut masuk dalam agenda politik. Hal ini merupakan taktik
advokasi yang ampuh, bahkan penting, yang dapat dilakukan penilaian, termasuk jajak
pendapat publik, analisis konten media, tinjauan dokumen, dan wawancara dengan para
pembuat kebijakan dan pemimpin yang berpengaruh.
Memperkuat Kemitraan, Jaringan, dan Koalisi

Karena hubungan dapat menjadi hal yang sangat penting dalam menentukan hasil dari
proses perubahan kebijakan, para advokat, khususnya advokat baru, telah menerima
dukungan yang signifikan untuk memperluas jaringan dan kemitraan mereka. Tidak ada
satu model kemitraan dan kemitraan dapat berubah sesuai tuntutan situasi. Selain itu,
beberapa kemitraan membutuhkan waktu lebih lama untuk dikembangkan dibandingkan
kemitraan lainnya, seperti kemitraan dengan pengambil keputusan yang memerlukan
tingkat kepemilikan dan kredibilitas tertentu. Terlepas dari itu, kolaborasi lintas organisasi
atau berbagai sektor merupakan bidang penyelidikan yang kaya, didorong oleh
kepentingan penyandang dana dalam membangun atau memperkuat jaringan untuk
melakukan tindakan kolektif, mencapai hasil yang tidak dapat dicapai oleh masing-masing
organisasi (Network Impact and Center for Evaluasi Inovasi 2014).
Ada beberapa instrumen dan pendekatan untuk mengkarakterisasi kemajuan dalam
menciptakan kemitraan baru dalam berbagai keadaan.
Survei Penilaian Kolaborasi/ Koalisi/ Jaringan/ Kemitraan. Ada beberapa pendekatan
yang berfokus pada kapasitas suatu organisasi atau jaringan organisasi untuk membentuk
kemitraan yang berfungsi tinggi. Contohnya termasuk Inventarisasi Faktor Kolaborasi
Amherst Wilder yang dapat diselesaikan secara online. Baru-baru ini, hal ini telah
berkembang menjadi diskusi tentang “kesehatan” jaringan dan bagaimana menilai apakah
suatu jaringan mencapai tujuan atau tidak.
menentukan tujuannya dan bagaimana jaringan dapat didukung untuk mencapai

tujuan perubahan sosial (ORS Impact 2010).
Analisis Jaringan Sosial. Pendekatan ini mencirikan seberapa dekat atau eratnya
hubungan antara individu atau organisasi, serta mengidentifikasi individu atau
organisasi mana yang memiliki hubungan lebih erat dibandingkan yang lain. Salah
satu kelemahannya adalah memerlukan keahlian dalam perangkat lunak dan
pemetaan jaringan. Untungnya, metode evaluasi jaringan lainnya mulai bermunculan,
seperti menganalisis dokumen jaringan, wawancara, dan kelompok fokus dengan
anggota untuk menangkap informasi ini (Network Impact and Center Evaluation
Innovation 2014).
Skala Intensitas Kolaborasi. Skala ini menggambarkan tingkat kolaborasi dalam
skala yang berkisar dari “jarang berbagi informasi” hingga “pendanaan bersama dan
pelaksanaan proyek antar organisasi.” Mereka juga dapat digunakan untuk menilai
perubahan dalam kemitraan tertentu dari waktu ke waktu.
Pelacakan Konstituen. Spark Policy Institute telah mengembangkan Sistem
Pelacakan Konstituen yang mencakup skala untuk menilai keberhasilan advokat
dalam mengubah konstituennya menjadi advokat yang beralih dari “menunjukkan
minat” menjadi “memimpin upaya advokasi” (Spark Policy Institute 2011).
Diagram Laba-laba. Diagram laba-laba serbaguna dan dapat digunakan untuk
menilai dukungan masyarakat dari berbagai sektor, seperti bisnis, media, lembaga
publik, dan pengambil keputusan. Para pemangku kepentingan menilai tingkat
dukungan pada skala 0 sampai 5 dimana 5 = dukungan “sangat tinggi”. Dengan
demikian, jaringan yang mempunyai dukungan sama tinggi di semua sektor akan
bulat. Web dapat dibuat sebelum dan sesudah inisiatif untuk menilai perubahan dalam
dukungan atau hubungan lain antar sektor, seperti kolaborasi (Feinstein dan O'Kane
2005).
Terdapat ukuran-ukuran tersendiri dalam kolaborasi dan kemitraan yang menilai
jumlah (misalnya mitra baru), jenis (misalnya mitra yang tidak diharapkan), dan
keselarasan antar kemitraan (misalnya posisi dalam isu kebijakan tertentu). Untuk
memperkuat temuan ini, informasi ini dapat dikumpulkan secara longitudinal sebelum/
sesudahnya untuk menunjukkan perubahan positif dari waktu ke waktu. Namun, kita
telah melihat beberapa kemitraan bertambah dan berkurang atau bahkan menjadi
terpolarisasi seiring dengan perubahan lingkungan kebijakan, yang mengadu domba
sekutu seperti serikat pekerja dan penyedia layanan kesehatan nirlaba.
Selain itu, evaluator mulai melihat ke seluruh kelompok atau bidang
mengadvokasi dan menilai upaya terkini para penyandang dana untuk membangun keterampilan dan
sumber daya advokasi lapangan, meningkatkan konektivitas antar peserta, dan mendiversifikasi serta
memperluas partisipasi lapangan. Evaluator Jewlya Lynn (2014) dan komunitas evaluasi APC lainnya
telah mengembangkan kerangka kerja untuk menilai bidang advokasi dan upaya penyandang dana
untuk membangun dan/
atau memperkuatnya, dengan menggunakan metode untuk mengidentifikasi “kerangka lapangan”, yang
penting dalam menentukan tujuan kebijakan (seperti metodologi Q untuk mengukur nilai).
Mempengaruhi Pemahaman dan Dukungan Pembuat Kebijakan
Dalam banyak inisiatif advokasi, para pembuat kebijakan merupakan target utama dari kampanye atau
taktik advokasi, seperti mendidik anggota Kongres AS tentang tantangan-tantangan yang ada di negara-
negara berkembang. Kami menyarankan untuk mengkaji dampak kegiatan-kegiatan ini terhadap
pemahaman dan dukungan pembuat kebijakan sedini mungkin untuk menginformasikan strategi advokasi.
Pengambil keputusan juga merupakan bagian dari jaringan mitra advokat dan seberapa dekat atau eratnya
hubungan ini dapat menentukan seberapa besar pengaruh yang dimiliki seorang advokat.
Misalnya, para advokat yang dianggap sebagai sumber daya yang kredibel kemungkinan besar akan
diajak berkonsultasi secara ad hoc oleh para pengambil keputusan untuk mengetahui pendapat mereka
dan bukti atas pendapat tersebut mengenai isu tertentu.
Namun, mengakses dan mengumpulkan data dari pengambil keputusan merupakan suatu tantangan
karena berbagai alasan. Jadwal mereka yang padat membuat hampir mustahil untuk mendapatkan
respons yang tepat waktu. Mereka menangani berbagai isu kebijakan sekaligus sambil menggalang dana
untuk pemilihan kembali, sehingga membatasi penarikan kembali informan. Terakhir, meskipun apa yang
dikatakan pejabat terpilih merupakan hal yang menjadi catatan publik, mereka mungkin kurang bersedia
untuk mengungkapkan rincian tertentu mengenai posisi mereka terhadap suatu kebijakan. Mengingat hal
ini, ada beberapa strategi yang dapat digunakan evaluator. Mereka dapat memperluas populasi sasaran
dengan menyertakan staf legislatif yang memiliki pengetahuan di balik layar serta keahlian mengenai isu
kebijakan tertentu. Mereka juga dapat memaksimalkan kenyamanan dan kebijaksanaan.
Sebagai fokus utama para ilmuwan politik, pendekatan tradisional untuk mengukur dukungan pembuat
kebijakan mencakup penghitungan jumlah rancangan undang-undang yang diajukan mengenai suatu isu,
jumlah sponsor atau penandatangan rancangan undang-undang, jumlah suara yang mendukung atau
menentang suatu rancangan undang-undang, dan catatan suara pembuat kebijakan. Evaluasi konvensional-
Pendekatan-pendekatan seperti survei, wawancara informan, dan kelompok fokus, dapat

digunakan untuk menilai pengetahuan, sikap, dan apakah suatu isu penting bagi pembuat
kebijakan. Terakhir, seperti yang kami jelaskan di Bab 5, ada beberapa instrumen yang
disesuaikan dalam bidang ini, seperti instrumen pemeringkatan pembuat kebijakan yang
dapat digunakan untuk menilai tingkat dukungan pembuat kebijakan, tingkat pengaruh
pembuat kebijakan, dan kesediaan pembuat kebijakan untuk bertindak dalam mendukung
suatu kebijakan. usulan kebijakan tertentu. Temuan-temuan ini sangat membantu untuk
memberikan masukan bagi strategi advokasi, khususnya sikap pembuat kebijakan terhadap
suatu isu atau usulan kebijakan dan persepsi pembuat kebijakan mengenai peran dan
efektivitas taktik advokasi atau advokasi.
Budidaya Juara
Mirip dengan mendidik dan bermitra dengan pembuat kebijakan untuk mendukung suatu isu,
upaya yang dilakukan oleh para advokat untuk mendapatkan dukungan dari individu-individu
terkemuka atau aktivis yang bersedia melakukan advokasi secara publik untuk suatu isu atau
rancangan undang-undang (Beer dan Coffman 2015). Selain mengumpulkan data dari
laporan penerima hibah mengenai upaya mereka untuk menumbuhkan para pemimpin,
Champion Scorecard dari Aspen Institute melacak kemajuan para advokat dalam
menumbuhkan para pejuang yang dapat mengambil langkah-langkah untuk memajukan
tujuan kebijakan para advokat, seperti mensponsori undang-undang. Terdapat juga alat bagi
para advokat untuk mendukung dan menilai upaya mereka dalam mengidentifikasi dan
melibatkan para pemimpin yang didefinisikan secara luas, bukan hanya pembuat kebijakan.
Evaluator Sarah Roma dan Carlisle Levine (2016) mengembangkan Champions Toolkit untuk
mendukung para pendukung program Save the Children’s Saving Newborn Lives (SNL) dan
mencakup kombinasi sumber daya dan pendekatan advokasi untuk memantau dan
mengevaluasi upaya-upaya yang dilakukan oleh para champion.
Keinginan politik
Sebuah istilah yang dikategorikan sebagai “konsep paling licin dalam leksikon kebijakan,”
peningkatan kemauan politik pembuat kebijakan merupakan hasil yang diharapkan karena
hal ini dianggap menghasilkan tindakan politik (Hammergren [1998] dikutip oleh Post, Raile,
dan Raile 2010). Namun, tidak ada definisi yang disepakati mengenai “kehendak politik”.
Ada beberapa definisi sempit yang berfokus pada kesediaan yang ditunjukkan untuk
mengambil tindakan, namun definisi ini tidak memperhitungkan sifat kolektif kemauan politik.
Ada yang lebih luas, multi-

definisi dimensi yang dimaksudkan untuk memandu penilaian. Lori Post, Amber Raile,
dan Eric Raile (2010) membagi kemauan politik menjadi empat komponen yang
dapat dioperasionalkan: (1) jumlah pengambil keputusan yang memadai
mendukung kebijakan tertentu; (2) kesamaan pemahaman terhadap suatu
permasalahan tertentu; (3) pengambil keputusan berkomitmen untuk mendukung
kebijakan; dan (4) solusi kebijakan yang dianggap berpotensi efektif. Sebagai alternatif,
ahli jajak pendapat dan ilmuwan politik Craig Charney (2009) mendefinisikan “kehendak
politik” sebagai kombinasi dari memiliki pendapat mengenai suatu isu, intensitas atau
seberapa kuat pendapat tersebut dipegang, dan arti-penting atau seberapa penting
suatu isu. Dimensi-dimensi ini dapat diterjemahkan ke dalam ukuran-ukuran dan
dimasukkan ke dalam instrumen-instrumen yang ada. Misalnya, ORS Impact
mengadaptasi metode Penilaian Pembuat Kebijakan dari Proyek Penelitian Keluarga
Harvard, khususnya pertanyaan mengenai tingkat dukungan pembuat kebijakan, untuk
menilai kemauan politik dalam konteks kebijakan yang beragam (Stachiwiak, Afflerback, dan Howlett 20
Pembangunan dan Keterlibatan Masyarakat
Hasil sementara yang menandakan adanya perubahan dalam kesediaan masyarakat

untuk bertindak merupakan tujuan akhir dari banyak inisiatif advokasi. Evaluator APC
Jane Reisman, Annie Gienapp, dan Sarah Stachowiak (2007) berpendapat bahwa
dukungan masyarakat umum adalah “kondisi struktural utama untuk mendukung
perubahan kebijakan.” Ada banyak cara untuk meningkatkan keterlibatan masyarakat,
termasuk mobilisasi akar rumput, gerakan sosial, pengorganisasian masyarakat, dan
peningkatan pendaftaran pemilih, dan evaluator mempunyai beragam pilihan untuk
menilai keterlibatan masyarakat dan perubahan kemauan masyarakat. Perlu diingat,
populasinya bisa sangat besar, terdiri dari banyak subpopulasi berbeda, dan tersebar
secara geografis di wilayah yang luas. Evaluasi terhadap tingkat dan/atau perubahan
pengetahuan dan dukungan masyarakat mungkin sulit dan mahal untuk dipastikan.
Pendekatan evaluasi konvensional (seperti kelompok fokus, jajak pendapat publik,
wawancara, observasi pertemuan, dan survei) memberikan informasi tentang
perubahan kesadaran dan pengetahuan masyarakat tentang suatu isu tertentu, serta
arti-pentingnya. Instrumen kapasitas organisasi dapat digunakan untuk menilai
perubahan dalam kemampuan advokasi dalam memobilisasi kampanye akar rumput.
Ukuran peningkatan keterlibatan publik dan aktivisme bersifat langsung dan dapat
dilacak berdasarkan faktor pendukungnya, seperti jumlah orang yang menghadiri
acara politik, jumlah pemilih, dan keanggotaan.
Mendokumentasikan perubahan opini publik mengenai suatu isu atau kebijakan

tertentu dapat menjadi cara yang efektif untuk mengevaluasi kampanye pembangunan
kemauan publik yang memiliki banyak aspek atau acara media yang ditargetkan. Desain
eksperimental dan kuasi-eksperimental merupakan pilihan untuk menilai perubahan
pengetahuan, sikap, dan perilaku individu, seperti kemungkinan untuk memilih
mendukung atau menentang kebijakan tertentu. Karena kampanye media terbatas dalam
waktu dan geografi, akan lebih mudah untuk mengidentifikasi kelompok pembanding,
khususnya komunitas yang pendanaan untuk kampanye media tidak memungkinkan
pelaksanaannya, serta melakukan survei yang membandingkan pengetahuan, sikap,
dan perilaku masyarakat. perilaku sebelum dan sesudah kampanye dalam wilayah
geografis yang ditargetkan.
Evaluator jarang melakukan jajak pendapat publik, namun mereka merupakan
sumber data lain untuk menilai perubahan niat pemilih akibat taktik tertentu. Secara
tradisional, hal ini dikumpulkan selama periode waktu tertentu dan perbandingan dapat
dilakukan, misalnya, kapan strategi tertentu diperkenalkan dan apakah ada perubahan
opini publik mengenai isu-isu yang berkembang, seperti reformasi imigrasi.
Evaluasi kampanye komunikasi yang ditujukan kepada publik mengalami

pertumbuhan yang signifikan seiring dengan semakin banyaknya saluran komunikasi—
posting blog dan traffic, video, Twitter—dan seiring dengan berkembangnya keahlian
para advokasi dalam melakukan advokasi elektronik, seperti melakukan advokasi
secara online. petisi, mengirimkan surat kepada editor publikasi online, dan penggalangan
dana. Aktivitas online ini memungkinkan dilakukannya pemantauan dan pengukuran,
dan terdapat organisasi penelitian yang telah mengembangkan keahlian analitis untuk
menilai advokasi online berdasarkan sektor dan isu kebijakan, seperti pemantauan
kinerja online oleh organisasi nirlaba (Wolf-son dkk. 2012). Suatu hal yang tidak boleh
diabaikan karena kurangnya keahlian analitis, penggunaan teknologi dalam advokasi
akan terus meningkat dalam hal penggunaan dan kepentingannya.
Terakhir, seperti yang akan kita bahas di Bab 5, dukungan penyandang dana untuk
pengorganisasian masyarakat dan pemberdayaan masyarakat untuk melakukan
perubahan yang diinginkan, atau strategi “akar rumput versus puncak pohon”, telah
mendorong pengembangan kerangka kerja dan instrumen evaluasi yang unik (Foster dan Louie 2010).
Melibatkan Media
Penelitian mengenai peran media menunjukkan bahwa peran media membentuk cara pandang
masyarakat dan pembuat kebijakan terhadap suatu isu, dan para advokat perlu mengetahui
apakah upaya media mereka memberikan keuntungan atau tidak. Namun, tidak semua
permasalahan dan permasalahan dapat diliput oleh media, seperti perubahan metodologi
alokasi pendanaan yang rumit. Selain itu, pemberitaan media dapat menimbulkan perhatian
yang tidak diinginkan atau mungkin tidak sesuai dengan budaya.
Bekerja dengan media bergantung pada konteks dan bisa sangat tidak dapat diprediksi, seperti
kejadian terkini yang tidak terduga dan menutupi isu-isu lain yang sedang ditangani oleh advokat.
Selama tahun 2000an, pengembangan kapasitas organisasi untuk bekerja dengan media
menjadi fokus banyak yayasan. Oleh karena itu, terdapat banyak peluang dan pendekatan untuk
mengevaluasi dampak langsung dari perluasan kapasitas advokasi media. Beberapa upaya
untuk mendapatkan liputan, seperti surat cetak kepada editor dan iklan berbayar di media atau
radio, mempunyai jangka waktu yang singkat dan dapat dengan mudah dilacak. Ada beberapa
alasan taktis yang baik untuk berfokus pada aspek kemitraan dalam melibatkan media dan
bukan sekadar mengamankan liputan. Kami menemukan bahwa membina dan memelihara
hubungan dengan masing-masing perwakilan media dapat memberikan manfaat besar bagi
seorang advokat meskipun hal tersebut tidak menghasilkan liputan yang sebenarnya.
Perwakilan media membutuhkan informasi untuk menjalankan tugasnya dan menjadi ahli dalam
bidang kebijakan tertentu akan meningkatkan visibilitas suatu organisasi atau individu serta
mendidik perwakilan media tentang isu tersebut (Gardner, Geierstanger, Brindis, dan McConnell
2010).
Pendekatan evaluasi konvensional memang berguna, namun dengan beberapa peringatan.
Meskipun perwakilan media dapat disurvei, kesulitan akses serupa dengan yang dialami
pembuat kebijakan. Terdapat permasalahan terkait pemanggilan kembali informan dan
tingginya pergantian informan di sektor media. Jika ada liputan yang sedang berlangsung, teknik
analisis konten dapat digunakan untuk melacak perubahan dalam panjang artikel, penempatan,
kata kunci yang digunakan, dan bagaimana isu tersebut dibingkai. Terakhir, media baru, seperti
Twitter dan media sosial lainnya, sudah menjadi hal yang lumrah, dan para advokat tidak bisa
hanya mengandalkan satu bentuk media saja. Dengan meluasnya peran media sosial, mengukur
jenis kehadiran di Web dan kontennya, seperti jumlah hit atau download materi pendukung,
juga dapat digunakan sebagai ukuran kesadaran masyarakat.

Evaluator juga harus memahami berbagai jenis media, termasuk surat

kabar harian, buletin lingkungan, dan radio, serta Internet. Sangat sulit untuk
menilai dampak jenis media tertentu terhadap kesadaran, pemahaman, dan
dukungan publik dan/atau pembuat kebijakan terhadap suatu isu atau
kebijakan. Bidang penelitian media sangat membantu dan desain eksperimental
dapat digunakan untuk menyelidiki dampak kampanye media tertentu, namun
hal ini memerlukan sumber daya dan keahlian evaluasi yang signifikan.
Karena advokasi media mempunyai beberapa bentuk yang berbeda, ada

beberapa langkah yang dapat dipilih, termasuk: media berbayar, seperti jumlah
yang dibelanjakan untuk iklan, jumlah, dan jenis outlet distribusi; media yang
diperoleh, seperti siaran pers yang disebarkan, penjangkauan kepada wartawan,
panjang dan penempatan artikel di surat kabar cetak besar dan kecil, liputan
radio; media elektronik, seperti website baru, media sosial; kemitraan media,
seperti jumlah, liputan liputan, dan frekuensi kontak; dan perubahan arti-penting
suatu isu, seperti frekuensi liputan di media dan kontak media. Berbagai ukuran
dapat digabungkan menjadi satu instrumen pengumpulan data. Formulir dan
catatan pelacakan cukup umum dan dapat dikembangkan dan digunakan oleh
para advokat sendiri untuk melacak tanggal publikasi, jenis media, penempatan,
dan apakah itu dibayar atau diperoleh.
Dihubungi oleh media dapat dengan mudah dilacak oleh para advokat dan digunakan
untuk menginformasikan strategi selanjutnya. Liputan yang dihasilkan, berdasarkan
kontak-kontak tersebut, dan cara isu tersebut digambarkan juga membantu menentukan
apakah jenis strategi penyampaian pesan yang digunakan adalah yang paling efektif atau tidak.
Hasil Antara (2–4 tahun)

Hasil antara (intermediate outcome) adalah hasil jangka panjang dari taktik
advokasi, termasuk identifikasi dan penggembalaan terhadap kebijakan yang
telah dibuat (seperti hubungan kerja yang berkelanjutan dengan pembuat
kebijakan). Mereka menandakan transisi ke evaluasi sumatif dan menilai apa
yang berhasil. Pembelajaran strategis terus menjadi fokus penting dalam desain
evaluasi, namun penting untuk menunjukkan bahwa organisasi telah mencapai
perubahan dalam target advokasinya baik di arena kebijakan, opini publik, atau
lingkungan advokasi.
Mengembangkan hasil merupakan suatu tantangan karena sejumlah alasan,
seperti menentukan atribusi dan mendefinisikan kesuksesan. Namun, evaluator APC

telah menetapkan beberapa bidang hasil konkrit dan indikator terkait, khususnya
perubahan kebijakan dan penciptaan konstituen untuk perubahan kebijakan.
Ada juga permasalahan dalam mengklasifikasikan suatu hasil ke dalam hasil jangka
pendek atau hasil antara. Tergantung pada titik awal inisiatif advokasi, beberapa hasil
jangka pendek yang tercantum pada Tabel 4.1 mungkin sebenarnya merupakan hasil
antara dan sebaliknya. Evaluator harus peka terhadap hal ini
menentukan waktu dan kematangan inisiatif APC dan mengembangkan garis waktu dan
urutan hasil yang sesuai dengan inisiatif mereka. Pada bagian ini, kami menjelaskan
dua kategori besar hasil antara: menetapkan landasan bagi perubahan kebijakan, dan
menciptakan konstituen untuk perubahan kebijakan.
Menetapkan Tahapan Perubahan Kebijakan
Meletakkan dasar untuk mencapai perubahan kebijakan, seperti perubahan bahasa

RUU atau mendapatkan dukungan pembuat kebijakan terhadap kebijakan tertentu,
merupakan pencapaian yang signifikan dan merupakan kemenangan kebijakan.
Mengembangkan studi kasus dan mengkarakterisasi seluruh sejarah suatu peraturan
perundang-undangan dengan menggunakan wawancara dengan para pembuat kebijakan
dan pihak-pihak berpengaruh lainnya serta tinjauan dokumen akan sangat membantu
dalam memahami perubahan suatu kebijakan dari waktu ke waktu. Jumlah, isi dan
kemajuan rancangan undang-undang, resolusi, dan peraturan, serta identifikasi sponsor
dan pendukungnya, dapat digunakan untuk menentukan apakah tujuan kebijakan yang diinginkan dapat d
Di Amerika Serikat, usulan kebijakan dapat dipantau menggunakan situs web legislatif
federal dan negara bagian, seperti thomas.loc.gov.
Tahap ini juga merupakan tahap ketika lembaga pemerintah, universitas, dan
lembaga think tank mengembangkan analisis kebijakan. Meskipun fokusnya adalah pada
dampak finansial dan kekuatan proposal kebijakan tertentu, analisis ini biasanya
memberikan informasi rinci tentang sifat masalah yang ditangani, sejarah yang
mendahuluinya, serta rekomendasi yang dimasukkan ke dalam undang-undang.
Meskipun biasanya tidak dianggap sebagai bagian dari perangkat evaluasi, analisis
kebijakan adalah metode yang dapat dengan mudah diadaptasi ke dalam desain
evaluasi yang memiliki banyak pilihan kebijakan.
Menciptakan Konstituensi untuk Perubahan Kebijakan
Memiliki basis dukungan yang luas dapat menjelaskan mengapa suatu kebijakan
dapat maju atau tidak, atau mengapa beberapa kebijakan memiliki arti yang lebih
besar dan lebih penting dalam agenda kebijakan dibandingkan kebijakan lainnya.
Mendokumentasikan konteksnya, termasuk budaya politik, kepentingan media, dan
dukungan publik, memberikan informasi mengenai sejauh mana inisiatif advokasi
telah berhasil meyakinkan targetnya secara lebih luas—publik, media, dan pembuat
kebijakan—dalam mendukung perubahan kebijakan. Demikian pula, pemeringkatan
kesadaran dan pemahaman pembuat kebijakan serta Metodologi Bellwether dapat
digunakan untuk menilai dukungan atau sikap pembuat kebijakan terhadap kebijakan tertentu.
Teknik Perubahan Paling Signifikan (MSC) dapat digunakan untuk mengidentifikasi
dan mendokumentasikan perubahan dalam peristiwa pendukung dan kritis. Metode
lain yang menarik perhatian media dan publik, seperti jajak pendapat publik dan
wawancara dengan media, dapat digunakan untuk mendokumentasikan jangkauan
suatu inisiatif, jika memang itu tujuannya. (Metode unik ini dijelaskan lebih rinci di
Bab 5.)
Hasil Jangka Panjang (5+ tahun)

Hasil jangka panjang, khususnya adopsi (atau kegagalan) kebijakan, merupakan
tindakan yang dihasilkan dari hasil antara dan termasuk dalam arena evaluasi
sumatif, meskipun hasil tersebut mungkin bukan hasil akhir jika penyandang dana
mendesak untuk mendapatkan informasi mengenai dampaknya. Sampai saat ini,
hasil jangka panjang dianggap aspiratif dan berada di luar jangkauan desain evaluasi
APC. Hal ini semakin berkurang karena hasil-hasilnya didefinisikan dengan lebih
baik, pendekatan evaluasi konvensional diadaptasi, dan instrumen-instrumen baru
dikembangkan untuk mendokumentasikan serangkaian hasil-hasil. Metode evaluasi
konvensional (khususnya studi kasus) telah terbukti sangat berguna untuk
menggambarkan hubungan antara hasil jangka pendek, menengah, dan panjang,
dan untuk mengatasi masalah atribusi. Studi kasus mengungkap berbagai faktor
dan kondisi serta memperjelas faktor-faktor kontekstual yang mempengaruhi inisiatif
advokasi, seperti budaya politik dan konteks sosial. Kombinasi tinjauan dokumen,
wawancara, dan pemeriksaan oleh pemangku kepentingan dapat digunakan untuk
menentukan hubungan antara strategi, taktik, pengaruh dan perubahan kebijakan,
serta efektivitas intervensi.
Kami menjelaskan tiga jenis hasil jangka panjang serta metode dan langkah evaluasi yang
disarankan: penerapan atau kegagalan kebijakan; implementasi kebijakan; dan konteks advokasi.
Adopsi atau Kekalahan Kebijakan
Mengesahkan undang-undang atau RUU bukanlah hal yang mudah, bahkan bagi pembuat kebijakan
berpengalaman yang menjadi fokus utama hal ini. Banyak hal yang bisa salah di banyak titik dalam
prosesnya. Sebuah RUU dapat disahkan oleh kedua majelis legislatif negara bagian dengan
dukungan bipartisan yang kuat, namun kemudian diveto oleh gubernur.
Di negara bagian yang melakukan proses referendum, undang-undang dapat dicabut. Namun, ada
titik waktu yang jelas ketika sebuah RUU disahkan dan dianggap disahkan. Sebuah RUU yang
diblokir pada setiap tahap pengambilan keputusan tidak selalu berarti kegagalan total dan
merupakan indikasi dukungan dan potensi keberhasilannya di kemudian hari jika RUU tersebut
dihidupkan kembali pada siklus legislatif berikutnya.
Evaluator mempunyai beberapa pilihan yang kuat untuk mengevaluasi adopsi kebijakan
panggung. Yang pertama dan terpenting, akan sangat membantu jika kita memiliki pengetahuan
tentang proses pengambilan keputusan dan kemajuan rancangan undang-undang saat RUU tersebut
melewati proses komite, DPR dan Senat, dan jika semuanya berjalan dengan baik, ke DPR. meja
gubernur atau presiden. Basis data legislatif dapat digunakan untuk mendokumentasikan tindakan
legislatif pada titik-titik tertentu dalam proses dan apakah suatu kebijakan diadopsi dan ditandatangani
menjadi undang-undang, atau apakah kebijakan tersebut diblokir dan alasannya. Kebijakan dapat
dengan mudah dihitung dan diberi kode, seperti status rancangan undang-undang (menunggu
keputusan, disahkan, gagal, diveto) dan elemen-elemen rancangan undang-undang (jumlah
pendanaan, arena kebijakan, populasi sasaran). Catatan pemungutan suara untuk suatu kebijakan
tertentu memberikan informasi tentang perubahan dukungan atau oposisi pembuat kebijakan, yang
dapat menjadi masukan bagi strategi advokasi, serta memberikan bukti bahwa kampanye yang
menargetkan pengambil keputusan efektif atau tidak. Misalnya, meningkatnya dukungan bipartisan
terhadap suatu isu kebijakan akan menjadi pertanda baik untuk disahkannya kebijakan tersebut di
kemudian hari. Yang terakhir, penggunaan studi kasus untuk mendeskripsikan suatu kebijakan dan
pendahuluan dari proses pembuatan kebijakan tersebut dengan menggunakan model perubahan
kebijakan akan sangat membantu para pendukung dan penyandang dana untuk menilai jangkauan
suatu rancangan undang-undang atau apakah dampaknya akan luas atau sempit, serta
mengidentifikasi peluang untuk melakukan tindakan lebih lanjut. mengadvokasi tindakan ketika kebijakan bergerak menu
panggung.
Bisa dibilang, penerapan atau hambatan suatu kebijakan bisa memakan waktu lama dan banyak
pencapaian yang terkadang mustahil, menjadikannya ukuran keberhasilan yang buruk dalam
banyak situasi. Metode kualitatif, khususnya wawancara pemangku kepentingan dan studi
kasus, berguna untuk mengkarakterisasi alasan suatu kebijakan diadopsi atau tidak dan faktor-
faktor kontekstual yang berkontribusi terhadap keberhasilan (atau kegagalannya). Misalnya,
Michael Quinn Patton (2008) menggunakan metode studi kasus Metode Eliminasi Umum
(GEM), yang menghilangkan penjelasan-penjelasan tandingan, untuk mengembangkan kasus-
kasus retrospektif terperinci yang menyimpulkan bahwa kampanye memang memberikan
kontribusi signifikan terhadap keputusan Mahkamah Agung AS. Selain itu, dokumentasi,
seperti liputan media, transkrip kesaksian komite, dan susunan kata dalam kebijakan,
menyediakan sumber informasi penting dan cocok untuk pendekatan analisis konten. Indikator-
indikator ini dapat digunakan untuk menilai apakah para advokat berhasil atau tidak
memberikan informasi dalam perdebatan dan mempengaruhi rumusan solusi kebijakan. Karena
lingkungannya tidak terlalu rumit, survei dapat dilakukan sebelum dan sesudah kebijakan
tersebut disahkan untuk menilai ketepatan implementasi, efektivitas, dan kepuasan terhadap
kebijakan tertentu (Reisman, Gienapp, dan Stachowiak 2007).
Implementasi Kebijakan
Tahap implementasi kebijakan dapat diurai menjadi beberapa poin keputusan penting yang
menjadi peluang bagi para advokat untuk melakukan intervensi.
Kesepakatan yang dibuat selama proses tersebut dapat merusak tujuan awal dari suatu kebijakan dan menghasilkan
rancangan undang-undang yang tidak mempunyai kekuatan di kemudian hari atau rancangan undang-undang yang terkooptasi.
Setelah ditandatangani menjadi undang-undang, suatu rancangan undang-undang biasanya
melalui proses penyusunan menjadi peraturan perundang-undangan. Meskipun lembaga-
lembaga publik mengawasi proses tersebut, individu, organisasi, dan kelompok yang
berkepentingan dapat mempertimbangkannya. Misalnya, sebuah asosiasi perdagangan dapat
diundang untuk menjadi anggota komite penasihat lembaga tersebut untuk membantu
mengembangkan metodologi pendanaan. Karena sebagian besar kebijakan berkaitan dengan
pendanaan, inilah saat yang tepat bagi para advokat untuk menggalang dukungan dari
pembuat kebijakan dan konstituen serta keahlian hukum dan keuangan. Tahapan ini cenderung
terjadi di belakang layar, meskipun beberapa isu kontroversial atau berdampak besar mungkin tetap menjadi soro
Studi kasus yang merinci keterlibatan pemangku kepentingan, taktik advokasi, dan dampak
finansial serta manfaat yang dirasakan sering kali digunakan untuk memberikan pemahaman
yang kuat tentang perubahan kebijakan dan dampaknya. Advokasi bisa-

kecepatan dan pemeliharaan upaya melalui tahap ini dapat dinilai dengan menggunakan alat
penilaian kapasitas yang tercantum di atas.
Alternatifnya, suatu kebijakan publik dapat digugat di pengadilan dan ketajaman ad-
vokasi dalam litigasi dan advokasi hukum dapat menjadi fokus evaluasi. Meskipun kurang
fokus dibandingkan jenis advokasi lainnya, hal ini merupakan arena yang penting. Menolak
suatu kebijakan merupakan sarana perubahan kebijakan yang sama kuatnya dengan
menggalang dukungan untuk penerapan suatu kebijakan. Pemahaman tentang proses hukum
dan skenario kebijakan alternatif akan sangat membantu tergantung pada keputusan
pengadilan.
Dalam banyak kasus, kemenangan dalam kebijakan dapat menghasilkan alokasi sumber
daya baru dan merupakan peluang untuk menunjukkan laba atas investasi dana hibah yang
positif kepada para advokat dan penerima manfaatnya. Dari sudut pandang pemberi dana,
terdapat keinginan untuk memahami model atau taktik mana yang harus ditingkatkan dan
diperluas. Biasanya advokasi merupakan salah satu dari banyak bidang dalam portofolio
sebuah yayasan dan biayanya harus dapat dipertanggungjawabkan.
Ini adalah bidang penilaian yang tidak mendapat dukungan luas dari evaluator APC dan
karena alasan yang baik. Sebagian besar analisis biaya sulit dilakukan dan memerlukan
keahlian dalam mengembangkan model keuangan dan mengaitkan nilai dolar pada upaya
advokasi. Pertanyaan mengenai atribusi dan hubungan antara taktik advokasi individu dan
pendanaan yang diperoleh melalui pengesahan rancangan undang-undang atau kebijakan
masih sangat lemah. Jika tidak ada keuntungan finansial, apakah ini berarti inisiatif advokasi
telah gagal? Ada juga permasalahan mengenai terbatasnya sumber daya dan apakah analisis
keuangan harus dilakukan dengan mengorbankan penilaian lain yang berpotensi lebih
informatif.
Terlepas dari keterbatasan ini, ada beberapa analisis terkait biaya yang dapat dimasukkan
dalam desain evaluasi APC. Misalnya, advokat dan evaluator dapat melakukan analisis “nilai
manfaat” sederhana dan melacak sumber daya yang mereka gunakan untuk taktik advokasi
tertentu dan membandingkan pengeluaran tersebut dengan hasil dari taktik tersebut dan
menentukan apakah dana tersebut dibelanjakan dengan baik (Hilt 2014).
Meskipun sulit untuk dilakukan, informasi dari analisis Pengembalian Investasi (ROI) atau
total keuntungan moneter dari kemenangan kebijakan dibagi dengan dana yang diinvestasikan
dalam advokasi untuk menentukan keuntungan finansial dari setiap dolar yang diinvestasikan
dapat memberikan informasi yang sangat penting bagi perencanaan strategis organisasi
advokasi dan penyandang dana, seperti apakah sumber daya digunakan secara efisien. Misalnya-
cukup banyak, Lisa Rangeli (2008) dan Komite Nasional untuk Filantropi yang Bertanggung Jawab
mampu menunjukkan bahwa untuk setiap dolar yang diinvestasikan dalam advokasi di New Mexico,
terdapat manfaat sebesar $157 bagi komunitas New Mexico, dan total manfaat berjumlah lebih dari
$2,6 miliar . Kami menggunakan pendekatan serupa untuk menunjukkan laba atas investasi yang positif
dari inisiatif penerima hibah multi-tahun. Namun, kami belajar bahwa fokus pada perolehan pendanaan
cenderung memberikan gambaran yang tidak lengkap tentang hasil dari kemenangan kebijakan
(Gardner, Geierstanger, Nascimento, dan Brindis 2011). Mengkarakterisasi aspek kualitatif suatu
kebijakan, baik pendanaan baru yang diperoleh atau pelestarian pendanaan, memberikan wawasan
mengenai taktik advokasi yang berhasil, seperti memberikan nasihat tentang formula alokasi.
Mendokumentasikan faktor-faktor keuangan yang lebih besar yang mempengaruhi keuntungan-
keuntungan ini, seperti anggaran dan tekanan ekonomi, dapat memprediksi keuntungan-keuntungan
di masa depan. Mendokumentasikan kemitraan, oposisi, budaya politik, dan upaya sebelumnya untuk
mendapatkan pendanaan memberikan pemahaman yang lebih lengkap tentang faktor-faktor nonmoneter
yang berkontribusi terhadap kemenangan kebijakan. Meskipun sebagian besar kebijakan berkaitan
dengan uang, uang mungkin hanya merupakan bagian dari cerita kebijakan.
Analisis ROI bersifat informatif, namun memiliki keterbatasan. Sulit untuk mendokumentasikan
setiap masukan yang mungkin berkontribusi terhadap keberhasilan kebijakan, terutama masukan yang
tidak termasuk dalam hibah. Selain itu, tidak semua keuntungan dapat diukur, seperti moratorium
pembangunan jalan bebas hambatan, yang berarti bahwa analisis ROI mungkin tidak mencakup seluruh
keuntungan ekonomi.
Tergantung pada rentang waktu dan akurasi dalam akuntansi dana, analisis biaya-manfaat atau
efektivitas biaya dapat dilakukan dan melacak dana yang diterima hingga ke penerima manfaat utama
dan melakukan lebih banyak upaya.
analisis canggih mengenai dampak. Kedua pendekatan ini mengkaji hubungan antara biaya dan hasil
program dengan tujuan menghasilkan dampak terbesar. Analisis biaya-manfaat fokus pada hasil
moneter, seperti sumber daya federal yang diarahkan ke negara bagian karena kebijakan untuk
memperluas layanan program. Analisis efektivitas biaya terhadap dampak kebijakan ini akan berfokus
pada biaya perluasan program negara untuk melaksanakan program yang jauh lebih besar.
Para pemberi dana juga tertarik untuk melihat bagaimana dukungan mereka dapat dimanfaatkan
untuk keuntungan finansial lainnya, baik itu berupa donasi finansial, politik, atau barang.
Bagi penerima hibah advokasi dan perubahan kebijakan, hal ini dapat diterjemahkan ke dalam kebijakan
yang membentuk perubahan dalam komunitas mereka (seperti kebijakan pengembangan lahan)
dan kebijakan yang meningkatkan atau mempertahankan pendanaan untuk program yang diinginkan.
Pendanaan yang terkait dengan rancangan undang-undang atau tindakan tertentu relatif mudah
dikumpulkan dan dilacak dan dapat menjadi indikator proksi yang baik mengenai dampak jangka
panjang terhadap penerima manfaat. Selain itu, informasi keuangan dapat dikumpulkan dan
dianalisis secara longitudinal untuk satu atau beberapa kebijakan sebagai indikator upaya yang
dilakukan. Tantangannya adalah menghubungkan sebagian atau seluruh perubahan dengan strategi
hibah atau advokasi tertentu, khususnya jika penyandang dana ingin memahami keuntungan dari
investasinya.
Kegiatan pemantauan dan evaluasi kebijakan pada tahap implementasi kebijakan berfokus
pada pertanyaan mengenai kesetiaan (fidelity): Apakah undang-undang diimplementasikan sesuai
dengan tujuannya, sehingga menghasilkan program atau layanan yang sesuai dengan undang-
undang? Misalnya, kebijakan tingkat negara bagian mungkin mendelegasikan tanggung jawab
kepada daerah untuk mengalokasikan dana, sehingga meningkatkan kemungkinan perbedaan
dalam implementasi dan dampak program. Para evaluator dapat memanfaatkan arena evaluasi
kebijakan, ilmu-ilmu implementasi, serta tradisi panjang ilmu politik mengenai implementasi
kebijakan, untuk melakukan studi lanjutan ini.
Konteks Advokasi
Bagi banyak aktivis, perbaikan kebijakan bukanlah satu-satunya tujuan akhir dan terdapat niat untuk
membangun aliansi, kemitraan, dan jaringan yang stabil dan berpengaruh yang mendukung
perubahan struktural permanen dalam arena atau isu kebijakan. Terdapat pergeseran dari silo
advokasi menjadi sekutu advokasi dan peningkatan keterlibatan publik dan individu. Berdasarkan
teori gerakan sosial dan jaringan koalisi advokasi, hal ini merupakan bidang yang mendapatkan
perhatian dalam komunitas evaluasi. Fokus evaluasi bisa sangat luas, berfokus pada perubahan
individu, jenis kelompok konstituen, organisasi, dan lembaga.
Pendekatan evaluasi konvensional dapat digunakan untuk mengkaji perubahan dalam
hubungan politik dan keterlibatan pemangku kepentingan. Para pengambil keputusan dan
pemimpin jangka panjang dapat diwawancarai mengenai perubahan nyata dalam dialog kebijakan
dan konteks politik, seperti perluasan dan/atau pendalaman kesadaran, pergeseran ideologi, dan
munculnya suara-suara baru yang kuat. Analisis jaringan sosial dapat digunakan untuk menentukan
apakah kuat, stabil

jaringan dan aliansi advokasi dipertahankan, memastikan dukungan (atau oposisi)

yang berkelanjutan terhadap kebijakan atau isu tertentu.
Menilai Dampak Advokasi dan Perubahan Kebijakan

Evaluator APC dan seluruh arena evaluasi terus bergulat dengan
menghadapi kesulitan dalam mengevaluasi dampak kampanye atau kebijakan advokasi

tertentu terhadap sasarannya, baik individu, lingkungan, perekonomian, atau masyarakat
sipil. Di satu sisi, sulit atau bahkan tidak mungkin untuk menunjukkan hubungan sebab-
akibat antara strategi advokasi, seperti pengorganisasian masyarakat, dan perubahan
dalam masyarakat sipil.
Sulit juga untuk memisahkan suatu kebijakan tertentu dari faktor-faktor lain yang
berkontribusi, seperti perubahan dalam perekonomian. Ada yang berargumentasi bahwa
fokus pada dampak merupakan pengalih perhatian dari fokus pada fitur-fitur utama dari
sebuah inisiatif atau kontribusi dari sebuah inisiatif advokasi dan bagaimana inisiatif
tersebut mencapai hasilnya (Carden 2004). Yang terakhir, dampaknya mungkin tidak
berada dalam lingkup atau jangkauan pengaruh advokasi dan mungkin baru terlihat
bertahun-tahun setelah inisiatif advokasi dilakukan.
Respons bidang APC adalah dengan lebih fokus pada kontribusi dibandingkan
atribusi, dengan fokus pada peran yang dimainkan oleh para advokat dalam konteks
yang lebih luas dan mengembangkan pemahaman yang mendalam tentang hubungan
antara advokasi, perubahan kebijakan, dan dampak. Pemeriksaan ini layak dilakukan
karena beberapa alasan, termasuk: menunjukkan pentingnya perluasan kapasitas
advokasi; meningkatkan kinerja dan akuntabilitas program; meningkatkan dukungan
terhadap isu kebijakan; dan memberikan arahan untuk advokasi dan kebijakan di masa
depan. Meskipun akuntabilitas sangat ditekankan (khususnya oleh penyandang dana),
masih banyak yang perlu dipelajari mengenai keberhasilan praktik advokasi pada tahap
akhir ini.
Evaluator APC menggunakan metode kualitatif—pelacakan proses, analisis sistem,
jurnal kemajuan, dan Metode Eliminasi Umum (GEM)—untuk mengeksplorasi mekanisme
sebab akibat dan kontribusi relatif dari berbagai taktik advokasi terhadap perubahan
kebijakan. Mereka juga menggunakan proses enam langkah John Mayne (2012) untuk
memverifikasi teori perubahan dan cukup berhasil. Keenam langkah tersebut adalah:
1. Definisikan masalah atribusi

2. Mengembangkan teori perubahan

3. Kumpulkan bukti
4. Merakit dan menilai teori kontribusi

5. Carilah bukti tambahan
6. Merevisi dan memperkuat cerita kontribusi
Kisah kontribusi yang masuk akal akan terbentuk ketika terdapat kesepakatan yang
tinggi dari para pemangku kepentingan. Cerita ini digunakan untuk menilai faktor-
faktor yang dianggap mempunyai kontribusi signifikan atau kecil, seperti insentif
finansial dan penalti.
Terdapat pendekatan-pendekatan lain dalam melakukan analisis kontribusi, namun
pendekatan-pendekatan tersebut mempunyai ciri-ciri serupa, khususnya pengumpulan
bukti untuk mengkonfirmasi atau menolak kontribusi. Misalnya, evaluator APC Tanya
Beer dan Julia Coffman (2015) menjelaskan tiga alat, selain analisis kontribusi, yang
dapat digunakan penyandang dana untuk menilai kontribusi penerima hibah terhadap
upaya advokasi: (1) bank soal atau menanyakan kepada penerima hibah tentang
peran yang dimainkan oleh mereka. sekutu advokasi dan hasil sementara yang ingin
mereka capai; (2) pelaporan terstruktur mengenai peran dan kontribusi unik penerima
hibah; dan (3) panduan wawancara mitra eksternal untuk mengumpulkan informasi
mengenai kontribusi penerima hibah karena mereka memandang organisasi berfungsi.
Rekonstruksi secara cermat jalur dari hasil hingga dampak dapat dilakukan dengan
tinjauan dokumen dan triangulasi dengan wawancara pemangku kepentingan yang
mewakili perspektif berbeda.
Selain itu, studi kasus dapat dimasukkan ke dalam evaluasi selama tahap formatif
untuk memantau suatu inisiatif dan menilai dampaknya, seperti teknik Perubahan
Paling Signifikan (MSC), yang merupakan metode studi kasus induktif. Disebut sebagai
“pemantauan tanpa indikator,” teknik ini mewujudkan prinsip-prinsip demokratis
partisipasi pemangku kepentingan sekaligus memberikan informasi evaluasi formatif
dan sumatif. Ini merupakan alternatif dari indikator kuantitatif dan memberikan
informasi tentang perubahan paling signifikan yang terjadi pada peserta program
selama periode pelaporan. Peserta menjelaskan mekanisme dan jalur perubahan,
memberikan informasi mendalam tentang siapa yang terlibat, apa yang terjadi, di
mana hal itu terjadi, dan mengapa. Kedua, peserta harus mantan
jelas apa yang membuat perubahan tertentu menjadi signifikan atau apa dampaknya
terhadap kehidupan masyarakat. Ini bisa berupa perubahan positif atau negatif.
Deskripsi ini ditinjau oleh pemangku kepentingan di berbagai tingkatan dan dapat
digunakan untuk menilai kinerja program. Informasi sumatif yang terperinci ini dapat
dikaitkan dengan hasil model logika sebagai bukti keberhasilan, sekaligus meletakkan
dasar bagi analisis kontribusi (Dart 2000).
Kami menjelaskan empat jenis dampak serta metode dan tindakan terkait:
perubahan sistem; mengubah hidup; norma sosial; dan memperluas demokrasi.
Perubahan Sistem
Kekuatan pendorong di belakang banyak inisiatif APC adalah keinginan untuk

mencapai perubahan jangka panjang di tingkat sistem, mulai dari memperkuat
institusi yang membentuk kehidupan kita sehari-hari (seperti sekolah negeri) hingga
mengatasi kondisi yang berkontribusi terhadap buruknya kesehatan (seperti
kemiskinan). dan ketidaksetaraan gender). Kebijakan yang lebih baik adalah sarana
untuk menegakkan hak-hak dan meluncurkan program dan layanan yang dapat
membawa perubahan di seluruh komunitas, populasi, negara bagian, atau bangsa.
Meskipun tidak diragukan lagi merupakan bukti terkuat keberhasilan APC, hasil di
tingkat sistem bisa menjadi hal yang paling sulit untuk dinilai, karena hasil tersebut
mungkin terjadi setelah kebijakan disahkan. Atau dampaknya mungkin begitu tersebar
pada populasi yang besar sehingga memerlukan sumber daya dan keahlian yang
besar dalam pengambilan sampel dan administrasi survei skala besar.
Terdapat juga perbedaan dalam jenis perubahan sistem yang memerlukan
kerangka evaluasi dan metrik yang berbeda, seperti kebijakan penggunaan lahan
skala besar yang dapat didokumentasikan menggunakan pemetaan GIS. Kerangka
kerja yang disesuaikan untuk mengevaluasi arena yang kompleks ini mulai
bermunculan. Misalnya, Grantmakers for Effective Organizations (GEO)
mengembangkan kerangka evaluasi berbasis tempat yang mencakup indikator
konteks dan hasil politik, ekonomi, dan budaya seperti perubahan kepemimpinan dan
keterlibatan masyarakat serta tindakan kolektif (Community Science 2014 ). Selain
itu, kerangka evaluasi perubahan sistem sedang dikembangkan yang dapat membantu
pengembangan teori perubahan yang mencerminkan pemahaman yang lebih rumit
tentang “sistem” dan identifikasi pernyataan hasil yang sesuai. Misalnya, Im-
pakta, Pengaruh, Leverage, dan Pembelajaran Kerangka Hasil I2L2 yang

dikembangkan oleh Organizational Research Services (ORS) memperluas fokus
evaluasi untuk mencakup hasil di tingkat populasi, serta pengaruh, pengaruh, dan
hasil pembelajaran, bukan hanya di tingkat individu hasil (Re-isman, Gienapp, dan
Kelly 2015). Alat berpikir sistem, seperti diagram lingkaran sebab akibat dan pemetaan
sistem, dapat digunakan untuk membuat diagram inisiatif dan dampaknya. Misalnya,
Evaluator APC Julia Coffman dan Tanya Beer menggunakan pemetaan sistem,
khususnya pembuatan diagram lingkaran sebab akibat, sebagai bagian dari evaluasi
perkembangan Inisiatif Madison dari Hewlett Foundation, sebuah upaya untuk
menciptakan kondisi di mana Kongres AS dapat mempertimbangkan masalah
kebijakan. . Analisis jaringan sosial dapat digunakan untuk memetakan pemangku
kepentingan dan hubungan mereka sambil mengidentifikasi node atau pemberi
pengaruh.
Namun, seperti yang dikemukakan oleh evaluator Hallie Preskill dan Srik Gopal
(2015), banyak metode evaluasi kuantitatif dan kualitatif, seperti wawancara, analisis
jaringan sosial, metode evaluasi cepat (RE), analisis kontribusi, dan studi kasus,
dapat digunakan dalam evaluasi perubahan sistem dengan hasil yang baik.
Mengubah Kehidupan
Perubahan kebijakan bertujuan untuk meningkatkan kesejahteraan manusia dan

meningkatkan kesejahteraan spesies hidup lainnya serta planet bumi secara
keseluruhan. Sebagai akibat dari pergerakan hasil di awal tahun 2000an dan
pergeseran dalam menilai dampak program terhadap penerima manfaat yang
diharapkan, para pendukung APC dimintai pertanggungjawaban atas dampak
perubahan kebijakan terhadap populasi sasarannya atau komunitas yang lebih luas.
Praktik evaluasi APC tidak terlalu tertantang dalam menilai dampak program dan
layanan sosial yang dihasilkan dari perubahan kebijakan, dan APC dapat dengan
mudah menerapkan pendekatan evaluasi program konvensional, seperti desain
eksperimental dan kuasi-eksperimental terhadap prioritas ini. Desain eksperimental
dapat digunakan untuk mengevaluasi apakah program baru lebih efektif dibandingkan
program yang sudah ada, atau tidak ada program sama sekali. Namun,
menghubungkan dorongan advokasi dengan perubahan mendasar dalam kehidupan
individu merupakan hal yang sulit, dan evaluator APC terpaksa menggunakan teknik
Perubahan Paling Signifikan (MSC) untuk “menghubungkan titik-titik” dan menunjukkan kontribusi inisia
Di sisi lain, mengevaluasi perubahan dalam hak-hak individu, populasi, dan

yang terbaru, hak-hak hewan, tidaklah mudah. Jenis hak dan peran negara
dalam menghormati, melindungi, atau memenuhi hak tersebut bergantung pada
konteks dan permasalahan itu sendiri. Dipicu oleh banyaknya krisis kemanusiaan
yang semakin sering terjadi, penanganan kasus-kasus pelanggaran hak asasi
manusia, seperti melindungi warga sipil dari konflik bersenjata, mendapatkan
pengakuan dari para pembuat kebijakan. Evaluator Rhonda Schlangen (2014)
merangkum tantangan dalam mengevaluasi advokasi hak asasi manusia atau
dimensi moral dan hukum yang mendasari arena ini dan kesalahan persepsi
evaluasi sebagai kegiatan yang berfokus pada tindakan dan akuntabilitas. Dia
memberikan argumen persuasif untuk membangun budaya evaluasi dan
mengajarkan para pendukung bagaimana bekerja dengan proses Pemantauan
dan Evaluasi (ME).
Norma sosial
Sebagai kategori hasil yang berasal dari komunitas evaluasi APC, norma
sosial didefinisikan sebagai “pengetahuan, sikap, nilai dan perilaku yang
membentuk struktur normatif budaya dan masyarakat” (Reisman, Gienapp,
dan Stachowiak 2007) . Dianggap sebagai prasyarat dan hasil dari perubahan
kebijakan, penilaian perubahan nilai-nilai sosial (seperti hak-hak perempuan)
biasanya memerlukan pemeriksaan sebelum/sesudah terhadap pengetahuan,
sikap, dan perilaku masyarakat. Disebut sebagai “pendekatan pemasaran
norma sosial,” pendekatan evaluasi mencakup analisis liputan media dan
bagaimana isu-isu disajikan, jajak pendapat publik, kelompok fokus, dan
wawancara dengan pembuat kebijakan (Mansfield 2010). Pendekatan lainnya
adalah apa yang disebut “advokasi keadilan sosial,” seperti advokasi yang
menyasar kesenjangan sosial, kesenjangan gender, atau kesetaraan
pernikahan. Untuk mengarahkan para evaluator, Barbara Klugman (2010)
mengidentifikasi tiga nilai yang terjalin melalui banyak kampanye advokasi
keadilan sosial yang dapat digunakan untuk memfokuskan desain evaluasi dan
pemilihan hasil atau distribusi sumber daya yang adil, persamaan hak asasi manusia, dan keter
Memperluas Demokrasi
Meskipun tidak selalu menjadi tujuan utama dari inisiatif advokasi dan perubahan
kebijakan, memperluas keterlibatan masyarakat serta jumlah dan jenisnya
suara di arena politik adalah hasil dari banyak inisiatif APC. Dalam masyarakat yang terbuka
dan pluralistik, tujuannya mungkin adalah untuk meningkatkan kemitraan antara advokat dan
pembuat kebijakan, serta memperluas pilihan kebijakan yang mencakup suara dan keterlibatan
kelompok yang paling terpinggirkan, yang seringkali kurang terwakili kecuali jika advokasi
dilakukan. efektif. Di masyarakat yang masih dalam tahap awal proyek pembangunan demokrasi
atau masyarakat sipil memiliki kapasitas advokasi yang terbatas, fokusnya lebih pada
pemberdayaan dan membangun basis dukungan, seperti meningkatkan peluang untuk
mendidik para pengambil keputusan. Dalam kedua skenario tersebut, tujuannya adalah untuk
memperluas tumpang tindih antara masyarakat sipil dan arena kebijakan sehingga terdapat
partisipasi yang berkelanjutan di masa depan (Mansfield 2010). Mirip dengan pendekatan
evaluasi norma-norma sosial, para pemangku kepentingan juga dapat ditanyai tentang
perubahan dalam budaya politik dari waktu ke waktu, seperti siapa yang dapat berpartisipasi
dan siapa yang tidak, serta perubahan dalam sarana komunikasi, seperti cara pengambil
keputusan menjangkau masyarakat. pendukung.
Singkatnya, tujuan kami adalah untuk memberikan ringkasan masukan, keluaran, hasil,
dan dampak serta metode dan tindakan terkait yang dapat diterapkan pada berbagai inisiatif
advokasi dan perubahan kebijakan serta dapat menjadi masukan dalam rancangan evaluasi.
Mirip dengan Bab 3, kita beralih ke temuan dari Survei Evaluasi APC Aspen/UCSF mengenai
kegunaan dan penggunaan banyak metode yang disebutkan di atas dan perbandingan desain
dan metode dari dua kasus evaluasi untuk mengambil “denyut nadi” dari lapangan.
PRAKTEK EVALUASI : PENGGUNAAN METODE ULNESS,

METODE YANG DIGUNAKAN
Hasil Survei Evaluasi APC Aspen/UCSF menunjukkan bahwa penilai advokasi dan perubahan
kebijakan mempunyai banyak akal dan akan mempertimbangkan untuk memasukkan banyak
metode konvensional (seperti wawancara, kelompok fokus,
dan tinjauan dokumen) dan metode APC yang unik (seperti penilaian kapasitas advokasi dan
pembekalan yang intens). Tabel 4.2 mencantumkan metode-metode yang berguna dan
digunakan, serta metode-metode yang mungkin tidak banyak digunakan saat ini namun
mempunyai potensi untuk memajukan praktik evaluasi. Tidak mengherankan, pendekatan-
pendekatan yang dinilai lebih tinggi dalam hal “kegunaan” hampir sama dengan pendekatan-
pendekatan yang dilaporkan sebagai pendekatan yang paling “digunakan” oleh responden atau peninjauan dokum
Tabel 4.1. Advokasi dan Perubahan Kebijakan Input/Output/Outcome/Dampak,

Indikator, dan Metode Pengumpulan Data
Masukan, Keluaran, Hasil, Indikator Metode Pengumpulan Data

Dampak
Input (sumber daya yang dibutuhkan)
Infrastruktur organisasi: Kemampuan Instrumen penilaian

* Taktik advokasi, misalnya advokasi advokasi organisasi kapasitas (advokat, koalisi)
media, lobi, kampanye membangun untuk melakukan taktik
kemauan publik, penyampaian pesan advokasi Tinjauan dokumen: internal
* Pengembangan kepemimpinan Pengetahuan dan keterampilan pelacakan dokumen, analisis

* Jaringan advokasi anggota kebijakan
* Kemampuan beradaptasi yang strategis
organisasi Wawancara dengan advokat,
* Analisis penelitian dan kebijakan Komunikasi pengamat
* Pengorganisasian komunitas dengan kelompok lain Pendekatan Evaluasi Cepat

* Membangun koalisi, bermitra yang berkoalisi (RE).
*
Sumber daya, misalnya, waktu Kemampuan untuk merencanakan
staf, keuangan strategi advokasi
* Perencanaan dan evaluasi Kemampuan untuk mengambil dan

menggunakan
Kemampuan untuk
berkolaborasi dengan
sektor lain, advokasi
Basis dukungan Jumlah afiliasi Analisis jaringan sosial

*
Dinamika kekuasaan kelompok Pemetaan pengaruh
* Analisis pemangku kepentingan Ukuran keanggotaan Survei anggota koalisi
Pemimpin lokal yang terlatih Teknik berpikir sistem
Organisasi warga Pendekatan Evaluasi Cepat
(RE).
Output (apa yang dihasilkan oleh proyek)
Advokasi kinerja Kemajuan dalam Instrumen penilaian

mengembangkan dan melaksanakankapasitas
strategi
Tentukan yang mana Pemantauan, Evaluasi dan
kegiatan kerja adalah Pembelajaran (MEL)
dilaksanakan dan yang mana Pendekatan Evaluasi Cepat
tidak (RE).
Survei mengenai taktik advokasi
Studi kasus inisiatif
Tinjauan dokumen: penerima hibah/

mengadvokasi laporan kemajuan dan
anggaran
Grup fokus
Bingkai log
Diagram laba-laba

Indikator, dan Metode Pengumpulan Data (lanjutan)

Dampak
Memperkuat aliansi dan kemitraan # dan jenis Survei anggota jaringan/koalisi
komunikasi antar anggota
dan berbagi informasi Analisis Jaringan Sosial
Wawancara
# dan jenis organisasi

anggota
Perjanjian untuk
berkolaborasi
(misalnya MOU)
Mempengaruhi pemahaman # pertemuan dengan Wawancara pembuat kebijakan

dan dukungan pembuat kebijakan pengambil keputusan Survei Pemeringkatan Pengambil Kebijakan
# panitia
presentasi
# permintaan
informasi, pertemuan oleh
pengambil keputusan dan
stafnya
Budidaya juara # dan tipe juara yang dibina Kartu Skor Juara
# pertemuan dengan
juara
# dan jenis
komunikasi dengan
champion
# dan jenis presentasi
publik oleh para
pemimpin
Pembangunan kemauan dan Acara diadakan Pelacakan keanggotaan

keterlibatan publik # dan jenis Pelacakan kehadiran
peserta, anggota Alat penilaian kapasitas
Pertemuan dengan pengambil pengorganisasian masyarakat
keputusan
Pembingkaian pesan dan

arti-penting


Dampak
Melibatkan media # kontak media dan Sistem pelacakan media
permintaan Layanan kliping
Jumlah dan jenis liputan
media yang diperoleh
(misalnya media
cetak, radio, internet)
# Op-ed, surat kepada editor
# kutipan advokat di media
# artikel dengan
kerangka isu pilihan
# juru bicara advokat yang
terlatih
Penggunaan media
sosial (misalnya, # tweet)

Partisipasi dalam acara bincang-
bincang
Analisis penelitian dan kebijakan # dan jenis proposal Pembuat kebijakan dan
kebijakan wawancara berpengaruh lainnya
# dan jenis ringkasan Survei sesi forum

kebijakan
# dan jenis forum kebijakan
Diseminasi: masyarakat,
pengambil kebijakan
Modus didistribusikan:
liputan media, literatur peer-

review, blog, situs web
Jangkauan: unduhan,
kunjungan situs web, kutipan,
hand-out
Perluas basis pengetahuan



Dampak
Hasil (perubahan apa yang terjadi)
Hasil Jangka Pendek dan Sementara
Ketentuan perdebatan Sifat wacana pada Jajak pendapat publik

masalah Analisis konten – media
Opini publik Analisis dokumen
Profil masalah dan penyebabnya
ditempatkan dalam agenda

publik/politik
Jangkauan – cakupan, visibilitas
Memperkuat aliansi dan kemitraan # dan jenis kemitraan antar Survei penilaian kolaborasi/kemitraan
anggota jaringan/koalisi
Indeks Keselarasan
Keselarasan di antara mitra, Analisis Jaringan Sosial
kolaborator Tinjauan dokumen
# dan jenis tindakan kolaboratif Skala intensitas kolaborasi

yang dilakukan
Pendanaan terjamin Wawancara dengan anggota
Keberlanjutan kegiatan koalisi
Sektor-sektor baru terwakili Q-metodologi

Dukungan rekan
Penyelarasan bidang advokasi,
nilai-nilai
Mempengaruhi pemahaman Pengetahuan pembuat kebijakan, Survei terhadap pengambil

dan dukungan pembuat kebijakan. dukungan terhadap suatu kebijakan keputusan dan stafnya
Mengubah kemauan politik # masalah yang disebutkan di Grup fokus

pidato atau debat pembuat Wawancara dengan advokat,
kebijakan pembuat kebijakan
Persepsi pembuat kebijakan Metodologi Pemimpin
terhadap efektivitas advokasi Kartu Skor Juara
ness, kredibilitas Survei Pemeringkatan Pengambil Kebijakan
Kualitas advokat/ Debrief Periode Intens
hubungan pembuat Protokol
kebijakan, misalnya,
menjaga keterlibatan
# dan jenis tagihan yang
diperkenalkan
# sponsor bersama atau
penandatangan tagihan
# suara menentang RUU

Catatan pemungutan suara para
pembuat kebijakan


Dampak
Pembangunan kemauan dan Kesadaran, pengetahuan, dan Grup fokus
keterlibatan publik sikap terhadap suatu masalah Jajak pendapat publik
kebijakan Tinjauan dokumen
# warga yang Wawancara
melakukan advokasi Pertemuan, observasi acara
Perubahan kesediaan untuk Survei
mengambil tindakan
terhadap masalah tertentu
Partisipasi dalam politik

acara
Jumlah pemilih
Melibatkan media Sifat hubungan dengan media, Sistem pelacakan media

misalnya sumber (kontak, liputan)
yang berkelanjutan dan kredibel Wawancara dengan media
Framing, misalnya perwakilan

penempatan cerita, Analisis konten
pesan pada media cetak Survei Pemeringkatan Pengambil Kebijakan
Pengetahuan dan dukungan
masyarakat, pembuat kebijakan
Jangkauan media sosial,

misalnya # unduhan podcast,
pengikut Twitter
Hasil Antara (evaluasi sumatif)

Perubahan Kebijakan – prepassage #, konten, sponsor, dan kemajuan Analisis kebijakan
RUU, resolusi, peraturan Sistem pelacakan legislatif
Tinjauan dokumen
Kebijakan mencerminkan Komite Pemantau

prioritas advokasi Wawancara dengan tokoh-tokoh berpengaruh,
pengambil kebijakan, dan tokoh-tokoh pendukung
Debrief Periode Intens

Protokol
Menciptakan konstituensi untuk Dukungan pengambil kebijakan Wawancara pembuat kebijakan

perubahan kebijakan terhadap kebijakan, Survei Pemeringkatan Pengambil Kebijakan
menurunnya dukungan terhadap oposisiWawancara media
Liputan media dalam Analisis isi media

mendukung kebijakan Jajak pendapat opini publik
Partisipasi masyarakat dalam Teknik Perubahan Paling
acara-acara, misalnya balai Signifikan
kota, kesaksian, pertemuan Metodologi Pemimpin
dengan pengambil keputusan Kartu Skor Juara
Debrief Periode Intens
Protokol


Dampak
Hasil Jangka Panjang
Penerapan atau kekalahan kebijakan Status kebijakan (disahkan, Sistem pelacakan legislatif
dikalahkan, diveto, Studi kasus
dicabut) Catatan pemungutan suara pembuat kebijakan
Populasi target Debrief Periode Intens
Dukungan pembuat Analisis kontribusi

kebijakan (bipartisan, tingkatan) Metode Eliminasi Umum
Kontribusi inisiatif Debrief Periode Intens
advokasi Protokol
Luasnya reformasi kebijakan

Jenis
kebijakan (inkremental,
baru, radikal)
Kaitan kebijakan dengan arena
kebijakan lainnya
Implementasi kebijakan Mendukung partisipasi dalam Studi kasus
penyusunan peraturan dan Analisis keuangan, misalnya ROI,

regulasi manfaat biaya, efektivitas biaya
Pendanaan terjamin Analisis putusan pengadilan
Tantangan hukum Metode ilmu implementasi
Kesesuaian
implementasi dengan tujuan
kebijakan
konteks advokasi Konteks politik Wawancara dengan pengambil kebijakan,
Ruang demokrasi tokoh berpengaruh, tokoh pendukung
Peningkatan kepemimpinan Analisis Jaringan Sosial

Jaringan yang kuat dan stabil Survei anggota koalisi
Grup fokus
Analisis kekuatan
Teknik Perubahan Paling
Signifikan
Tabel 4.1. Advokasi dan Perubahan Kebijakan Input/Output/Outcome/Dampak, Indikator, dan Metode
Pengumpulan Data (lanjutan)
Masukan, Keluaran, Hasil, Dampak Indikator Metode Pengumpulan Data
Dampak (perubahan penerima manfaat kebijakan, masyarakat sipil)

Perubahan sistem Perubahan kondisi ekonomi, lingkungan fisik, Studi kasus
kejahatan dan keamanan Analisis kontribusi

Metode Eliminasi Umum
Penilaian Advokasi
Peningkatan akses Kerangka
terhadap layanan kesehatan, Penilaian Hasil CEPAT
pendidikan, layanan sosial Metode berpikir sistem
Perubahan institusi, Analisis Jaringan Sosial
misalnya akuntabilitas, Pendekatan Evaluasi Cepat
transparansi (RE).
Perubahan kemauan politik GIS dan dokumentasi
Sumber daya berkelanjutan konservasi
Kinerja sistem
Kesadaran masyarakat
akan inisiatif
Perubahan kebijakan,
misalnya pembuatan
kebijakan “kesehatan untuk semua”.
Mengubah hidup Penguatan hak asasi Teknik Perubahan Paling

manusia, seperti Signifikan
pangan, pendidikan, kesehatan Eksperimental, desain
Peningkatan kesehatan quasi-eksperimental, misalnya,
dan kesejahteraan (manusia, tingkat kelulusan sekolah menengah
hak-hak hewan, lingkungan) atas, penurunan obesitas
Studi kasus
Pendekatan Evaluasi Cepat

(RE).
Norma sosial Perubahan nilai, Pembingkaian isu di media
sikap dan perilaku Jajak pendapat publik
Grup fokus
Wawancara dengan pembuat kebijakan,
pemangku kepentingan


Dampak
Memperluas ruang demokrasi Peningkatan Wawancara
keterlibatan dan Grup fokus

kolaborasi masyarakat
Peningkatan hubungan
kekuasaan
Meningkatnya suara masyarakat
dalam arena pembuatan kebijakan

Peningkatan efektivitas
kerja masyarakat sipil
Sumber: Innovation Network, Inc.; Guthrie dkk. 2005; Guthrie, Louie, dan Foster
2006; Foster dan Louie 2010; Chapman dan Wameyo 2001; Laney 2003; Coe
dan Majot 2013; Coffman dan Bir 2015; Mengevaluasi Perubahan Komunitas
2014; Grup TCC 2012.
(99 persen), wawancara (98 persen), dan formulir umpan balik, kuesioner, dan survei (98
persen). Terlepas dari kompleksitas dan/atau ketidakpastian inisiatif APC, hampir semua
responden (98 persen) mengatakan bahwa mereka menggunakan teori perubahan dalam
praktik evaluasi mereka, dan menilai kegunaannya tinggi (3,6 dari 4, dimana 4 = “sangat
berguna”).
Metode yang dinilai kegunaannya sangat tinggi (3,0 ke atas) namun tingkat penggunaannya
lebih rendah (di bawah 60 persen “digunakan”) mungkin merujuk pada metode yang berguna
dalam situasi tertentu atau metode yang mulai mendapat perhatian dalam penggunaannya.
Hal ini mencakup: pembekalan yang intens (57 persen); pemetaan sistem (55 persen); analisis
keuangan (53 persen); pemetaan hasil (49 persen); jajak pendapat publik (48 persen);
kumpulan cerita dan jurnal (45 persen); peringkat pembuat kebijakan (39 persen); dan teknik
perubahan paling signifikan (28 persen). Kemungkinan besar, perluasan perangkat evaluasi
APC secara bertahap ini akan mencirikan kondisi pertumbuhan APC dalam waktu dekat.
Alternatifnya, metode evaluasi yang dinilai kegunaannya lebih rendah dari 3,0 mungkin
merupakan metode yang kehilangan daya tarik dalam komunitas evaluasi APC, seperti
benchmarking (75 persen), atau belum membuktikan kegunaannya, seperti observasi
terstruktur (58 persen), pembuat kebijakan

survei (49 persen), dan analisis jaringan sosial (51 persen). Alternatifnya, metode-
metode ini mungkin kurang berguna karena masalah kelayakan, seperti waktu dan
keahlian yang diperlukan untuk melakukan analisis jaringan sosial, masalah akses,
seperti survei pembuat kebijakan, atau terbatasnya penerapan, seperti analisis
media sosial. Atau dalam hal benchmarking, metode ini terbukti kurang bermanfaat
dibandingkan metode lainnya.
Mirip dengan Bab 3, kami melihat dua kasus evaluasi untuk melihat metode
mana yang digunakan dan dalam kondisi apa, serta sejauh mana kasus tersebut
mencerminkan temuan Survei.
PRAKTEK EVALUASI:
DUA KASUS EVALUASI
Untuk bab ini, kami membandingkan dua desain evaluasi titik tengah dari dua
inisiatif advokasi dan perubahan kebijakan yang sangat berbeda: evaluasi Kampanye
Oxfam GROW, sebuah kampanye multinasional untuk mengatasi ketidakadilan
pangan, termasuk kampanye enam bulan yang menargetkan kebijakan penggunaan
lahan Bank Dunia; dan evaluasi Kampanye Konservasi Tanah Internasional Pew
Charitable Trust untuk melestarikan hutan tua dan memperluas kawasan hutan
belantara di Kanada dan Australia. Kedua inisiatif ini mencari kemenangan
kebijakan yang spesifik dengan menggunakan serangkaian aktivitas taktik yang
serupa termasuk lobi, advokasi langsung kepada pengambil keputusan, keterlibatan
publik, liputan media, serta penelitian dan analisis kebijakan. Meskipun terbatas
pada jangka waktu yang singkat, evaluator bekerja dengan penyandang dana untuk
mengembangkan desain evaluasi dan menginformasikan strategi klien ke depan,
memberikan rekomendasi untuk meningkatkan keberhasilan program, serta
menyempurnakan aspek program untuk meningkatkan efektivitasnya.
Pada tingkat makro, kami melihat terdapat beberapa perbedaan dalam desain
evaluasi yang mencerminkan perbedaan antara kedua inisiatif dan kebutuhan
informasi pemangku kepentingan. Para evaluator Program Konservasi Lahan
melakukan penilaian retrospektif terhadap kedua kampanye tersebut dan analisis
prospektif mengenai bagaimana keseluruhan strategi dapat disempurnakan di masa depan.
Evaluator Kampanye GROW melakukan penilaian retrospektif selama periode dua
puluh satu bulan dan memiliki cakupan yang luas, dengan fokus pada strategi
menyeluruh serta “pendalaman” ke dalam kampanye dan proyek nasional dan tim
tertentu. Kampanye GROW mencakup sebuah teori
Tabel 4.2. Kegunaan dan Kegunaan Metode Evaluasi Menurut Aspen/

Responden Survei APC UCSF
Kegunaan Persentase
rata-rata (1 responden
= tidak survei yang
Metode evaluasi
bermanfaat menyatakan
dan 4 = bahwa mereka

telah menggunakan metode
sangat bermanfaat)
Wawancara: kuesioner tatap muka, telepon, terbuka dan 3.8 98%
tertutup yang digunakan untuk mendokumentasikan

persepsi pemangku kepentingan mengenai kegiatan, hasil
dan efektivitas suatu inisiatif.
Teori perubahan: penggunaan teori perubahan program, rantai 3.6 98%
hasil, model logika dalam desain evaluasi
Formulir umpan balik, kuesioner, dan survei: cetak, online, 3.6 99%
pengumpulan data melalui telepon.
Tinjauan dokumen: dapat mencakup dokumentasi program 3.6 99%
internal, data sekunder, dan analisis kebijakan serta digunakan untuk

analisis kontribusi, data dasar, dan studi kasus.
Pemetaan hasil: mengidentifikasi dan memantau kemajuan 3.6 49%
program dalam mencapai hasil yang diinginkan.
Kelompok fokus: memfasilitasi diskusi dengan para advokat, 3.5 84%
anggota koalisi, dan pemangku kepentingan lainnya untuk memperoleh

persepsi mereka mengenai efektivitas program.
Studi kasus tunggal atau ganda: deskripsi kualitatif tentang 3.5 84%
strategi, taktik, atau perubahan kebijakan advokasi.
Pemetaan sistem: pembuatan gambaran visual dari bagian- 3.4 55%
bagian suatu sistem dan hubungannya yang diperkirakan akan

berubah.
Melacak perubahan kebijakan menggunakan program atau data publik: 3.3 76%
penggunaan sistem pelacakan legislatif untuk melacak rancangan undang-undang
kemajuan.
Debriefing periode intensif/peninjauan setelah tindakan: mendapatkan perhatian 3.3 57%
dari pembuat kebijakan dan pihak-pihak lain yang berpengaruh terhadap

efektivitas advokasi.
Model logika/kerangka log: penggunaan rantai hasil dalam 3.2 96%
desain evaluasi.
Tabel 4.2. Kegunaan dan Kegunaan Metode Evaluasi oleh Responden Survei APC
Aspen/UCSF (lanjutan)
Kegunaan Persentase
rata-rata (1 responden
= tidak survei yang
Metode evaluasi
bermanfaat menyatakan
dan 4 = bahwa mereka

telah menggunakan metode
sangat bermanfaat)
Penilaian kapasitas advokasi: instrumen penilaian kapasitas 3.1 65%
organisasi secara online atau tertulis.
Peringkat pembuat kebijakan: peringkat dukungan dan pengaruh 3.1 39%
pembuat kebijakan terhadap isu tersebut.
Teknik perubahan paling signifikan: peserta menjelaskan 3.1 28%
mekanisme dan jalur perubahan serta apa yang membuat perubahan

tertentu menjadi 'signifikan'.
Analisis isi liputan media: menghitung aspek-aspek spesifik liputan 3.0 67%
media, seperti jumlah kata, penempatan artikel, tema-tema

utama.
Analisis keuangan, seperti biaya-manfaat: penentuan pendanaan 3.0 53%
yang dialokasikan dan diperoleh serta apa saja yang dapat

dikaitkan dengan hibah.
Jajak pendapat opini publik; wawancara telepon dengan sampel 3.0 48%
acak masyarakat untuk mendokumentasikan pengetahuan,

sikap dan perilaku mereka.
Koleksi cerita dan jurnal. 3.0 45%
Benchmarking: menggunakan standar untuk mengukur kemajuan 2.9 75%

suatu inisiatif.
Observasi terstruktur: seperti protes, forum kebijakan. 2.9 58%
Analisis media sosial: memantau dan menganalisis data dari media 2.8 51%
sosial, seperti blog, situs berbagi gambar, dan forum online.
Analisis jaringan sosial: memetakan dan mengukur seberapa 2.8 51%
dekat hubungan antar individu atau organisasi, blog.
Survei pembuat kebijakan: survei persepsi pembuat kebijakan mengenai 2.8 49%
taktik advokasi, liputan media, dan lain-lain.
Sumber: Program Perencanaan dan Evaluasi Aspen, The Aspen Institute; Coffman
dan Reed 2009; Guthrie dkk. 2005.
perubahan dan model logika, yang dikaitkan dengan hasil evaluasi dan indikator.
Model logika dianggap tidak sesuai untuk Program Konservasi Lahan, meskipun
hasil dan indikator digunakan untuk mengidentifikasi kemajuan menuju tujuan
program.
Meskipun metode kualitatif memainkan peran penting dalam rancangan
tersebut, kedua evaluasi tersebut mampu mengidentifikasi langkah-langkah untuk
menilai kemajuan dalam mencapai tujuan kampanye. Penandatanganan petisi dan
analisis data media sosial memberikan informasi tentang kemajuan Kampanye
GROW dalam mobilisasi global dan membangun jaringan yang kuat. Analisis data
GIS mengenai konservasi dan pembangunan lahan sangat penting untuk
menunjukkan dampak positif Kampanye Konservasi Lahan dalam mencapai tujuan
melestarikan 500 juta hektar pada tahun 2022.
Ada juga beberapa kesamaan dalam kedua desain evaluasi dan fokusnya.
Kedua evaluasi tersebut dilakukan menjelang akhir advokasi khusus dan taktik
perubahan kebijakan dan menggunakan pendekatan metode campuran, yang
mencakup pengumpulan data formatif dan sumatif untuk mendukung perbaikan
program dan menilai efektivitas program hingga saat ini. Kedua evaluasi tersebut
berfokus pada berbagai tingkatan, dengan Kampanye GROW memiliki cakupan
yang lebih luas. Para evaluator Program Konservasi Lahan berfokus pada taktik
lokal dan nasional, sedangkan tim evaluasi Kampanye GROW berfokus pada
advokasi dan kebijakan internasional, nasional, lokal, dan institusional.
Evaluator juga mengambil langkah-langkah untuk memahami dan peka terhadap hal tersebut
konteks advokasi dan perubahan kebijakan. Tim evaluasi kedua inisiatif bekerja
dengan para ahli yang memahami konteks dan bekerja dengan masyarakat adat,
yang memiliki keterampilan bahasa, serta kemampuan melakukan perjalanan ke
tempat-tempat terpencil untuk melakukan wawancara.
Terdapat kesamaan dalam metode yang digunakan dalam kedua evaluasi
tersebut, yang mencerminkan empat kasus lainnya—penggunaan wawancara
internal dan eksternal, pengembangan studi kasus kampanye di berbagai tingkat,
dan tinjauan dokumen, yang merupakan komponen utama. dari analisis kontribusi.
Sebagai bagian dari Kampanye Pembekuan Lahan Bank Dunia yang berlangsung
selama enam bulan, tim evaluasi Kampanye GROW mewawancarai berbagai
informan: staf Oxfam, staf Bank Dunia, dan LSM yang bekerja pada isu-isu penggunaan lahan.
Para evaluator Program Konservasi Lahan dilakukan secara mendalam
wawancara dengan mitra dan pemangku kepentingan yang terlibat dalam

kampanye, serta pengamat yang berpengetahuan luas. Mereka juga berbicara
dengan perwakilan kelompok yang secara politik menentang tujuan kampanye.
Studi kasus ini memiliki tujuan yang sama dalam kedua evaluasi tersebut:
untuk memberikan informasi kepada keseluruhan strategi sekaligus menilai
efektivitas masing-masing komponen kampanye. Evaluator Kampanye GROW
menghasilkan lima studi kasus, Kampanye Pembekuan Lahan Bank Dunia dan
empat kasus tingkat negara (Burkina Faso, Bangladesh, Guatemala, dan Belanda)
dan mendokumentasikan pencapaian, faktor pendukung, dan tantangan. Para
evaluator Kampanye Konservasi Lahan mendokumentasikan taktik, pencapaian
kebijakan, dan peran masyarakat adat dalam mencapai pencapaian tersebut
serta peran mereka dalam pengelolaan konservasi lahan.
Terakhir, kedua tim evaluasi memasukkan tinjauan dokumen sebagai bagian dari
analisis kontribusi. Para evaluator Kampanye GROW mempunyai dokumentasi
yang cukup untuk Kampanye Bank Dunia sehingga mereka dapat menunjukkan
dengan tepat perubahan dalam bahasa kebijakan bank. Tim evaluasi Kampanye
Konservasi Lahan menggunakan dokumen, liputan media, dan wawancara untuk
mengumpulkan rangkaian peristiwa yang mengarah pada hasil program.
Kedua evaluasi tersebut berbeda dalam beberapa cara. Tim evaluasi

Kampanye GROW mencakup analisis media terhadap aktivitas media sosial dan
jangkauan komponen Kampanye GROW, termasuk Kampanye Pembekuan
Lahan Bank Dunia, yang menampilkan penampilan band internasional ternama,
Coldplay. Inisiatif yang lebih luas dibandingkan Program Konservasi Lahan, para
evaluator melakukan survei lintas kampanye terhadap staf Oxfam dan analisis
kebijakan Kampanye Bank Dunia, yang berfokus pada apakah perubahan
kebijakan telah terjadi, dan pengaruh Oxfam terhadap perubahan yang terlihat.
Evaluator Program Konservasi Lahan melakukan analisis GIS kuantitatif terhadap
jumlah dan jenis lahan yang dikonservasi dan dilindungi.
Terakhir, kedua evaluasi tersebut menghadapi tantangan serupa, termasuk

cakupan inisiatif yang luas dan jangka waktu yang relatif singkat (enam bulan)
untuk melaksanakan kegiatan pengumpulan data. Meskipun para evaluator dari
kedua inisiatif mengumpulkan data mengenai serangkaian pertanyaan evaluasi
formatif dan sumatif, keduanya bergumul dengan keterbatasan model point-in-time.
Dalam Kampanye GROW, kompleksitas dan cakupan kampanye itu sendiri menghalangi
pengumpulan data yang komprehensif. Kedua tim evaluasi terdiri dari informan
eksternal dan orang-orang yang tidak terlibat dalam kampanye untuk mengimbangi
potensi bias. Para evaluator Kampanye Konservasi Lahan harus menyesuaikan
analisisnya dengan perbedaan ekologi di kedua negara, yang menghalangi penerapan
kerangka pengembangan lahan 50/50 di Australia. Terdapat juga tantangan geografis
dimana beberapa lokasi berada di daerah terpencil di Australia dan para evaluator
bermitra dengan para ahli di Kanada dan Australia untuk memimpin komponen di
tingkat negara, serta seorang ahli yang bekerja dengan masyarakat adat.
Singkatnya, meskipun kedua hal ini merupakan inisiatif advokasi dan perubahan
kebijakan yang berbeda, terdapat kesamaan dalam tujuan, fokus, desain, metode, dan
tantangan terhadap pengumpulan dan validitas data. Ada beberapa kesamaan dengan
desain Evaluasi Nyata (RE), yang cepat (empat minggu hingga enam bulan),
menggunakan pendekatan tim, dan menggunakan serangkaian metode, yang sebagian
besar bersifat kualitatif (I-TECH 2008). Mungkin yang lebih menarik adalah kemampuan
kedua tim evaluasi untuk menilai kemajuan sambil mengevaluasi pencapaian hasil
jangka pendek hingga menengah dengan menggunakan beberapa metode dalam
jangka waktu singkat. Beberapa taktik dan perubahan kebijakan, seperti Kampanye
Pembekuan Lahan Bank Dunia, berlangsung dalam jangka waktu yang relatif singkat
(enam bulan) dan dapat digunakan untuk mendokumentasikan pencapaian hasil jangka menengah atau
adopsi kebijakan dan peningkatan standar atau peraturan.

Evaluasi titik tengah ini menguatkan temuan survei Aspen/UCSF mengenai
tingginya penggunaan dan kegunaan metode konvensional, seperti wawancara,
tinjauan dokumen, dan survei, namun dengan beberapa peringatan. Kebenaran
mengenai bagaimana metode digabungkan memiliki lebih banyak nuansa, yaitu
bagaimana metode digunakan secara bersamaan untuk memperkuat temuan serta
menciptakan efisiensi. Lebih banyak metode tidak selalu menghasilkan desain yang
lebih kuat; evaluasi titik tengah yang ketat mungkin tidak memerlukan pengumpulan
data yang menyeluruh untuk menilai hasil formatif dan sumatif.
Memiliki serangkaian metode inti yang fokusnya luas, seperti survei yang mencakup
pertanyaan kualitatif dan kuantitatif, ditambah metode khusus untuk advokasi tertentu
atau taktik perubahan kebijakan, seperti pelacakan media sosial, mungkin cukup dalam
banyak situasi APC di mana waktu dan sumber daya terbatas dan mungkin padahal
sebenarnya tidak.
KESIMPULAN
Melihat ke belakang, kita melihat bahwa terdapat banyak sekali hasil, metode, dan
langkah-langkah yang dapat digunakan untuk menyusun advokasi dan evaluasi
perubahan kebijakan. Meskipun penerapan teori perubahan dan/atau model logika
sudah semakin umum, hal ini sangat bergantung pada konteks dan dapat memainkan
peran ganda, baik untuk meningkatkan pemahaman evaluator terhadap inisiatif APC,
mengembangkan pemahaman bersama mengenai teori perubahan program. antar
pemangku kepentingan, dan/atau mengidentifikasi hasil yang akan menentukan evaluasi.
Pendekatan model logika kami untuk mengatur metode, ukuran, dan instrumen hasil
dimaksudkan untuk membantu Anda mengidentifikasi mana yang sesuai dengan konteks
evaluasi Anda. Namun, elemen penting dalam memilih metode dan instrumen evaluasi
yang tepat adalah pemahaman tentang tujuan evaluasi dan kebutuhan informasi
pemangku kepentingan serta ketajaman kebijakan.
Singkatnya, evaluator perlu mempertahankan tingkat ketangkasan dan ketangkasan
sejumlah pendekatan yang ada di “kantong belakang” mereka untuk merespons

lingkungan yang sangat dinamis di mana upaya advokasi diluncurkan dan dilaksanakan.
Kenyataannya adalah sebagian besar evaluasi APC sangat dibatasi oleh waktu dan
sumber daya dan mungkin hanya mencakup sedikit metode. Namun hal ini mungkin
cukup menjawab kebutuhan informasi advokat dan/atau pemberi dana.
Wawancara bersifat serbaguna dan dapat digunakan untuk mengumpulkan informasi
kualitatif dan kuantitatif mengenai berbagai hasil dan dampak inisiatif perubahan
kebijakan, seperti peningkatan layanan. Studi kasus dapat menggambarkan suatu
inisiatif mulai dari tahap perencanaan hingga penyelesaiannya, termasuk operasional,
kontribusi program, dan dampaknya. Tinjauan dokumen dapat digunakan untuk
melakukan triangulasi dan memvalidasi temuan, seperti pernyataan yang menguatkan
yang dibuat oleh pengambil keputusan atau perubahan kebijakan, serta membuat ulang data dasar.
Secara keseluruhan, hal ini merupakan hal yang baik: para evaluator mempunyai
sejumlah metode evaluasi konvensional dan baru yang sesuai untuk advokasi dan
evaluasi perubahan kebijakan yang dapat mereka pilih atau yang dapat dijadikan
landasan. Selain itu, seperti yang akan kita bahas di Bab 5, mereka dapat menggunakan
metode yang disesuaikan dan unik, sehingga memperluas fokus mereka pada kegiatan
dan hasil yang membedakan evaluasi APC dari arena evaluasi lainnya.
BAB 5
INSTRUMEN UNIK
UNTUK ADVOKASI DAN PERUBAHAN KEBIJAKAN
PERKENALAN
Seiring dengan berkembangnya bidang evaluasi advokasi dan perubahan
kebijakan (APC), salah satu tantangan terbesarnya adalah kurangnya instrumen
dan metrik evaluasi yang dapat menilai inisiatif advokasi dan perubahan kebijakan
serta dampaknya secara andal. Untuk mengatasi defisit ini, para evaluator dan
pemberi dana APC sangat proaktif dalam mengembangkan kerangka evaluasi
dan perangkat yang ditargetkan untuk para evaluator, yang kami cantumkan dalam Lampiran B.
Para evaluator dan penyandang dana juga telah mengembangkan instrumen dan
langkah-langkah untuk mengatasi beberapa hambatan dalam pengumpulan data,
seperti akses terhadap pembuat kebijakan, serta fokus pada atribut-atribut utama
dari konteks advokasi dan inisiatif perubahan kebijakan yang belum pernah diukur
sebelumnya. seperti tingkat “kejuaraan”. Meskipun dibatasi oleh waktu, sumber
daya, dan keahlian yang terbatas, serta konteks yang kompleks dan terus
berkembang dalam melakukan penelitian, evaluator kini memiliki beberapa
instrumen yang dapat dipilih.
Dalam bab ini, kami menjelaskan langkah-langkah dan instrumen evaluasi

APC unik yang digunakan di lapangan dengan tingkat keberhasilan tertentu,
seperti yang ditunjukkan oleh hasil Survei Evaluasi APC Aspen/UCSF dan tinjauan
literatur evaluasi APC. Beberapa di antaranya merupakan alat siap pakai yang
dapat digunakan oleh para advokat sendiri, sementara yang lainnya memerlukan
keahlian evaluasi yang signifikan dalam administrasi dan analisisnya. Tolong dicatat
bahwa pencantuman suatu instrumen bukan merupakan dukungan terhadap instrumen tersebut.
Banyak dari alat-alat ini sangat bergantung pada konteks, dan apa yang berhasil di satu
lingkungan mungkin tidak berfungsi di lingkungan lain. Selain itu, sebagian besar
instrumen evaluasi APC belum diuji dan divalidasi secara psikometrik meskipun instrumen
tersebut dapat diterapkan secara ketat, seperti memasukkan kelompok pembanding.
Oleh karena itu, kami cukup inklusif dalam apa yang kami sajikan, lebih memilih
memberikan pilihan kepada evaluator untuk mempertimbangkan kekuatan dan kelemahan
masing-masing alat dan memutuskan alat mana yang paling efektif. Kami berharap para
evaluator yang giat akan terus menyempurnakan alat-alat ini dan membaginya dengan
orang lain di lapangan. (Silakan lihat Lampiran B untuk daftar alat-alat ini.)
Mirip dengan Bab 4, kami mengatur alat-alat ini berdasarkan tahapan model logika—
masukan, keluaran, hasil, dan dampak. Selain itu, kami memanfaatkan temuan Survei
Evaluasi APC Aspen/UCSF dan enam kasus evaluasi serta menjelaskan penyertaan
metode-metode ini dalam praktik evaluasi saat ini. Untuk mengilustrasikan
penggunaannya, kami membandingkan dua evaluasi multi-tahun yang dimulai pada
tahap awal kedua inisiatif tersebut— Inisiatif Kebijakan dan Pendidikan Tembakau Suku
dan Project Health Colorado—yang mencakup sejumlah metode yang kuat untuk menilai
metode formatif dan sumatif.
hasil, skenario terbaik untuk praktik evaluasi APC. Kedua inisiatif tersebut mencakup
situasi yang akan melibatkan banyak evaluator atau advokasi akar rumput untuk mendidik
masyarakat tentang penggunaan tembakau dan menciptakan lingkungan bebas rokok
dan kampanye membangun kemauan masyarakat untuk memperluas akses terhadap
layanan kesehatan.
INPUT
Ada upaya besar untuk menilai dan mendokumentasikan sedini mungkin
tahapan inisiatif advokasi dan perubahan kebijakan, yang sebagian besar berfokus
pada perluasan kapasitas organisasi dan mobilisasi masyarakat. Oleh karena itu,
terdapat sejumlah metode dan instrumen yang dapat dipilih, beberapa di antaranya telah
digunakan selama lebih dari satu dekade dan menunjukkan keberhasilan yang baik. Pada
bagian ini, kami fokus pada tiga jenis masukan: kapasitas advokasi organisasi; koalisi,
kapasitas advokasi jaringan; dan faktor kontekstual, khususnya hubungan kekuasaan.
Kami memberikan deskripsi kecil tentang alat tertentu—domainnya, cara pengelolaannya,
dan jenis data yang dikumpulkan.
Instrumen Unik untuk Advokasi dan Perubahan Kebijakan 153
Kapasitas Advokasi Organisasi

Sebuah bidang yang telah menerima banyak perhatian dan memiliki banyak alat
yang dapat dipilih, instrumen yang menilai kapasitas advokasi dapat dikelola dan
dianalisis oleh organisasi itu sendiri, memperkuat kapasitas evaluasi organisasi dan
memfasilitasi diskusi internal mengenai tujuan dan tujuan advokasi. kesiapan.
Evaluator dapat mendukung penggunaan instrumen-instrumen ini serta
memasukkannya ke dalam desain evaluasi dan melacak perubahan kapasitas dari
waktu ke waktu. Penyandang dana dapat menggunakan alat-alat ini untuk
mengidentifikasi bidang-bidang bantuan teknis tertentu untuk meningkatkan kapasitas
advokasi. Terdapat sedikit perbedaan dalam kategori kapasitas, namun sebagian
besar instrumen ini berfokus pada infrastruktur organisasi, seperti kemampuan
untuk menggalang dana atau kemampuan untuk mengkomunikasikan keberhasilan,
serta kemampuan untuk merencanakan dan melakukan advokasi tertentu. taktik.
Alat Penilaian Kapasitas Advokasi Alliance for Justice untuk Penilaian Organisasi
telah digunakan oleh yayasan dan penerima hibah sejak tahun 2005 untuk menilai
kesiapan organisasi untuk terlibat dalam empat bidang advokasi: (1) tujuan dan
strategi advokasi; (2) melakukan advokasi; (3) jalur advokasi atau sasaran pengaruh;
dan (4) operasi organisasi untuk mempertahankan advokasi. Setiap bidang
mencakup langkah-langkah spesifik yang menggambarkan kapasitas, seperti apakah
suatu organisasi bergantung pada mitranya untuk menjalankan suatu taktik.
Responden menggunakan skala lima poin untuk menggambarkan kekuatan
organisasi. Kuesioner ini dapat diisi secara elektronik oleh penyandang dana dan
penerima hibah dan dapat digunakan untuk menargetkan sumber daya serta
mengidentifikasi kesenjangan dan kekuatan yang berkontribusi terhadap efektivitas advokasi organisa
Ada juga alat yang disesuaikan untuk arena internasional. Baru-baru ini, Alliance
for Justice mengembangkan Alat Kapasitas Advokasi Internasional,
yang dapat digunakan oleh kelompok-kelompok di seluruh dunia untuk mengukur
kesiapan mereka untuk terlibat dalam advokasi. Mirip dengan instrumen versi AS,
instrumen internasional ini juga mencakup advokasi yang ditargetkan pada entitas
korporasi dan sektor swasta, penggunaan strategi dan taktik dari negara lain, dan
beberapa penyesuaian bahasa untuk mencerminkan audiens internasional.
Individu menjawab pertanyaan tentang keterampilan, pengetahuan, praktik, dan
sumber daya organisasi mereka untuk mengembangkan dan melaksanakan
kampanye isu, mempengaruhi undang-undang, atau bentuk advokasi lainnya.
Instrumen lain yang telah digunakan secara internasional adalah Indeks Advokasi USAID,
yang terdiri dari sebelas dimensi yang bersama-sama membentuk kerangka kerja
untuk terlibat dan mengukur kapasitas advokasi. Laporan ini dapat digunakan
sebagai alat penilaian mandiri serta diselesaikan oleh panel independen sebagai
bagian dari sistem pelaporan eksternal.
Alternatifnya, pertanyaan mengenai kapasitas advokasi dimasukkan dalam
instrumen yang menilai kapasitas organisasi secara lebih luas. Misalnya, Alat
Penilaian Kapasitas Inti Advokasi (CCAT) dari Grup TCC memberikan gambaran
efektivitas organisasi dalam empat kapasitas inti: (1) kepemimpinan; (2)
kemampuan beradaptasi; (3) manajemen; dan (4) kapasitas teknis. Respons
terhadap 146 item survei online dibandingkan dengan database TCC yang
mencakup lebih dari seribu organisasi nirlaba. Hal ini berbeda dengan Alat
Kapasitas Advokasi Alliance for Justice karena alat ini berfokus terutama pada
apakah suatu organisasi dapat memenuhi tuntutan dalam lingkungan internal dan
eksternalnya. (Catatan: TCC baru-baru ini mengembangkan alat tambahan untuk
CCAT Advokasi, yang mencakup ukuran-ukuran utama efektivitas organisasi yang
penting bagi organisasi kebijakan dan advokasi.)
Koalisi, Kapasitas Advokasi Jaringan

Advokasi yang sukses sangat bergantung pada kemitraan dan mungkin
memerlukan banyak pihak agar suatu isu bisa mendapatkan perhatian, seperti
menggunakan pendekatan koalisi untuk mempengaruhi pembuatan kebijakan
federal. Instrumen kapasitas advokasi untuk aliansi multi-organisasi telah
dikembangkan dan digunakan oleh lapangan untuk menilai fungsi dan pengaruh
kumpulan organisasi-organisasi ini. Misalnya, Alat Penilaian Koalisi Jaringan
Inovasi menilai kapasitas advokasi koalisi di tujuh bidang: (1) fungsi dan struktur
dasar; (2) kemampuan membina dan mengembangkan juara; (3) kepemimpinan
koalisi; (4) kemampuan mengembangkan sekutu dan kemitraan; (5) reputasi dan
visibilitas; (6) kemampuan untuk belajar dan meningkatkan; dan (7) keberlanjutan.
Organisasi atau anggota koalisi menilai tingkat kesepakatan mereka pada tujuh
puluh empat kriteria (dalam tujuh wilayah) dengan menggunakan skala empat
poin. Karena koalisi dinilai berdasarkan tujuannya, instrumen ini perlu disesuaikan
dengan situasi unik koalisi.
Penilaian Dasar Kapasitas Koalisi Advokasi Mathematica Policy Institute
berfokus pada kapasitas inti tim kepemimpinan koalisi. Bagian pertama adalah
kuesioner yang terdiri dari empat puluh tiga item yang berfokus pada kapasitas keseluruhan
dan enam hingga tujuh kapasitas khusus di bidang-bidang berikut: (1) membangun dan
memelihara aliansi strategis; (2) kemampuan untuk membangun basis dukungan akar
rumput; (3) mengembangkan dan menganalisis solusi kebijakan yang dapat dimenangkan;
(4) mengembangkan dan melaksanakan kampanye kebijakan kesehatan; (5)
mengembangkan dan menerapkan strategi media dan komunikasi; dan (6) menghasilkan
sumber daya dari berbagai sumber untuk mempertahankan upaya. Ini mencakup ukuran
jaringan sosial untuk menggambarkan hubungan antar organisasi individu. Bagian
kedua (disebut Survei Tim Kepemimpinan Tindak Lanjut) digunakan untuk mengumpulkan
informasi tentang pengalaman organisasi dalam tim kepemimpinan, termasuk isu-isu
kebijakan yang ditangani oleh tim. Kedua instrumen tersebut dikonfigurasi untuk Inisiatif
Suara Konsumen untuk Cakupan dan perlu disesuaikan dengan konteks dan koalisi
kebijakan lainnya.
ORS Impact dan tim Education Pathways dari Bill & Melinda Gates Foundation
mengembangkan Indeks Keselarasan lintas sektor yang mengukur lima dimensi
keselarasan di antara organisasi-organisasi yang berupaya mencapai tujuan bersama.
Dimensinya meliputi: (1) kesamaan bahasa (seperti penggunaan bahasa yang sama
dalam berbagai materi komunikasi); (2) kerangka umum dan pemahaman yang jelas
tentang peran; (3) pembagian data dan konsistensi dalam mengukur kemajuan; (4)
perubahan budaya dan saling menghormati; dan (5) perubahan dalam praktik, seperti
peningkatan kolaborasi dan pembagian sumber daya. Instrumen yang berjumlah tiga
puluh sembilan item telah diujicobakan dan dianalisis secara statistik untuk validitas dan
reliabilitas.
Yang terakhir, penyandang dana semakin tertarik untuk membangun lapangan
advokasi dan menggunakan banyak teknik koalisi dan membangun jaringan yang sama,
namun menyasar para advokat yang terlibat dalam pekerjaan kebijakan. Evaluator Jew-
lya Lynn dan yang lainnya telah menyusun perangkat metode evaluasi yang konvensional,
unik, dan baru muncul, seperti metodologi Q, untuk memetakan nilai-nilai di lapangan
dan analisis jaringan sosial kualitatif yang melihat apa dan bagaimana hubungan dalam
suatu hubungan. jaringan (Lynn 2015).
Berbeda dengan bidang advokasi dan evaluasi perubahan kebijakan lainnya,
terdapat banyak instrumen dan ukuran kapasitas advokasi yang dapat dipilih.
Namun, kami mengimbau agar berhati-hati di sini. Pada pandangan pertama, tampaknya
terdapat tumpang tindih yang signifikan dalam keterampilan dan kompetensi organisasi
yang dinilai, namun terdapat beberapa perbedaan signifikan dalam model peningkatan
kapasitas yang mendasari masing-masing instrumen, seperti apakah advokasi atau tidak.
tujuan perlu diidentifikasi terlebih dahulu. Penting untuk mencapai kesepakatan dengan para
pemangku kepentingan mengenai model konseptual penilaian kapasitas dan kompetensi advokasi
sambil memastikan bahwa instrumen dapat membantu mendokumentasikan temuan-temuan yang
dapat ditindaklanjuti. Alternatifnya, Anda dapat memutuskan untuk mengembangkan instrumen
Anda sendiri sebagai cara untuk mengatasi konteks advokasi yang unik, seperti meminta pemangku
kepentingan menilai serangkaian keterampilan yang telah ditentukan dengan baik pada skala
penilaian sederhana dari rendah hingga tinggi. Instrumen-instrumen ini dapat digunakan sebelum
dan sesudah pelatihan kapasitas berlangsung dan seiring berjalannya waktu, ketika individu
memiliki peluang lebih besar untuk menguji peningkatan kapasitas mereka.
Faktor Kontekstual—Hubungan Kekuasaan
Semakin banyak evaluator APC yang melihat lebih dekat konteks politik dan budaya untuk lebih
memahami faktor-faktor yang berkontribusi terhadap inisiasi.
keberhasilan atau kegagalan, serta memberikan landasan untuk membangun teori perubahan
yang kuat. Meskipun metode ini belum tentu unik dalam arti sebenarnya karena dapat berasal dari
luar arena evaluasi APC, alat yang menganalisis hubungan kekuasaan dan basis dukungan
dapat memberikan informasi dasar, serta memberi informasi kepada para advokat dan penyandang
dana mengenai kemajuan dan apa yang telah dicapai. mungkin.
Ada beberapa cara analisis kekuasaan dapat dilakukan untuk menggambarkan dinamika
kekuasaan dan kapasitas advokasi untuk menavigasi budaya politik. Beberapa alat penilaian
kapasitas mencakup berbagai dimensi pengembangan kekuasaan dan/atau kaitannya dengan
sistem politik.
Misalnya, Alliance for Justice telah memasukkan bagian “Analisis Kekuatan” dalam Powercheck:
Alat Penilaian Kapasitas Pengorganisasian Komunitas untuk menilai elemen-elemen kunci dalam
membangun kekuatan kelembagaan. Pendekatan lainnya adalah menggunakan alat yang
dirancang khusus untuk menganalisis dan memahami hubungan kekuasaan. Kubus kekuasaan
yang dikembangkan oleh John Gaventa (2006) memberikan representasi tiga dimensi dari tiga
aspek kekuasaan: level (global, nasional, lokal, dan tertutup); ruang (tertutup, diundang, diklaim/
dibuat); dan bentuk (tidak terlihat, tersembunyi, terlihat).
(Lihat Gambar 5.1.) Sisi-sisi kubus dapat diputar, seperti kubus Rubik, memberikan kerangka kerja
untuk menganalisis keterkaitan antar dimensi. Kubus dapat digunakan untuk mengkarakterisasi
ruang politik di mana seorang advokat berpartisipasi, jenis-jenis kekuasaan yang menantang
advokat.
Gambar 5.1. Power Cube: Tingkat, Ruang, dan

Bentuk Kekuatan. Sumber: Gaventa 2006. Dicetak
ulang dengan izin.
perusahaan, serta memfasilitasi diskusi tentang bagaimana strategi dan taktik mereka
dapat mempengaruhi dimensi-dimensi ini.
KELUARAN: TAKTIK ADVOKASI
Bidang lain yang mendapat perhatian besar dari para evaluator APC adalah pemantauan
taktik advokasi—yang merupakan inti dari inisiatif advokasi dan perubahan kebijakan.
Sebagai fokus ilmu politik, terdapat instrumen yang menggunakan pendekatan cover
the waterfront dimana beberapa taktik advokasi dinilai secara bersamaan dengan
menggunakan satu instrumen. Komunitas evaluasi APC telah mencapai kemajuan
dalam mengembangkan metode unik yang menggunakan pendekatan sistem real-time
untuk memahami implementasi dan efektivitas berbagai kegiatan advokasi. Misalnya,
Kerangka Strategi Advokasi terdiri dari tabel visual tiga per tiga yang memetakan strategi
advokasi di seluruh hasil inisiatif (kesadaran, kemauan, dan tindakan) dan khalayak
(masyarakat, pemberi pengaruh, dan pengambil keputusan) (Coff-man dan Beer 2015).
(Lihat Gambar 5.2 di bawah.) Informasi tentang advokasi
strategi cacy dapat ditampilkan secara grafis sebagai peta gelembung, memberikan
gambaran tentang target dan taktik advokat yang dapat disesuaikan dengan alat
pengumpulan data tertentu. Peta tersebut dapat digunakan untuk menilai perubahan
dalam strategi advokasi sebelum dan selama inisiatif berlangsung, dan dapat
menentukan apakah taktik tersebut mencapai perubahan yang diinginkan atau tidak,
serta menilai keselarasan tujuan pemberi dana dan aktivitas advokasi yang sebenarnya
(Campbell dan Coff -pria 2009). Kerangka kerja ini memungkinkan penggantian hasil,
audiens, dan kegiatan advokasi, dan juga merupakan alat yang berguna untuk
memikirkan dan mengkarakterisasi hubungan antara ketiga dimensi inisiatif advokasi
dan mengembangkan teori perubahan (Coffman dan Beer 2015).
Alternatifnya, pengumpulan data pada titik waktu tertentu dapat memberikan banyak
informasi mengenai taktik yang digunakan dan keefektifannya, seperti Protokol Debrief
Periode Intensif dari Jaringan Inovasi, yang digunakan untuk mengumpulkan informasi
kualitatif yang mendalam dan real-time segera setelahnya. terjadi periode aktivitas
yang intens. Kelompok fokus yang terdiri dari para pemain kunci dari sebuah organisasi—
kepemimpinan, staf, dan konsultan—berkumpul untuk membahas respons organisasi
(seperti peran dan komunikasi), apa yang berhasil dan apa yang bisa ditingkatkan, hasil
kegiatan, dan wawasan yang diperoleh dari pengalaman. Keuntungan dari pendekatan
ini adalah beberapa pemain dapat ditanyai sekaligus dan respons mereka akan lebih
kecil kemungkinannya untuk menimbulkan masalah penarikan kembali. Ada beberapa
tantangan dalam menerapkan pendekatan ini, seperti waktu dan akses terhadap
pemangku kepentingan segera setelah kejadian.
Mengingat sensitifnya informasi tersebut, peserta mungkin tidak bersedia mengungkapkan
secara spesifik kegiatan mereka.
Mengkaji taktik advokasi adalah bidang yang terus menarik perhatian dan alat
serta kerangka evaluasi baru sedang dalam proses. Dal-berg Global Development
Advisors bekerja sama dengan William and Flora Hewlett Foundation untuk menguji
coba kerangka kerjanya dalam menilai efektivitas organisasi yang berfokus pada tiga
dimensi: penentuan posisi strategis (apakah suatu organisasi berada pada posisi yang
baik untuk mencapai perubahan kebijakan yang diinginkan atau tidak. ); pemilihan taktik
(bagaimana organisasi memilih taktik spesifik yang digunakannya); dan efektivitas taktis
(seberapa efektif mereka dalam menggunakan taktik tersebut).
Gambar 5.2. Kerangka Strategi Advokasi. Sumber: Coffman (2008).

Yayasan dan Kebijakan Publik Pemberian Hibah. Makalah disiapkan untuk
The James Irvine Foundation.
HASIL
Dibandingkan dengan upaya yang mengevaluasi kapasitas advokasi dan
penerapan taktik, pengembangan instrumen dan langkah-langkah untuk
menilai keberhasilan taktik ini berjalan lambat. Pendekatan konvensional—
survei, wawancara, studi kasus, analisis dokumen, dan kelompok fokus—
sedang digunakan oleh evaluator APC dengan keberhasilan yang baik.
Pendekatan kualitatif sangat didukung oleh para praktisi karena mereka
menangkap kompleksitas dan aspek-aspek yang saling berkaitan dalam inisiatif advokasi.
Mereka juga siap beradaptasi dan digunakan dalam berbagai situasi. Kami
menjelaskan metode unik dalam tiga bidang penyelidikan: istilah
perdebatan; perubahan kesadaran dan dukungan pembuat kebijakan; dan memperkuat aksi
masyarakat.
Ketentuan Debat
Hasil yang lebih umum dalam kampanye komunikasi dan kampanye pembangunan kemauan
publik dan/atau pembuat kebijakan, terdapat beberapa teknik yang telah lama digunakan di
dalam dan di luar arena evaluasi atau jajak pendapat publik dan analisis konten liputan
media. . Karena hal tersebut telah dibahas secara memadai di tempat lain, kami tidak akan
memberikan penjelasan rinci tentang penggunaannya.
Mempengaruhi Pemahaman dan Dukungan Pembuat Kebijakan

Menilai apakah para advokat berhasil atau tidak memasukkan suatu isu ke dalam daftar
pendek agenda kebijakan yang kemungkinan besar akan ditangani oleh para pengambil
keputusan bukanlah suatu hal yang mudah karena isu yang diajukan oleh seorang advokat
bersaing dengan sejumlah isu dan proposal kebijakan mendesak lainnya. Selain itu, prioritas
pengambil keputusan mungkin didorong oleh kekuatan politik yang lebih besar serta
keengganan untuk mengambil posisi yang tidak populer atau tidak mendapat dukungan yang
baik. Metodologi Bellwether dari Proyek Penelitian Keluarga Harvard digunakan untuk
menilai strategi advokasi guna meningkatkan kesadaran dan dukungan pembuat kebijakan.
Para penentu arah adalah orang dalam yang berpengetahuan luas dan paham politik dari
sektor publik dan swasta yang pendapatnya mempunyai pengaruh besar. Mereka adalah
advokat, perwakilan bisnis, pembuat kebijakan, media, dan akademisi.
Pendekatan pengambilan sampel membedakan pendekatan ini dengan wawancara lainnya.
Setidaknya setengah dari informan tidak boleh terlibat langsung dengan isu kebijakan atau
kebijakan yang menjadi kepentingannya. Protokol Metodologi Bellwether terdiri dari
pertanyaan-pertanyaan yang memperoleh informasi tentang arena kebijakan dan dinamikanya
serta posisi suatu isu dalam agenda kebijakan.
Dengan menggunakan wawancara terstruktur, protokol sengaja menghindari memberikan
rincian tentang kebijakan yang menjadi perhatian sebelum wawancara. Selain itu, informan
diminta untuk memprediksi apakah suatu kebijakan akan maju atau diadopsi dalam lima
tahun ke depan, sehingga memberikan informasi tentang seberapa besar kemungkinan
pembuat kebijakan akan mengambil tindakan terhadap kebijakan tersebut. Analisis
wawancara memberikan data formatif tentang kekuatan dan kelemahan strategi terkini. Hal
ini tidak menunjukkan keberhasilan suatu taktik tertentu, seperti penggunaan media untuk mengatasi masalah.
tidak mendukung agenda kebijakan, namun hal ini memberikan pemeriksaan realitas
multisumber tentang apakah suatu inisiatif berhasil atau tidak dalam meningkatkan visibilitas
dan penentuan prioritas suatu isu kebijakan. Hasil analisis ini dapat digunakan untuk
menyesuaikan strategi awal yang ditempuh.
Berfokus pada pembuat kebijakan dan mengukur kemauan politik merupakan pendekatan
evaluasi yang selalu dilakukan, namun permasalahan akses terhadap pemangku kepentingan
utama dan penarikan kembali informan dapat menjadi hambatan yang signifikan. Kuesioner
Wawancara Pembuat Kebijakan Dasar dan Tindak Lanjut dari Mathematica Policy Institute
dapat digunakan untuk mengumpulkan pandangan pembuat kebijakan tentang keterlibatan
dan pengaruh para pendukung dalam membentuk isu kebijakan, peran kelompok dalam sifat
atau hasil dari suatu isu kebijakan, dan efektivitas kebijakan. advokasi mereka. Wawancara
dapat dilakukan melalui telepon dan ditujukan kepada para pembuat kebijakan tingkat tinggi.
Anda sebaiknya menyesuaikannya dengan isu kebijakan Anda dan strategi yang diadopsi
oleh para advokat.
Selain itu, para advokat dapat menggunakan Skala Pemeringkatan Pembuat Kebijakan
dari Program Penelitian Keluarga Harvard untuk menilai pembuat kebijakan secara kelompok
atau independen dalam tiga skala: (1) tingkat dukungan pembuat kebijakan terhadap suatu
isu kebijakan berdasarkan perilaku atau tindakannya; (2) tingkat pengaruh pembuat
kebijakan, seperti senioritas; dan (3) tingkat kepercayaan penilai terhadap keakuratan dua
skala pertama. Hal ini dapat diberikan secara longitudinal kepada para advokat untuk menilai
perubahan dalam dukungan pembuat kebijakan atau pada suatu waktu untuk menilai
kemajuan dalam mencapai perubahan kebijakan. ORS Impact (2016) menjelaskan
pengalamannya bekerja dengan pembuat kebijakan pemeringkatan dalam tiga situasi,
termasuk perubahan fokus skala pemeringkatan, pengambilan sampel, dan administrasi
instrumen. Pengalaman mereka memberikan wawasan mengenai tantangan dalam
pemeringkatan dukungan pembuat kebijakan, seperti keengganan advokasi untuk menilai
secara negatif setiap pembuat kebijakan dan ketidakstabilan posisi pembuat kebijakan.
Meskipun skala pemeringkatan awal cukup kuat, para evaluator menyarankan untuk
memodifikasi skala pemeringkatan tersebut untuk memperdalam penyelidikan serta
menyesuaikannya dengan konteks kebijakan tertentu. Mereka juga menyarankan untuk
menggunakan data deskriptif, seperti afiliasi partai pembuat kebijakan dan geografi dalam
melaporkan temuan tersebut.
Terakhir, Anda dapat mengumpulkan informasi tentang aspek-aspek dukungan pembuat
kebijakan secara tidak langsung dari orang dalam dan advokat yang berpengetahuan luas
yang menjadi mitra pengambil keputusan. Jalur Champion Scorecard dari Aspen Institute
melakukan advokasi kemajuan dalam menumbuhkan pemimpin atau pengambil keputusan

yang dapat mengambil langkah-langkah untuk mencapai tujuan kebijakan advokasi,
seperti mensponsori undang-undang. Aspen telah menerjemahkan perilaku juara ini
menjadi sifat-sifat yang dapat diamati dan diukur serta diberi peringkat berdasarkan tingkatannya
pertunangan. Ciri-ciri ini terbagi dalam tiga kategori perilaku: (1) menunjukkan kesadaran;
(2) meningkatkan kesadaran dan pemahaman; dan (3) mengadvokasi perbaikan
kebijakan dan praktik. Instrumen ini dapat disesuaikan dengan berbagai tingkat
pemerintahan dan perilaku yang berbeda, dan dapat digunakan untuk melacak perubahan
perilaku pemimpin dari waktu ke waktu, serta dampak intervensi, seperti kegiatan
pendidikan yang menargetkan para pengambil keputusan. Advokat dan pemberi dana
dapat melengkapi kartu skor (Devlin-Foltz dan Molinaro 2010). Kartu skor ini telah
digunakan oleh CARE USA untuk mengevaluasi perubahan dalam aktivisme seratus
anggota Kongres setelah tur pembelajaran yang disponsori CARE. Keterbatasan utamanya
adalah bahwa hal ini memerlukan pemantauan dan kuantifikasi pengambil keputusan
secara terus-menerus
tindakan, seperti penampilan publik dan transkrip sidang kongres.
Demikian pula, Spark Policy Institute telah mengembangkan alat Pelacakan Pemimpin
Pembuat Kebijakan untuk memantau tindakan pembuat kebijakan selain catatan suara
mereka untuk menentukan apakah mereka adalah pemimpin dalam isu tertentu. Terakhir,
Perangkat Para Juara yang Menyelamatkan Kehidupan Baru , mencakup bagian tentang
pemantauan dan evaluasi pengaruh, keterlibatan, dan efektivitas para juara. Ditargetkan
untuk para advokat, perangkat ini terdiri dari Kerangka Kerja Champion dan Alat Pemetaan
dan Lembar Pelacakan Champion: Kegiatan Champion dan Hasil Sementara, yang dapat
digunakan oleh para advokat untuk mendokumentasikan pekerjaan mereka dengan para
champion yang didefinisikan secara luas, serta saran-saran untuk bekerja dengan
evaluator. dan menggunakan metode evaluasi APC yang ada.
Hal ini mencakup: tinjauan berkala, tinjauan setelah tindakan, penjelasan singkat yang
intens, cerita dampak, pengumpulan hasil, analisis kontribusi, dan pelacakan proses
(Roma dan Levine 2016).
Penguatan Aksi Komunitas

Ada banyak jenis keterlibatan di tingkat masyarakat—mobilisasi akar rumput, gerakan
sosial, pengorganisasian masyarakat, dan peningkatan pendaftaran pemilih—dan
evaluator mempunyai beragam pilihan untuk menilai keterlibatan dan pengaruhnya,
seperti penggunaan survei dan kelompok fokus.
Tantangannya adalah untuk menavigasi dunia yang rumit dari berbagai kelompok
dengan batas-batas yang tidak berbentuk dan aliansi yang berubah-ubah. Pemeriksaan
Kekuasaan Alliance for Justice : Alat Penilaian Kapasitas Pengorganisasian Komunitas
mengantisipasi kompleksitas ini dan fokus pada model advokasi dari bawah ke atas
(bottom-up) yang menjadi ciri pengorganisasian komunitas. Meskipun tidak hanya
terfokus pada kapasitas advokasi, pertanyaan instrumen online berfokus pada
kemampuan organisasi untuk memperkuat posisinya, menggunakan taktik pemberdayaan,
merancang strategi kampanye, mengaktifkan pemangku kepentingan, dan
mempengaruhi pengambil keputusan. Organisasi atau kelompok menilai dan
merefleksikan kekuatan mereka di beberapa bidang keterampilan, beberapa di antaranya
bersifat opsional, dan menerima tabulasi langsung dari skor ringkasan mereka di enam bidang.
DAMPAK
Mengevaluasi dampak kampanye advokasi atau inisiatif perubahan kebijakan terhadap

individu, organisasi, komunitas, atau masyarakat secara keseluruhan merupakan hal
yang menantang dan informatif. Ada beberapa alat yang tersedia yang hanya berfokus
pada dampak. Oleh karena itu, banyak pendekatan evaluasi yang menggunakan
kombinasi tinjauan dokumen, wawancara, kelompok fokus, dan survei. Beberapa
instrumen yang digunakan untuk menilai kapasitas advokasi juga dapat digunakan untuk
mengumpulkan data mengenai dampak, seperti manfaat yang dirasakan oleh kelompok
sasaran, perubahan dalam hubungan kekuasaan dan pengaruh, serta meletakkan dasar
bagi perubahan kebijakan lebih lanjut.
Kerangka kerja evaluasi dan hasil yang direkomendasikan sedang dikembangkan
yang dapat digunakan untuk merancang evaluasi tingkat sistem, seperti Kerangka Hasil
Dampak, Pengaruh, Leverage dan Pembelajaran (I2L2) yang memberikan contoh bidang
hasil dan pernyataan di tingkat sistem, seperti perubahan peraturan dan perubahan
dana publik (Reisman, Gien-app, dan Kelly 2015). Untuk membantu evaluator
mempertimbangkan berbagai faktor berpengaruh yang mendukung dan menentang
perubahan kebijakan, Western Energy Project (WEP) dan beberapa organisasi lain
menciptakan Kerangka Penilaian Advokasi untuk mengevaluasi peluang keberhasilan
kampanye advokasi.
Inti dari kerangka ini adalah sembilan kondisi yang dianggap penting bagi keberhasilan
kampanye kebijakan, seperti faktor kontekstual yang kondusif, kapasitas advokasi,
dukungan pembuat kebijakan, dan komitmen dalam melaksanakan kebijakan.
Kesembilan kondisi ini dapat dijadikan checklist untuk dipantau
kemajuan dan menilai hasil (Barkhorn, Huttner, dan Blau 2013). Terakhir, Penilaian
Hasil RAPID yang dilakukan oleh Overseas Development Institute meneliti hubungan
antara inisiatif advokasi, aktor politik, dan konteks untuk mengidentifikasi faktor-
faktor apa yang menyebabkan perubahan. Pendekatan ini menggunakan proses
kelompok untuk membuat peta perubahan yang diamati dan kaitannya dengan aktor
dan elemen kontekstual yang dianggap berkontribusi terhadap perubahan. Hal ini
tidak bergantung pada teori perubahan dan dapat digunakan untuk mengembangkannya.
Kami menutup diskusi instrumen ini dengan saran untuk meninjau kembali
perangkat evaluasi yang telah dikembangkan untuk advokasi oleh yayasan dan
evaluator APC di Amerika Serikat dan internasional.
arena, beberapa di antaranya didasarkan pada evaluasi aktual. Meskipun mereka

mungkin menyertakan atau tidak menyertakan metode unik sesuai definisi kami,
mereka mencakup templat pelacakan yang sederhana dan mudah digunakan, contoh
pertanyaan, dan instruksi untuk mengembangkan desain evaluasi, mengidentifikasi
hasil dan indikator, serta mengumpulkan dan menganalisis data. Perencana
Kemajuan Advokasi dari Aspen Institute dan Model Logika Gabungan Advokasi dan
Perubahan Kebijakan dari Proyek Penelitian Keluarga Harvard telah digunakan
oleh yayasan dan advokat untuk merencanakan dan mengevaluasi inisiatif advokasi
dan, dengan demikian, telah diperiksa secara lebih menyeluruh. Dan perangkatnya
terus dikembangkan. Misalnya, Spark Policy Institute baru-baru ini menyusun
Perangkat Evaluasi Advokat, yang dapat ditemukan online dan memberikan definisi
serta petunjuk penggunaan.
Perangkat ini dan perangkat evaluasi advokasi lainnya dapat ditemukan di

Lampiran B. Pada saat buku ini diterbitkan, mungkin akan ada lebih banyak metode
dan perangkat unik yang dapat digunakan atau disesuaikan dengan situasi evaluasi Anda.
Tetap waspada dan memantau situs web Point K Pusat Evaluasi Inovasi dan
Jaringan Inovasi, sesi Kelompok Minat Topikal Pertemuan Tahunan AEA dan
Perubahan Kebijakan serta diskusi online aea365, dan blog mingguan Aspen
Institute, Jadi Apa? Panduan Mingguan Anda untuk Dampak Advokasi, akan
membantu Anda tetap mendapatkan informasi terkini.
PRAKTEK EVALUASI: USEF UL
DAN MENGGUNAKAN METODE UNIK

Temuan Survei Evaluasi APC Aspen/UCSF mengenai metode unik menunjukkan
bahwa penilai menyertakan metode unik dalam evaluasi mereka
desainnya sampai batas tertentu meskipun mereka menganggapnya sangat berguna.

Seperti dijelaskan pada Tabel 5.1, pembekalan periode intensif dinilai sangat berguna
(3,3, dimana 4.0 “sangat berguna”) dan lebih mungkin untuk “digunakan” dibandingkan
metode unik lainnya (57 persen), yang menunjukkan bahwa metode ini cepat dan tepat
waktu. instrumen ini sangat dapat diterapkan dalam inisiatif advokasi dan perubahan
kebijakan. Temuan bahwa penilaian kapasitas advokasi dinilai sangat sering digunakan
(3,1) dan lebih banyak digunakan oleh responden survei (65 persen) tidaklah
mengejutkan. Seperti yang telah kita bahas sebelumnya dalam bab ini, komunitas
evaluasi APC telah menghasilkan banyak instrumen yang telah disebarluaskan dan
digunakan. Tingkat kegunaan yang tinggi (3,1) dan penggunaan yang moderat (49
persen) dari peringkat pembuat kebijakan menunjukkan bahwa pengumpulan informasi
dari pembuat kebijakan sangatlah informatif, namun akses terhadap pengambil
keputusan sulit atau banyak evaluator APC mungkin tidak fokus pada proses pembuatan
kebijakan. Kegunaan dan penggunaan dua metode unik tradisional yang relatif tinggi—
analisis konten dan jajak pendapat publik—
menyampaikan pentingnya metode yang telah teruji dan benar, serta fokus yang
berkelanjutan dari para evaluator APC pada taktik advokasi konvensional atau advokasi
media dan advokasi yang menyasar masyarakat. Terakhir, rendahnya kegunaan (2,8)
dan penggunaan yang moderat (49 persen) dari survei pengambil kebijakan dapat
menjadi indikator sulitnya menjamin partisipasi pengambil kebijakan dalam kegiatan
pengumpulan data konvensional, seperti akses, pemanggilan kembali informan, dan keterbatasan waktu.
(Untuk perbandingan metode ini dengan metode konvensional, lihat Tabel 4.2 di Bab 4.)
Singkatnya, metode-metode unik digunakan di lapangan dengan keberhasilan

yang baik, menghasilkan informasi berguna mengenai masukan, hasil, dan dampak
yang sampai saat ini sulit untuk dievaluasi. Namun, seperti yang kita bahas dalam
perbandingan dua evaluasi komprehensif di bawah ini, kenyataannya adalah bahwa

metode yang unik cenderung tidak menjadi inti dari desain evaluasi. Konteks dan
kebutuhan informasi pemangku kepentingan akan mendorong penggunaan metode
yang unik, dan metode tersebut mungkin tidak dapat diterapkan di setiap situasi.
Kedua, metode konvensional bersifat serbaguna. Pertanyaan mengenai kapasitas dan
dampak advokat dapat dimasukkan dalam survei, instrumen wawancara, dan dapat
dikembangkan menjadi studi kasus atau disajikan sebagai temuan tersendiri.
Tabel 5.1. Kegunaan dan Penggunaan Metode Unik oleh Responden Survei Aspen/UCSF
Kegunaan Persentase
rata- responden
rata (1 = yang
Metode evaluasi tidak digunakan-
mengindikasikan
penuh dan
4 = sangat bahwa mereka
telah
berguna)
menggunakan metode
Debriefing periode intensif/peninjauan setelah tindakan: mendapatkan perhatian 3.3 57%
dari pembuat kebijakan dan pihak-pihak lain yang berpengaruh terhadap

efektivitas advokasi.
Penilaian kapasitas advokasi: instrumen penilaian 3.1 65%
kapasitas organisasi secara online atau tertulis.
Peringkat pembuat kebijakan: peringkat dukungan dan pengaruh 3.1 49%

pembuat kebijakan terhadap isu tersebut.
Analisis isi liputan media: menghitung aspek-aspek spesifik 3.0 67%
liputan media, seperti jumlah kata, penempatan artikel, tema-tema

utama.
Jajak pendapat opini publik: wawancara telepon dengan 3.0 48%
sampel acak masyarakat untuk mendokumentasikan

pengetahuan, sikap, dan perilaku mereka.
Survei pembuat kebijakan: survei persepsi pembuat kebijakan 2.8 49%
mengenai taktik advokasi, liputan media, dan lain-lain.
Sumber: Program Perencanaan dan Evaluasi Aspen, The Aspen Institute.
PRAKTEK EVALUASI:
DUA KASUS EVALUASI
Untuk perbandingan terakhir kami atas dua desain dan metode evaluasi,
kami telah memilih dua evaluasi jangka panjang yang dilaksanakan pada
awal inisiatif dan yang menggunakan berbagai instrumen untuk menilai
pencapaian formatif dan sumatif, serta dampak jangka panjang. , seperti
perubahan sistem: Inisiatif Pendidikan dan Kebijakan Tembakau Suku
(TTEP), dan Project Health Colorado. Evaluasi ini juga mewakili berbagai
skenario advokasi dan perubahan kebijakan yang mungkin dihadapi
oleh para penilai, dengan kedua inisiatif tersebut mencakup berbagai advokasi.
taktik cacy. Inisiatif Pendidikan dan Kebijakan Tembakau Suku (TTEP).

berfokus pada kapasitas advokasi di tingkat lokal, pendidikan masyarakat, dan pembuatan
kebijakan bebas rokok. Project Health Colorado tidak menargetkan kebijakan tertentu dan
berfokus pada pembangunan kemauan masyarakat di seluruh negara bagian untuk
meningkatkan akses terhadap layanan kesehatan menggunakan rencana komunikasi, taktik

media sosial, mobilisasi lingkungan, kerangka penyampaian pesan, melakukan kampanye,
dan mendidik para pengambil keputusan. Konteksnya serupa karena memerlukan keahlian
evaluasi dalam norma dan nilai sosial. Inisiatif TTEP menekankan nilai-nilai penghormatan
terhadap sejarah trauma dan kelangsungan hidup, kedaulatan, dan memilih jalan menuju
perubahan, serta memulihkan penggunaan tembakau tradisional. Project Health Colorado

bertujuan untuk mencapai akses terhadap layanan kesehatan bagi semua warga Colorado—
masalah hak-hak sosial—dengan menggunakan strategi gerakan sosial.
Pada tingkat desain, kedua evaluasi tersebut memberikan beberapa wawasan mengenai
pendekatan yang mengantisipasi dan bekerja dengan kompleksitas suatu inisiatif, serta sifat
perkembangan dari beberapa kampanye. Evaluator Project Health Colorado memiliki konteks
evaluasi yang kompleks dengan banyak mitra dan interaksi di antara berbagai intervensi dan
mencakup fase pengembangan. Mereka menggunakan konsep evaluasi sistem adaptif,
termasuk analisis abduktif retrospektif dan kerja lapangan untuk memahami pengalaman
pemangku kepentingan dan mengidentifikasi hasil yang muncul.
Tim evaluasi TTEP mengadopsi kerangka kerja yang berfokus pada pemanfaatan dan
memasukkan strategi pemberdayaan untuk membangun kapasitas dan mengidentifikasi

bidang-bidang yang perlu direvisi dan diperkuat.
Selain itu, kedua evaluasi tersebut menggunakan pendekatan partisipatif dalam

rancangannya dan menggunakan temuan-temuan untuk memfasilitasi pembelajaran
strategis, termasuk pelaporan temuan secara real-time kepada penerima hibah dan pemberi
dana. Para evaluator Inisiatif TTEP bekerja dengan para pemangku kepentingan sejak awal
untuk meninjau kembali elemen-elemen inti, menghilangkan salah satu elemen tersebut dan
menambahkan pertanyaan evaluasi tambahan tentang cara kerja mobilisasi di komunitas penduduk asli Amerika
Para evaluator bekerja erat dengan koordinator TTEP di lima suku dan mengadakan
pertemuan rutin dengan para penerima hibah, yang disebut Sesi Berbagi. Sepanjang
evaluasi, ada penekanan pada penjelasan inisiatif dan taktik advokasi dari sudut pandang
suku. Tujuan utama evaluasi Project Health Colorado adalah untuk mendukung pembelajaran
strategis yang berkelanjutan

oleh penerima hibah dan pemberi dana, sehingga menghasilkan struktur bantuan
teknis formal, yang kemudian dievaluasi oleh penilai eksternal. Penerima hibah
bekerja dengan pelatih pembelajaran strategis untuk mengembangkan rencana
pembelajaran dan memperkuat kapasitas mereka untuk melakukan pengumpulan
data secara sistematis, interpretasi kolektif atas temuan data, dan identifikasi
perubahan yang dapat ditindaklanjuti.
Karena kedua evaluasi tersebut dimulai pada awal inisiatif dan dilanjutkan
cukup lama untuk menilai program yang sudah matang, kedua evaluasi tersebut
memiliki pertanyaan evaluasi yang berfokus pada proses dan hasil serta konteks.
Project Health Colorado menggunakan teori perubahan yang dikembangkan oleh
Colorado Trust dan memiliki lima hasil yang berfokus terutama pada penguatan
advokasi kesehatan dan peningkatan liputan media.
Penerima hibah individu juga memiliki teori perubahan yang berfokus pada
pengembangan pembawa pesan dan kemitraan organisasi. Selain itu, para
evaluator bekerja dengan kerangka lima poin Grup Metropolitan untuk gerakan
sosial. Evaluator mengembangkan kerangka kerja yang menunjukkan
korespondensi antara hasil teori perubahan, pertanyaan evaluasi, dan tahapan
kerangka gerakan sosial. Indikator diidentifikasi untuk setiap pertanyaan evaluasi.
Model logika TTEP dikembangkan oleh ClearWay Minnesota, salah satu
penyandang dana utama, pada awal program. Model ini kemudian dimodifikasi
oleh para evaluator, yang juga bekerja sama dengan pemberi dana untuk
mengembangkan pertanyaan evaluasi dan indikator terkait, termasuk hasil
perubahan sistem untuk mengurangi penggunaan tembakau secara komersial
dan perubahan sistem kesehatan yang mendukung berhenti merokok. Kedua
lembaga evaluasi tersebut berasumsi bahwa rencana evaluasi mereka akan
bersifat dinamis dan mengalami perubahan metode seiring dengan semakin matangnya inisiatif ter
Kedua evaluasi tersebut menggunakan metode campuran, mencakup

pendekatan waterfront, mengevaluasi hampir seluruh komponen kedua inisiatif,
mengumpulkan data dari berbagai sumber, dan menggunakan triangulasi untuk
memperkuat temuan. Evaluator dari kedua inisiatif mengembangkan atau
mengadaptasi instrumen survei untuk menilai kegiatan pelatihan dan persepsi
audiens sasaran serta kemitraan organisasi. Misalnya, evaluator Inisiatif TTEP
menggunakan diagram Spider Support untuk menggambarkan tingkat dukungan
anggota masyarakat. Selain itu, kegiatan Inisiatif TTEP dan beberapa hasilnya
dapat diobservasi, dan evaluator dapat mengamati
melayani perubahan papan tanda untuk membatasi penggunaan tembakau dan

penggunaan tembakau di masyarakat, termasuk powwow dan kasino, suatu kegiatan
pengumpulan data yang juga dapat dilakukan oleh koordinator TTEP.
Para evaluator kedua inisiatif ini menggunakan metode unik berbeda yang
merupakan bagian integral dalam mendokumentasikan kemajuan dan efektivitas
inisiatif. Para evaluator TTEP mengembangkan Kisah Perubahan Komunitas, sebuah
metode penyampaian cerita terstruktur yang mirip dengan teknik Perubahan Paling
Signifikan (MSC) yang menghasilkan narasi proses perubahan dari sudut pandang
komunitas. Mereka mendokumentasikan kelima suku serta strategi dan taktik masing-
masing, bekerja sama dengan koordinator suku TTEP untuk mengumpulkan data,
melaporkan temuan secara real-time, dan memfasilitasi refleksi untuk menginformasikan
perencanaan. Tim evaluasi juga bekerja sama dengan Perencana Kebijakan Advokasi
dari Aspen Institute untuk mengembangkan pendekatan Pemetaan Kebijakan dan
menggunakan bagian taktik dalam alat ini, menghilangkan dan menambahkan beberapa
taktik, seperti advokasi untuk memulihkan penggunaan tembakau secara tradisional.
Para evaluator Project Health Colorado memeriksa aspek-aspek kampanye pengiriman
pesan menggunakan survei terhadap masing-masing pengirim pesan, analisis
penggunaan pesan oleh penerima hibah dan audiens mereka dalam materi tertulis, audio
dan video, analisis data pelacakan kampanye komunikasi, analisis GIS tentang distribusi
pesan yang dikombinasikan dengan kerja lapangan di area intensitas, dan Pemodelan
Pilihan, sebuah teknik riset pemasaran yang berfokus pada memunculkan kombinasi
pesan mana yang akan menjangkau persentase audiens tertinggi. Mereka juga
menggunakan teknik bercerita dan pengembangan enam cerita dari inisiatif yang
kemudian dimasukkan dalam survei yang diberikan kepada kelompok intervensi dan
kelompok kontrol online untuk menilai dampak cerita tersebut dalam membujuk
masyarakat untuk mengambil tindakan.
Meskipun dilengkapi dengan serangkaian metode yang kuat, para evaluator kedua
inisiatif tersebut harus menghadapi beberapa tantangan yang signifikan, sebagian
bersifat metodologis dan sebagian bersifat kontekstual. Untuk memperkuat validitas
temuan, tim evaluasi Inisiatif TTEP sangat mengandalkan triangulasi dan metode tidak
digunakan secara terpisah. Mereka juga menggunakan pendekatan yang ketat dalam
mengumpulkan dan mengkodekan data kualitatif dan melakukan analisis media,
melibatkan dua evaluator dan menggunakan teknik penilaian reliabilitas antar penilai
untuk memeriksa kesepakatan dalam pengkodean dan
instrumen. Jika memungkinkan, mereka mengumpulkan data dasar. Tim evaluasi

Project Health Colorado mengambil langkah-langkah untuk memperkuat validitas
masing-masing instrumen, termasuk tingkat partisipasi yang tinggi dalam survei,
wawancara, dan metode yang ditargetkan untuk menentukan jangkauan strategi
secara keseluruhan dan komponen, seperti media berbayar , kunjungan situs
web, dan komunikasi elektronik. Evaluator juga menganalisis informasi ini
berdasarkan kode pos dan mengembangkan Reach Maps.
Tim evaluasi juga harus menghadapi tantangan kontekstual meskipun kedua
tim telah mengantisipasi perubahan dalam desain mereka sejak awal, termasuk
menghapus dan menambahkan instrumen seiring dengan semakin matangnya
inisiatif tersebut. Tim Project Health Colorado menambahkan Choice Modeling,
teknik riset pemasaran. Tim evaluasi Inisiatif TTEP menggunakan survei
Inventarisasi Pengalaman Tembakau selama dua tahun, namun mereka
membatalkannya setelah mengumpulkan cukup informasi mengenai kapasitas.
Mereka juga menghilangkan diagram Support Spider, yang berguna untuk
mempelajari dukungan sejak dini dan sebaliknya berfokus pada penilaian
dukungan untuk kebijakan tertentu dalam tujuan rencana kerja penerima hibah.
Nantinya, evaluator TTEP menambahkan instrumen Pemetaan Kebijakan.
Kegesitan ini sangat berguna dalam inisiatif Project Health Colorado, di mana
pemberi dana mengubah strateginya dan memasukkan penilaian pembangunan
lapangan. Demikian pula, desain evaluasi Inisiatif TTEP harus mempertimbangkan
berbagai strategi yang diadopsi oleh kelima suku tersebut. (Silakan lihat Lampiran
A untuk penjelasan kedua evaluasi tersebut.)
KESIMPULAN
Kabar baiknya adalah semakin banyak instrumen dan ukuran APC yang dapat
dipilih oleh evaluator. Pendekatan-pendekatan unik ini mendapatkan daya tarik,
memberikan lebih banyak pilihan serta mengisi kesenjangan dalam pengumpulan
data yang selama ini berada di luar jangkauan pandangan evaluator yang paling
ahli sekalipun. Kabar buruknya adalah bahwa pengembangan dan penggunaan
alat-alat ini dikelompokkan pada kapasitas advokasi dan hasil jangka pendek
yang berada di akhir model logika, sehingga memberikan pilihan kepada evaluator
untuk menggunakan metode-metode yang muncul dari arena evaluasi lainnya,
seperti pendekatan pemikiran sistem, dan penyertaan berbagai sumber data untuk
menilai hasil dan dampak jangka panjang, terutama yang Paling Signifikan
Teknik Perubahan (MSC). Namun, secara metodologis ini mungkin merupakan pendekatan
evaluasi yang paling ketat dan informatif sebagaimana dibuktikan oleh enam kasus evaluasi kami
dan kerangka kerja evaluasi yang terus berkembang.
Selain itu, instrumen yang sudah jadi juga memberikan manfaat, namun pengguna harus
berhati-hati untuk memastikan bahwa instrumen tersebut selaras dengan inisiatif dan kebutuhan
informasi pemangku kepentingan. Instrumen tervalidasi yang dikembangkan dalam satu konteks
mungkin tidak cocok untuk konteks lain. Pendekatan tumbuhkan Anda sendiri terhadap
pengembangan instrumen mungkin lebih selaras dengan tujuan dan sasaran inisiatif, namun hal
ini memerlukan keahlian dalam pengembangan, validasi, uji coba, dan administrasi. Seperti
yang ditunjukkan oleh beberapa kasus evaluasi kami, para evaluator menyesuaikan instrumen-
instrumen ini dengan konteks mereka sendiri.
Temuan-temuan dari survei Aspen/UCSF menunjukkan tingginya kegunaan dan tingkat
penggunaan moderat dari metode-metode unik secara keseluruhan, dengan beberapa metode
mempunyai peringkat penggunaan yang lebih rendah dibandingkan metode-metode lainnya,
seperti penilaian pembuat kebijakan, jajak pendapat publik, dan survei pembuat kebijakan.
Perbedaan penggunaan mungkin bergantung pada konteks dan/atau merupakan indikasi
lambatnya penyerapan oleh komunitas evaluasi APC, yang dapat berubah seiring dengan perluasan fokus bidang in
Perbandingan kedua kasus evaluasi ini mencerminkan desain evaluasi APC dalam arti
yang paling luas dan terdalam, atau ketika para evaluator dilibatkan sejak dini dan mampu
mengumpulkan data dari berbagai sumber di berbagai kegiatan inisiatif dan dalam situasi yang
mencerminkan advokasi dan perubahan kebijakan. inisiatif di seluruh dunia. Meskipun mereka
masih belum memenuhi standar emas dalam desain evaluasi atau kurangnya desain
eksperimental atau bahkan desain kuasi-eksperimental, mereka menunjukkan penggunaan
triangulasi yang proaktif, kepekaan terhadap konteks budaya dan politik, dan kemampuan untuk
meningkatkan validitas data individu. kegiatan pengumpulan.
Singkatnya, evaluator APC mempunyai seperangkat metode dan instrumen yang
konvensional, baru muncul, dan unik untuk mengevaluasi inisiatif advokasi dan perubahan
kebijakan, dan mereka bersedia dan siap untuk menggunakan banyak dari metode dan instrumen
tersebut. Manfaatnya adalah hal ini memperluas area dimana para evaluator dapat memfokuskan
pandangan mereka dengan tingkat kepastian yang lebih tinggi bahwa mereka akan menghasilkan
temuan yang kredibel dan dapat ditindaklanjuti. Kelemahannya adalah banyak dari metode ini
masih relatif baru dan belum dinilai secara psikometrik atau diadopsi secara luas. Bersikap
transparan dalam keterbatasan metode ini, serta metode konvensional, adalah pendekatan yang
sudah lama dilakukan.

172 Instrumen Unik untuk Advokasi dan Perubahan Kebijakan
Meskipun pengembangan perangkat komprehensif mengenai desain

evaluasi, hasil, metode, dan langkah-langkah merupakan tujuan utama buku
ini, desain sebenarnya sangat bergantung pada identifikasi kebutuhan informasi
pemangku kepentingan, baik itu evaluasi dampak yang berfokus pada
perubahan target penerima manfaat. atau memvalidasi kontribusi penyandang
dana terhadap keberhasilan program. Dialog dan kemitraanlah yang menjadi
landasan praktik evaluasi dan bukan sebaliknya. Pada Bab 6, kami
mengeksplorasi perspektif pengguna akhir, advokat, pemberi dana, dan
pengambil keputusan, dan kami mendiskusikan peluang untuk memperkuat
kemitraan dan memanfaatkan proses evaluasi dan temuan.
Bagian 3
Memanfaatkan Kebijaksanaan dari Lapangan


BAB 6
PERAN DAN HUBUNGAN EVALUATOR

DENGAN PEMANGKU KEPENTINGAN
PERKENALAN
Hubungan evaluator dengan advokasi, penyandang dana, dan pemangku
kepentingan lainnya pada akhirnya akan menentukan berhasil atau tidaknya evaluasi
advokasi dan perubahan kebijakan (APC). Hubungan ini bisa bermacam-macam
bentuknya. Karena inisiatif APC mencakup banyak pemangku kepentingan dengan
kebutuhan informasi yang beragam dan terkadang saling bertentangan, penilai
inisiatif ini akan memainkan peran ganda sebagai peneliti, pendidik, ahli strategi,
dan pemberi pengaruh. Di satu sisi, mereka bertanggung jawab untuk memberikan
informasi kepada para advokat dan sponsor swasta dan publik mengenai efektivitas
dan strategi program. Di sisi lain, evaluator mempunyai kesempatan untuk mendidik
pengambil keputusan dan memberikan informasi yang mempengaruhi hasil
kebijakan. Misalnya, sebuah studi kasus yang menggambarkan kampanye advokasi
akar rumput untuk mendidik masyarakat mengenai dampak negatif ekonomi dari
rendahnya tingkat melek huruf dapat memberikan pengaruh yang besar bagi para
pengambil keputusan, sehingga mungkin akan mengangkat permasalahan ini lebih lanjut dalam agen
Selain mencari tahu siapa yang perlu mengetahui apa dan kapan, para
evaluator harus menavigasi lingkungan yang berubah-ubah dengan aliansi yang
berubah-ubah serta lingkungan politik dan kelembagaan yang rumit. Perubahan
dalam kepemimpinan, misi organisasi, dan nilai-nilai budaya, serta keadaan politik
eksternal dan opini publik, dapat menjadi tantangan dalam penerapan rencana
evaluasi yang dirancang terbaik serta penggunaan temuan evaluasi.
176 Memanfaatkan Kebijaksanaan dari Lapangan
nanti. Mungkin juga sulit untuk mendokumentasikan apa yang berhasil dan apa yang
tidak, konsekuensi yang tidak diantisipasi, dan pembelajaran bagi upaya APC di masa
depan. Biasanya, penyandang dana swasta menyadari pentingnya pengumpulan temuan
evaluasi secara sistematis untuk membantu menginformasikan gelombang upaya
advokasi berikutnya, namun, secara terus-menerus, mungkin sulit untuk mendapatkan
pendanaan untuk melakukan penelitian ini secara real-time.
Dalam bab ini, kita mengeksplorasi peran dan hubungan yang dapat dikembangkan
oleh evaluator APC dengan tiga pengguna akhir evaluasi: advokat/penerima hibah,
penyandang dana, dan pembuat kebijakan. Kami memanfaatkan literatur mengenai
evaluasi secara lebih luas, seperti Evaluasi Peningkatan Kapasitas (ECB), evaluasi yang
berfokus pada pemanfaatan, dan evaluasi partisipatif. Kami menjelaskan berbagai cara
di mana evaluator APC dapat berkolaborasi dengan para pengguna ini dan menciptakan
hubungan evaluator-stakeholder yang positif.
Kami juga merefleksikan hasil Survei Evaluasi APC Aspen/UCSF mengenai
penggunaan temuan evaluasi dan pengalaman enam kasus evaluasi, dan kami
memberikan saran untuk bekerja dengan beragam pemangku kepentingan untuk
memunculkan perspektif yang berbeda dan menciptakan pemahaman bersama. tujuan
dan sasaran pemangku kepentingan. Misalnya, evaluator dapat menyusun umpan balik
informasi untuk menerapkan temuan evaluasi pada inisiatif APC dan memajukan
pembelajaran organisasi. Mereka dapat mendiskusikan temuan secara langsung dan
tidak hanya menghasilkan laporan yang berisiko tidak dibaca. Strategi-strategi ini akan
meningkatkan daya tanggap evaluator serta menumbuhkan perspektif orang dalam yang
dapat membantu pengambilan keputusan.
PERLUASAN KAPASITAS EVALUASI ADVOKAT

DAN PENGETAHUAN
Semakin ketatnya persyaratan pelaporan pemerintah dan penyandang dana di AS
menyebabkan semua jenis organisasi berada di bawah tekanan untuk mengevaluasi
aktivitas mereka dan menunjukkan bukti pencapaiannya. Hal ini telah dipercepat pada tahun 2016
Amerika Serikat melalui pelimpahan program federal ke tingkat negara bagian dan
pengalihan tanggung jawab program-program yang didanai publik ke sektor swasta.
Namun, data mengenai praktik evaluasi internal dalam organisasi yang melakukan
advokasi menunjukkan bahwa terdapat ketidaksetaraan dalam kapasitas organisasi untuk
memenuhi tuntutan tersebut.
Banyak advokat yang tidak mengevaluasi kerja APC mereka 100 persen
Peran Evaluator dan Hubungannya dengan Pemangku Kepentingan 177
waktunya bukanlah hal yang mengejutkan. Terdapat kesenjangan yang signifikan dalam kapasitas
evaluasi internal organisasi, termasuk bekerja dengan evaluator eksternal dan menyusun temuan
evaluasi untuk dijadikan masukan dalam praktik dan pencapaian advokasi.
Pada tahun 2008, tiga tantangan utama dalam melakukan evaluasi yang diidentifikasi oleh advokat
nirlaba adalah kombinasi dari kurangnya sumber daya (waktu dan/atau uang), kurangnya
pengetahuan tentang evaluasi, dan tantangan teknis dalam mengevaluasi pekerjaan advokasi
(seperti kurangnya langkah-langkah yang diambil untuk melakukan evaluasi). dan terbatasnya
kapasitas pengumpulan dan analisis data) (Innovation Network 2008). Kesenjangan ini perlahan-
lahan mulai berkurang seiring dengan meningkatnya kapasitas penerima hibah untuk mengevaluasi
kegiatan mereka secara lebih luas. Pada tahun 2012, lebih dari 90 persen organisasi nirlaba (N =
535) yang disurvei oleh Innovation Network melaporkan mengevaluasi pekerjaan mereka, naik
dari 85 persen organisasi pada tahun 2010 (Innovation Network 2012).
Upaya untuk memperluas kapasitas evaluasi secara lebih luas akan meningkatkan
kemungkinan bahwa evaluasi internal APC juga akan diperluas, dan ada banyak jenis bantuan
evaluasi yang dapat diberikan oleh evaluator APC. Misalnya, mereka dapat terlibat dalam
Pengembangan Kapasitas Evaluasi (ECB) dan mendidik organisasi tentang cara mengembangkan
model logika dan sistem pengumpulan data. Sebuah bidang yang telah tumbuh secara
eksponensial dan telah menghasilkan banyak kerangka kerja dan model, para praktisi ECB
masih harus bergulat dengan terbatasnya rentang perhatian staf yayasan dan nirlaba, terbatasnya
kapasitas organisasi dan pemimpin dalam melakukan evaluasi, serta mempertahankan
pengetahuan dan keterampilan evaluasi (Preskill 2013) .
Sebuah alasan yang kuat dapat dibuat untuk memberikan bantuan teknis evaluasi dan
memperkuat praktik evaluasi APC standar kapasitas evaluasi internal advokasi, khususnya untuk
organisasi nirlaba yang terutama menyediakan layanan. Evaluator internal dapat memainkan
berbagai peran yang berpengaruh jika mereka memiliki sarana dan sumber daya:
• Agen perubahan, atau menggunakan evaluasi untuk menginformasikan pembelajaran organisasi
dan meningkatkan kinerja program;
• Pendidik, atau meningkatkan pemahaman advokat tentang nilai dan kegunaan evaluasi, seperti
melatih advokat tentang keberhasilan praktik pemantauan;
• Pendukung pengambilan keputusan, atau bekerja sama dengan pimpinan untuk mengintegrasikan
evaluasi dengan pengambilan keputusan;

• Peneliti/teknisi, atau menerapkan metode evaluasi untuk memecahkan masalah organisasi;
• Mendukung, atau memperjuangkan penggunaan evaluasi untuk membantu keberhasilan program
berhenti; Dan
• Pendukung pembelajaran organisasi, atau memajukan pembelajaran organisasi dengan meningkatkan
kegunaan informasi evaluasi internal (Volkov 2011).
Bidang evaluasi juga berfokus pada penyebaran kapasitas evaluasi dalam suatu organisasi, termasuk
keterlibatan staf dan kepemimpinan yang lebih besar dalam kegiatan evaluasi, lebih dari sekadar
merefleksikan temuan, atau apa yang dilakukan.
Michael Quinn Patton menyebut “penggunaan proses”, yang ia definisikan sebagai:
Penggunaan proses mengacu dan ditunjukkan oleh perubahan individu dalam

pemikiran dan perilaku, serta perubahan program atau organisasi dalam
prosedur dan budaya yang terjadi di antara mereka yang terlibat dalam
evaluasi sebagai hasil pembelajaran yang terjadi selama proses evaluasi.
Bukti penggunaan proses ditunjukkan dengan pernyataan seperti ini setelah
evaluasi: Dampak terhadap program kami tidak hanya berasal dari temuan
tetapi juga melalui proses berpikir yang diperlukan dalam evaluasi. (Patton
dikutip oleh Amo dan Cousins 2007)
Memeriksa rencana evaluasi, mengembangkan sistem pengumpulan data, dan mengintegrasikan
temuan ke dalam komunikasi dan pengambilan keputusan—semua ini merupakan peluang bagi evaluator
APC untuk mendukung praktik evaluasi internal yang berkelanjutan dan pembelajaran organisasi yang
berkelanjutan. Dan karena sebagian besar organisasi mempunyai sumber daya yang terbatas untuk
evaluator eksternal, peningkatan kapasitas evaluasi dalam arti luas akan terus membantu kelompok
ketika mereka harus melakukan evaluasi sendiri.
Bidang evaluasi, penyandang dana, dan pembangun lapangan advokasi juga telah bersikap proaktif
dan telah mengembangkan sejumlah daftar periksa dan alat untuk membangun kapasitas evaluasi
nirlaba internal, seperti Daftar Periksa Evaluasi Pelembagaan (Baron 2011) dan 12 Tip untuk Evaluasi
dari Alliance for Justice. Lembaga Nonprofit Melakukan Evaluasi Sendiri (Alliance for Justice 2016).
Evaluator melakukan pelayanan yang besar dengan berbagi sumber daya ini dengan para advokat
tanpa memandang keterlibatan mereka dalam desain dan implementasi evaluasi.

Selain itu, evaluator perlu memperhatikan konteks organisasi dan menyadari bahwa
penyedia layanan nirlaba yang mencurahkan sebagian sumber dayanya untuk advokasi akan
memiliki struktur dan prioritas organisasi yang berbeda dibandingkan dengan asosiasi
profesional atau konsumen yang memiliki keanggotaan atas nama organisasi tersebut. advokat
secara penuh waktu. Organisasi nirlaba mungkin memiliki tingkat komitmen yang lebih rendah
terhadap evaluasi, serta terbatasnya kemampuan atau sumber daya untuk memikul tanggung
jawab tambahan. Mereka mungkin juga khawatir mengenai transparansi mengenai temuan-
temuan evaluasi jika hasil evaluasi tidak sepositif yang mereka inginkan. Meskipun evaluasi
internal dapat membantu perbaikan organisasi, hasil formal mungkin mengecewakan “pasukan”
jika tidak disajikan dalam cara yang konstruktif dan memberi semangat dalam mengidentifikasi
strategi alternatif.
Meskipun kecenderungannya mengarah pada penguatan evaluasi internal, manfaat dari
perluasan kapasitas evaluasi organisasi tidak selalu dipahami dengan baik oleh para advokat
dan organisasinya. Dalam banyak situasi, evaluasi dipandang dengan kecurigaan, khususnya
jika dikenakan pada advokat oleh pemberi dana sebagai persyaratan untuk melanjutkan
pendanaan. Merangkul keterbukaan terhadap peningkatan kualitas memerlukan komitmen dari
pimpinan, terutama jika pemberi dana secara cermat memantau pencapaian mereka.
Pemantauan dan evaluasi advokasi harus kredibel dan menunjukkan nilai tambah bagi advokasi
atau memberikan informasi real-time yang dapat menentukan strategi dan langkah selanjutnya,
sesuatu yang tidak selalu mudah dilakukan.
Terlebih lagi, advokat yang cerdas dan yakin bahwa dirinya mengetahui seberapa baik
kemajuan kampanye dan kapan serta bagaimana mengubah arah kampanye mungkin tidak
melihat manfaat dari menambahkan kegiatan evaluasi ke dalam beban kerjanya.
Hal ini mungkin benar, dan evaluator APC perlu mengetahui bagaimana mendukung dan
memanfaatkan—bukan membebani—keahlian ini. Mereka juga harus melihat diri mereka
sebagai mitra, bukan pemimpin, dalam memfasilitasi proses berpikir melalui evaluasi dan
mendukung pembelajaran organisasi. Dalam hal ini, mengumpulkan pembelajaran atau “data
pembelajaran” mungkin berguna bagi organisasi ketika mereka menyusun kembali dan
mempertimbangkan arah masa depan yang perlu dicapai.
Namun bagi banyak advokat, hal ini tidak terjadi, dan evaluasi dapat menjadi masukan
dalam praktik advokasi. Dalam analisisnya pada tahun 2015 mengenai kapasitas advokasi 280
organisasi nirlaba, Alliance for Justice menemukan bahwa organisasi-organisasi tersebut menilai
diri mereka tinggi dalam mengembangkan kemitraan advokasi dan legislatif dan organisasi nirlaba.
advokasi administratif dan rendahnya kapasitas mereka untuk mendanai advokasi dan
melakukan hubungan media, kegiatan pemilu, litigasi, dan pemungutan suara. Namun,
organisasi nirlaba juga melaporkan bahwa mereka mengandalkan organisasi mitra di
bidang yang lemah. Menariknya, tidak ada perbedaan berdasarkan ukuran atau anggaran
organisasi, dan organisasi-organisasi ini menilai kapasitas advokasi mereka dengan cara
yang sama (McClure dan Renderos 2015).
Evaluator APC juga dapat melakukan kegiatan evaluasi eksternal yang bertujuan untuk
vokasi sendiri tidak mampu melakukan hal tersebut, seperti melakukan survei opini publik
di seluruh komunitas. Tantangannya adalah menyeimbangkan perspektif evaluasi internal
dan eksternal. Argumen yang kuat dapat dibuat untuk meningkatkan inklusi evaluasi
eksternal dari sudut pandang pemberi dana.
Hal ini memungkinkan adanya umpan balik yang kredibel dan tanpa filter yang dapat
meningkatkan praktik sekaligus berbagi pembelajaran secara lebih luas (Moralu dan
Brennan 2009). Ada juga efisiensi yang dapat diperoleh dengan mengintegrasikan aktivitas
pengumpulan data eksternal dan internal, seperti memanfaatkan kapasitas evaluasi
internal untuk evaluasi eksternal tingkat perusahaan. Laporan tradisional penerima hibah
kepada pemberi dana dapat digunakan untuk mengumpulkan data formatif dan sumatif. Ini dan
strategi lain dapat digunakan untuk merancang rencana evaluasi bertingkat yang
menjawab kebutuhan informasi yang berbeda. Misalnya, kami menemukan bahwa
melakukan analisis Laba atas Investasi (ROI) memberikan informasi baru tentang
dampak yang tidak dapat dipelajari oleh penerima hibah dari kegiatan pengumpulan data
mereka sendiri. Hal ini juga memberikan bukti kepada penyandang dana bahwa advokasi
memberikan ROI yang wajar (Gardner, Geierstanger, Nasci-mento, dan Brindis 2011).
Terakhir, pendekatan ini menghasilkan cara yang mudah digunakan
sistem akuntansi yang dapat digunakan oleh penerima hibah untuk menunjukkan
keuntungan finansial dari kerja kebijakan mereka. Penyandang dana, dalam beberapa
kasus, mungkin perlu menunggu beberapa tahun karena sifat advokasinya untuk menerima
analisis ROI, namun penantian dan investasi sumber daya awal ini layak untuk dilakukan.
Singkatnya, ada banyak peluang bagi evaluator APC untuk bekerja dengan para
advokat untuk mengatasi kesenjangan dalam semua jenis kapasitas evaluasi sambil
mendukung pembelajaran organisasi, seperti bermitra dengan para advokat untuk
menafsirkan dan menerapkan temuan evaluasi ke dalam praktik advokasi pada pengarahan
triwulanan dan menyediakan dokumentasi tertulis yang dapat diakses. . Terakhir, mereka
dapat berfungsi sebagai penghubung antara penyandang dana dan advokat, seperti
mengkomunikasikan temuan dan mendukung pendekatan evaluasi berbasis kemitraan.

Namun peluang-peluang ini dipengaruhi oleh kekuatan yang lebih besar, yaitu
persyaratan penyandang dana untuk mengevaluasi keberhasilan inisiatif advokasi
dan mendorong minat untuk belajar dari temuan-temuan evaluasi. Meskipun hal yang
pertama diperlukan dalam banyak evaluasi APC, tidak selalu terdapat keselarasan
antara kebutuhan informasi pemberi dana dan advokat, sehingga menciptakan kondisi
yang kurang ideal untuk melakukan evaluasi. Terlebih lagi, pemberi dana mungkin
tidak bersedia menanggung kegiatan evaluasi yang tidak secara langsung
menginformasikan pemikiran strategis mereka. Penyandang dana mungkin perlu
menyadari manfaat dari pengumpulan data proses dan menginformasikan
pembelajaran strategis bagi para advokat, sementara para advokat mungkin perlu
melihat manfaat dari menjelaskan bagaimana kemajuan bertahap yang spesifik dapat menghasilkan ha
Keduanya memerlukan diskusi mengenai peran evaluasi dan potensi kepentingan
pemangku kepentingan yang berbeda sejak dini.
MENGINFORMASIKAN F DALAM PEMBERIAN HIBAH

DAN STRATEGI
Mengetahui mendalam dan luasnya peran penyandang dana dalam mendukung

advokasi dan menargetkan isu-isu kebijakan adalah penting untuk memenuhi
kebutuhan informasi mereka dan menentukan bagaimana melibatkan mereka dalam evaluasi.
Penyandang dana inisiatif APC dari pemerintah dan swasta telah memainkan peran
penting dalam memperluas kapasitas advokasi, terlibat dalam perubahan kebijakan
internal, nasional, regional, dan lokal, dan berperan sebagai kekuatan politik tersendiri.
Dalam tinjauan literatur mengenai dukungan dan keterlibatan yayasan dalam advokasi,
Jared Raynor dan rekan-rekannya (2013, 1) telah mengidentifikasi tiga alasan utama
mengapa penyandang dana aktif dalam bidang ini: “1) Untuk mencapai misi sosial
melalui penanganan akar permasalahan isu yang ditargetkan; 2) Untuk meningkatkan
pengembalian investasi sosial (SOI) dari dana hibah mereka; dan 3) Untuk
mendapatkan pengaruh dari kemitraan atau jaringan lintas sektor, sehingga mendorong
investasi pemerintah atau lainnya.” Mereka telah melakukan investasi yang signifikan
dalam meningkatkan sektor nirlaba AS dan memperluas dampak dari organisasi-
organisasi berkinerja tinggi. Selain itu, mereka bersedia melakukan beberapa upaya
berat yang tidak dapat dilakukan oleh banyak advokat tunggal, seperti menargetkan
kebijakan federal di mana mereka dapat mencapai perubahan pada tingkat sistem,
melakukan inisiatif yang luas dan berjangka panjang, seperti Inisiatif Konservasi
Lahan Internasional yang dilaksanakan selama bertahun-tahun oleh Pew Foundation. dan publik yang
upaya komunikasi untuk membentuk perdebatan, seperti Project Health Colorado dari Colorado
Trust. Peran lainnya mencakup penyusunan isu, pengembangan pengetahuan, litigasi, kolaborasi
penyandang dana, mendukung jaringan komunikasi penerima hibah, perubahan berbasis lokasi
atau proyek percontohan, dan pemantauan implementasi (Raynor dkk. 2013).
Menargetkan masyarakat akar rumput dan memperluas kapasitas lokal agar didengarkan
dalam perdebatan kebijakan telah menjadi fokus utama yayasan swasta. Disebut sebagai
“pendekatan khusus advokasi”, pemberi dana biasanya memberikan dua jenis dukungan kepada
advokasi: dukungan inti untuk kegiatan administratif dan pengembangan kapasitas untuk
membantu advokasi berpengalaman memperluas kegiatan advokasi mereka, meningkatkan
efektivitasnya, dan mendapatkan advokat baru. sampai dengan kecepatan; dan hibah proyek
yang berfokus pada proyek tertentu, advokasi atau lainnya.
Penyandang dana juga mempunyai banyak pilihan untuk mendukung perubahan kebijakan,
atau apa yang disebut dengan “pendekatan sasaran kebijakan” (Beer, Ingargioloa, dan Beer 2012).
Mereka mempunyai kebebasan yang cukup besar dalam mendukung kelompok-kelompok yang
mempengaruhi tujuan kebijakan tertentu, seperti penargetan Rockefeller Foundation terhadap
pengesahan ulang Undang-Undang Transportasi Darat Federal tahun 2009 dan dorongan
kebijakan negara bagian yang sepadan di negara-negara bagian penting dan berpengaruh.
Alternatifnya, mereka dapat mencapai tujuan kebijakan sosial yang mungkin tidak terlalu
diperhatikan publik dibandingkan isu-isu lain, seperti kesenjangan kesehatan pada masyarakat
berpendapatan rendah, mendukung berbagai kegiatan penerima hibah dengan sedikit keterbatasan
(Campbell dan Coffman 2009). Terakhir, mereka dapat memberikan dukungan untuk gerakan
sosial, termasuk pengembangan jaringan, pengembangan kepemimpinan, kerja media, dan
peningkatan kapasitas organisasi seputar pengembangan visi dan penelitian, serta banyak fungsi
lainnya. Seringkali pemberi dana menggabungkan tujuan-tujuan ini dalam sebuah inisiatif.
Misalnya, Ford Foundation mendukung inisiatif enam tahun, Kolaborasi yang Penting, untuk
menciptakan model-model baru untuk kolaborasi inklusif dan untuk mengembangkan kebijakan
yang adil di sebelas negara bagian barat laut dan selatan (Pusat Penelitian Terapan 2004).
Ada beberapa batasan penting mengenai apa yang dapat dilakukan oleh penyandang dana
yang dapat menghambat rancangan evaluasi. Evaluator harus memiliki pengetahuan tentang
jenis-jenis advokasi yang diperbolehkan dan tidak boleh didukung oleh penyandang dana yang
berbeda. Di Amerika Serikat, yayasan mana pun dapat mendukung kegiatan amal publik.
ikatan yang mengadvokasi dan bahkan melobi. Semua yayasan dapat memberikan dukungan yang
ditargetkan kepada penerima hibah yang bekerja pada tindakan kebijakan tertentu termasuk penegakan
hukum yang ada, upaya peraturan, perintah eksekutif, atau litigasi, dan, dengan beberapa batasan,
mereka dapat mendukung kelompok yang melakukan lobi (Alliance for Justice 2015) . Mereka juga
dapat mencapai tujuan kebijakan umum, seperti peningkatan ketahanan pangan, dan mendukung
berbagai kegiatan penerima hibah dengan sedikit keterbatasan (Campbell dan Coffman 2009).
Yayasan swasta, seperti yayasan perusahaan atau keluarga, harus berhati-hati untuk tidak
menginstruksikan badan amal publik untuk menggunakan dana hibah khusus untuk melobi (juga
dikenal sebagai “earmarking”) atau yayasan swasta harus membayar pajak atas aktivitas tersebut.
Sebaliknya, yayasan publik (juga disebut sebagai “badan amal publik,” seperti LSM internasional dan
organisasi konservasi lingkungan) dapat memberikan dana hibah untuk melobi dan bahkan terlibat
dalam melobi diri mereka sendiri tanpa sanksi, selama mereka tetap berada dalam lingkup tanggung
jawab mereka. batas lobi (Alliance for Justice 2015).1
Aturan-aturan ini dapat menimbulkan tantangan unik bagi evaluator. Meskipun pendanaan
mungkin ditargetkan untuk kegiatan-kegiatan tertentu yang tidak mencakup lobi, penerima hibah
dapat menggunakan sumber daya organisasi lain untuk melakukan lobi, yang berpotensi berkontribusi
terhadap keberhasilan hasil yang ditargetkan oleh pemberi dana. Evaluator mungkin dapat atau tidak
dapat memasukkan peran lobi ke dalam analisis kontribusi, dan beberapa pemberi dana mungkin
tidak ingin dianggap mendukung lobi. Minimal, evaluator dapat dengan jelas menunjukkan apa saja
yang didanai melalui hibah dan mendokumentasikan kontribusi dari strategi dan taktik tersebut, sambil
mengakui peran faktor-faktor lainnya.
Mengatasi Kebutuhan Informasi Penyandang Dana
Kebutuhan informasi pemberi dana tidak jauh berbeda dengan kebutuhan penerima hibah, namun
lebih berorientasi pada pemahaman efektivitas
1. Di Amerika Serikat, yayasan publik dapat memberikan sumbangan kepada dua jenis
organisasi: 501(c)(3) badan amal publik, atau yang disebut sebagai “organisasi nirlaba”; dan 501(c)
(4) organisasi kesejahteraan sosial, seperti Sierra Club dan League of Conservation of Voters,
yang dapat melakukan lobi tanpa batas dan melakukan upaya terbatas untuk mendukung atau
menentang calon pejabat publik. Yayasan swasta dapat memberikan sumbangan kepada kedua
jenis organisasi tersebut, namun mereka tidak dapat mendukung lobi dan pendaftaran pemilih
untuk kedua jenis organisasi tersebut. Namun, organisasi 501(c)(3) dapat bermitra dengan
organisasi 501(c)(4) untuk memperkuat kegiatan advokasi mereka (Alliance for Justice 2015).
pendanaan mereka, termasuk dampak yang lebih luas dan terhadap para advokat dan
organisasi mereka, seperti bagaimana para advokat memanfaatkan pengalaman mereka
untuk memperkuat jenis strategi yang mereka lakukan dalam gelombang upaya berikutnya.
Baik pemberi dana maupun penerima hibah tertarik dengan temuan-temuan dari penilaian
kapasitas advokasi dan bagaimana temuan-temuan tersebut diterjemahkan ke dalam dukungan
pemberi dana yang ditargetkan. Penyandang dana dan penerima hibah mendapat manfaat dari
analisis strategi dan taktik advokasi, memberikan informasi garis depan kepada pemberi dana
swasta yang mungkin baru mengenal arena kebijakan. Bukan hanya penyandang dana yang
ingin mengetahui apakah investasinya menghasilkan keuntungan finansial atau keuntungan
lainnya; penerima hibah juga dapat memanfaatkan hasil ini sebagai indikator keberhasilan.
Perbedaan utamanya terletak pada penerapan temuan evaluasi. Penerima hibah menghargai
penerapan temuan evaluasi secara real-time pada pekerjaan mereka, sementara penyandang
dana sering kali tertarik pada bukti tentang manfaat yang mereka peroleh.
dukungan dalam portofolio inisiatif. Para penyandang dana juga berada di bawah tekanan
untuk meningkatkan akuntabilitas dan efektivitas pendanaan mereka di era dimana terdapat
peningkatan pengawasan terhadap pendanaan sektor swasta. Perlu diingat: kebutuhan

penyandang dana dan advokat terus berkembang sebagaimana dibuktikan
oleh dukungan penyandang dana baru-baru ini untuk pembangunan lapangan advokasi, hak
asasi manusia, tindakan kesetaraan dan keadilan sosial, dan keberlanjutan koalisi dan jaringan
atau kapasitas yang ada.
Ada banyak cara bagi evaluator untuk bermitra dengan penyandang dana di semua tahap
inisiatif. Mereka dapat memperkuat pemberian hibah di tahap awal, selain menilai kemajuan
dan efektivitas inisiatif mereka selama dan di akhir inisiatif. Misalnya, perangkat yang baru-
baru ini dikembangkan oleh evaluator APC Tanya Beer dan Julia Coffman (2015) mencakup
empat perangkat untuk mendukung pemberian hibah serta kegiatan evaluasi formatif dan
sumatif: Bank Soal untuk pengembangan proposal dan laporan kemajuan; Pelaporan
Penerima Hibah Struktur, Panduan Wawancara Mitra Eksternal; dan Analisis Kontribusi John
Mayne.
Evaluator juga bekerja sama dengan penyandang dana untuk menilai keberhasilan
portofolio pemberian hibah advokasi mereka, bukan hanya keberhasilan inisiatif individu. Inisiatif-
inisiatif ini termasuk Atlas Learning Project, sebuah upaya tiga tahun yang dilakukan oleh
Center for Evaluation Innovation untuk mensintesis pembelajaran dari kebijakan dan upaya
perubahan yang didukung oleh Atlantic Philanthropies dan penyandang dana lainnya yang
digunakan untuk memajukan filantropi.

tropis dan advokasi secara lebih luas. Innovation Network Inc. bekerja sama dengan Atlantic
Philanthropies untuk mendokumentasikan dan merefleksikan pemberian hibah yang dilakukan
yayasan selama sepuluh tahun (2004–14) untuk mendukung reformasi imigrasi federal AS,
termasuk strategi reformasi yang komprehensif (Morariu, Athanasi-ade, dan Pankai 2015) .
Terakhir, MastersPolicyConsulting melakukan evaluasi multi-cabang terhadap Program
Pemberian Hibah Responsif California Wellness Foundation, yang memiliki perubahan
kebijakan publik sebagai tema lintas sektoral dalam sembilan portofolionya. Program ini telah
memasuki tahun kesepuluh, dan yayasan ingin mengevaluasi kontribusinya terhadap
peningkatan kapasitas advokasi penerima hibah, membangun bidang kebijakan dan
advokasi di setiap portofolio, dan untuk mencapai kemenangan kebijakan tertentu (Master,
Barsoum, dan Rounsaville 2014). Evaluasi ini dan evaluasi lainnya terhadap inisiatif yayasan
memberikan wawasan mengenai kedalaman dan luasnya keterlibatan penyandang dana,
serta strategi evaluasi yang dapat meningkatkan pembelajaran penyandang dana dan
pemanfaatan sumber daya mereka.
Semakin banyak evaluator yang bekerja sama dengan penyandang dana swasta dan
publik untuk membantu mereka menentukan dan mencapai tujuan kebijakan mereka.
Keterlibatan dalam arena ini memerlukan model bisnis baru dan kecerdikan yang besar dalam
menghadapi lingkungan yang berubah-ubah dan tidak menentu. Pendanaan swasta di Amerika Serikat
harus memikirkan secara matang peran mereka dan jenis advokasi yang akan mereka
dukung, serta memperjelas apa yang mereka maksud dengan “kesuksesan.” Mereka
memerlukan kecerdasan politik untuk memahami di mana mereka dapat melakukan intervensi
dan bagaimana dukungan mereka berhubungan dengan dukungan dari pemberi dana lainnya,
termasuk mereka yang menentang posisi mereka. Komunitas evaluasi APC telah aktif dalam
arena ini dan telah mengembangkan dua alat untuk membantu penyandang dana dalam
mendukung pengembangan strategi— Kerangka Visual Strategi Kebijakan Publik

dan Alat Keterlibatan Yayasan. Alat yang pertama, yang dijelaskan secara lebih rinci di Bab
5, menyelaraskan taktik advokasi dengan hasil yang diharapkan (kesadaran, kemauan, dan
tindakan) dan khalayak sasaran (masyarakat, pemberi pengaruh, dan pengambil keputusan).
Alat kedua meningkatkan keterlibatan dewan yayasan dalam pengembangan strategi dan
proses perencanaan serta membantu pengambilan keputusan apakah akan terlibat atau tidak
dalam inisiatif kebijakan (Campbell dan Coffman 2009). Alliance for Justice's Investing in
Change: A Funders Guide to Supporting Advocacy and its Philanthropy Advocacy Playbook:
Leveraging Your Dollars memberikan saran rinci mengenai
merencanakan dan mengevaluasi pendekatan advokasi, termasuk menavigasi batasan

hukum dalam melakukan lobi, memilih pendekatan advokasi yang tepat, dan saran serta
sumber daya untuk mengevaluasi kampanye advokasi.
Baru-baru ini, para evaluator bekerja sama dengan yayasan swasta untuk menilai
pembangunan di lapangan dan memperluas kapasitas advokasi dari suatu kolektif atau
“bidang” organisasi advokasi yang bekerja sama untuk mempengaruhi arena kebijakan
tertentu. Kurang menyasar isu kebijakan tertentu, pendekatan ini berfokus pada hubungan
dan konektivitas di antara sekelompok advokat yang mungkin berbeda dalam posisi,
perspektif, kapasitas advokasi, strategi, dan taktik (Beer, Ingargiola, dan Beer 2012).
Evaluator APC juga menerjemahkan pembelajaran dari inisiatif pembangunan di
lapangan, seperti Project Health Colorado milik Colorado Trust, dan mengembangkan
kerangka kerja evaluasi, hasil, dan indikator. Misalnya, Jewlya Lynn (2014) dan evaluator
APC lainnya telah mengembangkan serangkaian dimensi inti—kerangka lapangan,
keterampilan dan sumber daya lapangan, konektivitas, komposisi, dan kapasitas adaptif
—untuk mengatur berbagai metode evaluasi konvensional dan unik dalam menilai
kapasitas, hubungan, dinamika kekuasaan, dan perubahan di bidang advokat.
Evaluator Eleanor Chelimsky (2001) telah mengidentifikasi peluang lain untuk

bermitra dengan penyandang dana dan mendukung kapasitas evaluasi, termasuk:
melakukan penilaian evaluatif terhadap calon penerima hibah; pengembangan sistem
penyimpanan dan pemantauan data internal; penyediaan bantuan teknis evaluasi
kepada penerima hibah dan peninjauan sistem dan produk evaluasi mereka; memperluas
ketatnya praktik evaluasi internal; dan memberi nasihat tentang kontrak dengan
evaluator eksternal. Meskipun tujuan utamanya adalah untuk menghasilkan keahlian
evaluasi yang mendukung advokasi dan pemberian hibah perubahan kebijakan, para
evaluator juga meningkatkan kemungkinan bahwa penyandang dana dan penerima
hibah mereka akan menggunakan temuan-temuan evaluasi secara dini dan sering.
EVALUATOR SEBAGAI PEMBANGUN JEMBATAN DAN MITRA

Para penyandang dana sudah menjadi mitra evaluasi yang tidak terpisahkan dan telah
memainkan peran penting dalam memajukan evaluasi APC internal dan eksternal serta
mendukung pengembangan beberapa panduan evaluasi, alat, dan pertemuan
pengembangan lapangan. Mereka secara proaktif merespons kesenjangan dalam evaluasi advokat
kapasitas, membantu organisasi individu dan kumpulan organisasi mengembangkan

kapasitas evaluasi mereka sendiri atau berinvestasi dalam evaluasi eksternal. Para
penyandang dana ini juga mempunyai keahlian evaluasi mereka sendiri dan
merupakan anggota integral dari komunitas evaluasi APC dan dialog untuk
memajukan praktik evaluasi, termasuk fokus pada kompetensi budaya,
pengembangan instrumen dan metrik pengumpulan data baru, serta sebagai sarana
untuk menyebarkan alat-alat ini secara lebih luas.
Terlepas dari keterlibatan dan komitmen berkelanjutan terhadap evaluasi APC,
ada beberapa hal di mana para advokat merasa memerlukan dukungan tambahan
dari penyandang dana. Temuan-temuan dari studi Innovation Network tahun 2008,
Speaking for Themselves, mengidentifikasi tantangan-tantangan terhadap kemitraan
evaluasi pemberi dana/penerima hibah: pendekatan top-down untuk menentukan
tujuan dan sasaran evaluasi; pendanaan yang tidak mencukupi untuk evaluasi;
ambivalensi penyandang dana dalam mendukung advokasi karena kekhawatiran
mengenai pembatasan lobi pendanaan; dan sistem pelaporan pemberi dana yang
tidak responsif atau memberatkan. Ada banyak hal selama proses evaluasi dimana
evaluator APC dapat mengatasi hambatan-hambatan ini dan memperkuat kemitraan
antara penyandang dana dan advokat sambil mengatasi kebutuhan pembelajaran
unik mereka.
Rancangan rencana evaluasi sangat penting untuk menjawab berbagai

kebutuhan pemangku kepentingan, khususnya pendekatan metode campuran yang
fleksibel yang berfokus pada pertanyaan-pertanyaan penting, namun tidak
mengabaikan perspektif lain. Proses pengembangan rencana evaluasi dapat
digunakan untuk menciptakan dialog dengan pemangku kepentingan mengenai
konsep dan praktik evaluasi serta mengelola ekspektasi mengenai kesulitan yang
melekat dalam evaluasi APC. Pendekatan yang digunakan dalam arena evaluasi
demokrasi dan pemerintahan dimana evaluator memfasilitasi penyelidikan kolaboratif
di antara para pemangku kepentingan evaluasi juga bekerja dengan baik dalam
advokasi dan evaluasi perubahan kebijakan yang ingin mencerminkan prinsip-
prinsip demokrasi dari inisiatif itu sendiri (Cous-ins, Whitmore, dan Shulha 2013).
Para evaluator harus dengan cerdik menavigasi perbedaan kekuasaan yang
memisahkan advokat dan pemberi dana, yang sering kali mengakibatkan evaluator
dianggap sebagai bagian dari elit yang memiliki hak istimewa.
Evaluator juga harus peka terhadap ketegangan yang dapat melemahkan
hubungan advokat/penyandang dana, seperti pemberi dana yang lebih peduli

dengan hasil dibandingkan pengembangan kapasitas. Pengembangan teori perubahan dapat
membantu menjembatani perspektif penerima hibah dan pemberi dana serta mengidentifikasi
jenis informasi apa yang bermakna dan bagi siapa. Misalnya, Kerangka Kerja Dampak,
Pengaruh, Leverage, dan Pembelajaran I2L2 berfokus pada membangun jembatan dan
menciptakan pemahaman bersama di antara para pemangku kepentingan dalam situasi
perubahan sistem yang lebih kompleks. Meskipun dampak dan perubahan dalam kehidupan
individu, populasi, komunitas, atau wilayah geografis merupakan fokus utama, kerangka kerja
ini merupakan sarana untuk memunculkan asumsi tentang bagaimana dampak akan dicapai,
serta mengenali potensi pengaruh terhadap hasil (seperti perubahan dalam keterlibatan publik)
dan hasil yang ditingkatkan (seperti metode pendanaan publik dan/atau swasta yang baru)
(Reisman, Gienapp, dan Kelly 2015).
Mengadopsi pendekatan pemantauan memungkinkan pemberi dana untuk melihat secara
rinci kapasitas organisasi, taktik advokasi yang berhasil, dan kemitraan yang mungkin
terlewatkan jika hanya berfokus pada tujuan yang mungkin tercapai atau tidak. Mengintegrasikan
pelaporan penerima hibah dengan data dari sumber lain, seperti melacak liputan kampanye di
media sosial, sangat berguna bagi semua pihak dan dapat mengimbangi ketegangan yang
dapat timbul dengan lebih banyak pemberi dana yang terlibat langsung. Penerima hibah dapat
merefleksikan strategi dan taktik mereka, sambil mengkomunikasikan kemajuan mereka
kepada pemberi dana secara real time.
Evaluator dapat bekerja sama dengan penyandang dana untuk mengembangkan kapasitas
mereka sebagai teman yang kritis dan menyesuaikan harapan mereka, sehingga
mengembangkan pemahaman yang lebih mendalam tentang pola pikir advokat. Para evaluator
dapat merefleksikan dampak temuannya terhadap penerima hibah dan pemberi dana, sembari
tetap peka terhadap risiko pengungkapan informasi dalam situasi politik yang tidak menentu.
Agar berhasil, kemitraan evaluator/advokat/dana memerlukan rencana komunikasi
multifaset. Produk evaluasi yang disesuaikan akan meningkatkan kegunaan temuan dan
memfasilitasi pembelajaran evaluatif bagi seluruh pemangku kepentingan, termasuk laporan
singkat mengenai praktik terbaik yang deskriptif, laporan tahunan data longitudinal, lembar
FAQ yang mudah diakses, slide Power-Point, dan laporan singkat yang disesuaikan. Dengan
tersedianya media sosial, penyebaran tambahan dapat dilakukan melalui webinar interaktif,
cerita di halaman web, dan melalui tweet mengenai hasil-hasil utama. Penerima hibah
biasanya berada di bawah tekanan untuk mendapatkan hibah dan dapat memasukkan
informasi tentang kekuatan dan pencapaian mereka dalam proposal mereka, dengan mengutip
hasil evaluasi.
hasil yang dicapai dalam kampanye advokasi sebelumnya. Dimensi kemanusiaan tidak
boleh diremehkan, dan kami merekomendasikan pendekatan tatap muka untuk
merefleksikan temuan evaluasi, khususnya pertemuan yang memfasilitasi diskusi antar
peserta, bukan sekadar pelaporan temuan. Selain itu, pembentukan kelompok kerja
evaluasi penerima hibah dan panggilan rutin ke instrumen dokter hewan, meninjau
produk dalam bentuk draf, memfasilitasi pertemuan langsung, dan mendiskusikan
kegiatan evaluasi untuk tahun mendatang akan mendukung penggunaan proses dan
meningkatkan keterlibatan dan pembelajaran penerima hibah.
Semua strategi ini mendukung pendekatan evaluasi berbasis kemitraan, komunitas

pembelajaran yang terorganisir namun organik, dan sarana untuk merefleksikan dan
menerapkan temuan evaluasi. Karena kemitraan sebagian besar bergantung pada
hubungan dengan orang-orang dibandingkan dengan organisasi, evaluator harus
peka terhadap posisi orang-orang, kepribadian, gaya belajar, dan faktor-faktor
kontekstual yang memfasilitasi dan membatasi tindakan orang-orang. Semua evaluator
disarankan untuk meluangkan waktu yang cukup di awal proses perencanaan evaluasi
untuk mengidentifikasi dan memahami jaringan rumit para pemangku kepentingan
utama, dengan menggunakan alat seperti analisis jaringan sosial atau mengembangkan
bagan organisasi yang menggambarkan pemangku kepentingan yang berpengaruh
dan hubungan mereka. Waktu yang diinvestasikan dalam membina dan memelihara
hubungan ini adalah waktu yang digunakan dengan baik dan dapat memberikan
dorongan untuk keterlibatan yang berkelanjutan dan peningkatan penggunaan hasil evaluasi.
MEMPERLUAS PENGETAHUAN PENGAMBILAN KEPUTUSAN
Meskipun belum tentu menjadi target utama dari temuan evaluasi APC, para evaluator
APC tidak boleh mengabaikan atau mengabaikan peran evaluasi dalam mendidik para
pengambil keputusan dan mempengaruhi kebijakan, khususnya dalam tahap
pengembangan proposal kebijakan dan implementasi kebijakan di mana para
pengambil keputusan di semua tingkatan sangat tertarik pada biaya dan dampak awal
dari proposal kebijakan dan program baru. Badan-badan publik juga mendukung
inisiatif kebijakan dan advokasi serta melakukan evaluasi.
Misalnya, pada tahun 2010, Pusat Pengendalian dan Pencegahan Penyakit (CDC)
mendanai tiga belas program pengendalian kanker komprehensif (CCC) untuk
meningkatkan fokus mereka pada strategi perubahan Kebijakan, Sistem, dan
Lingkungan (PSE) dalam upaya pengendalian kanker di tingkat negara bagian.
Para evaluator APC akan kesulitan untuk memisahkan diri dari budaya politik dan arena
kebijakan di mana mereka bekerja. Hampir tidak mungkin untuk mencegah upaya evaluator
mempunyai dampak langsung atau tidak langsung terhadap pengambil keputusan. Ketika seorang
evaluator terlibat dengan pembuat kebijakan atau memiliki temuan evaluasi yang dipublikasikan di
arena kebijakan, seorang evaluator APC menjadi bagian dari konteks politik meskipun hal tersebut
bukan merupakan niatnya.
Beberapa evaluator APC mungkin kesulitan untuk memiliki keterampilan untuk menjadi seorang
advokat yang kompeten karena hal ini bukan merupakan bagian dari pelatihan evaluator tradisional,
seperti kepekaan terhadap agenda ideologis dan menjaga independensi dalam menghadapi tekanan
untuk memihak atau menyatakan suatu posisi ( Chelimsky 1995). Keterampilan ini tidak jauh
berbeda dengan mengkomunikasikan temuan kepada pemangku kepentingan lainnya, namun
memerlukan tingkat profesionalisme, kebijaksanaan, dan kecerdikan yang tinggi dalam menjaga
kredibilitas seseorang.
Selain itu, memainkan peran advokat mungkin dianggap bertentangan dengan tujuan banyak
evaluator untuk dianggap sebagai ilmuwan sosial yang netral dan berbasis bukti. Namun, pekerjaan
evaluator sangat relevan dengan keputusan anggaran, evaluasi program independen, dan
perencanaan strategis. Arena evaluasi telah bergulat dengan persoalan keseimbangan daya
tanggap terhadap pemangku kepentingan dan menjaga independensi yang diperlukan untuk
menghasilkan temuan yang kredibel. Para evaluator APC dapat mengacu pada Prinsip-Prinsip
Panduan untuk Evaluator AEA dan standar-standar evaluasi lainnya yang spesifik pada bidang
pemerintahan untuk mencapai keseimbangan. Berikut lima strategi yang direkomendasikan oleh
evaluator Rakesh Mohan (2014) untuk memaksimalkan daya tanggap dan independensi evaluator:
1. Memahami konteks politik dari evaluasi tersebut. Identifikasi kunci
pemangku kepentingan dan mengetahui hubungan mereka satu sama lain, nilai-nilai mereka
dan kepentingan-kepentingan yang bersaing, bertentangan dan saling melengkapi.
2. Membangun kepercayaan dengan pemangku kepentingan. Libatkan mereka dalam evaluasi
proses, mendapatkan dukungan mereka terhadap cakupan dan metodologi, dan menjaga
proses evaluasi tetap transparan.
3. Mengungkapkan semua konflik kepentingan antara evaluator dan evaluasi
pemangku kepentingan dan menghindari munculnya konflik.
4. Mengembangkan rekomendasi praktis yang peka terhadap kondisi sosial politik dan ekonomi.
5. Menyusun laporan evaluasi yang seimbang baik isi maupun isi

nada (Mohan 2014, 2).
Selain itu, ada sektor-sektor komunitas evaluasi yang berupaya meningkatkan

penggunaan evaluasi di kalangan pembuat kebijakan. Pekerjaan evaluator sangat
relevan dengan keputusan anggaran, evaluasi program independen, dan perencanaan
strategis. Undang-Undang Kinerja dan Hasil Pemerintah tahun 1993 mewajibkan
lembaga-lembaga federal di Amerika Serikat untuk melakukan evaluasi program,
khususnya pengukuran kinerja, untuk meningkatkan akuntabilitas dan memberikan
informasi dalam pembuatan kebijakan (Mohan dan Sullivan 2006).
Batasan masa jabatan dan kebutuhan untuk memberikan informasi secepat
mungkin kepada pembuat kebijakan baru, serta mendidik staf legislatif dan lembaga
publik, mendorong perlunya peningkatan evaluasi di bidang pemerintahan. Misalnya
saja, menyajikan permasalahan kebijakan dari sudut pandang seorang advokat dapat
memberikan pengaruh besar bagi para pengambil keputusan yang sensitif terhadap
suara-suara yang terpinggirkan. Sebaliknya, ada situasi di mana penelitian dan data
pihak ketiga yang kredibel dapat memberikan pengaruh yang besar. Dua strategi untuk
mendorong penggunaan temuan evaluasi oleh legislator negara bagian adalah (1)
membangun jaringan yang kuat dengan para pengambil keputusan, dan (2)
menghasilkan produk evaluasi yang kredibel, mudah diakses, dan tepat waktu sehingga
dapat ditindaklanjuti. Penting juga untuk mempertimbangkan perbedaan perspektif di
setiap tingkat pemerintahan dan peran mereka dalam melaksanakan kebijakan, serta kendala dan pelua
Misalnya, pemerintah daerah mempunyai keleluasaan dalam melaksanakan program-
program yang baru didanai dan sensitif terhadap advokasi di tingkat masyarakat.
Konsep evaluasi pemberdayaan dapat meningkatkan relevansi evaluasi di tingkat lokal
serta memfasilitasi pembelajaran di luar pengambil keputusan.
Terlepas dari nilai yang diberikan oleh perspektif informasi, para evaluator perlu
menyadari bahwa penggunaan evaluasi APC oleh para pengambil keputusan
kemungkinan besar akan sangat terbatas, serupa dengan terbatasnya penggunaan
penelitian ilmu sosial dan evaluasi program publik dalam kebijakan publik. Meskipun
telah terjadi pergeseran ke arah pengambilan keputusan berbasis bukti, seperti yang
dijelaskan oleh Carol Weiss dan rekan-rekannya (2008) dan pengalaman mereka
dengan program Pendidikan Resistensi Penyalahgunaan Narkoba (DARE), kecuali ada
persyaratan untuk memasukkan pertimbangan rasional atas kebijakan yang masuk
akal. bukti, kepentingan lain dan sumber bukti yang kurang kuat akan menang. Menyadari hal ini
masalah ini telah mengganggu komunitas evaluasi AS selama bertahun-tahun, evaluator Robert
Granger dan Rebecca Maynard (2015) memberikan beberapa pedoman untuk meningkatkan
penggunaan evaluasi dampak program yang juga dapat meningkatkan penggunaan evaluasi APC:
(1) menekankan pembelajaran dari semua penelitian untuk memilah pemenang dan pecundang;
(2) mempelajari kondisi kontekstual yang menentukan keberhasilan atau kegagalan suatu inisiatif,
termasuk kondisi kontrafaktual; dan (3) mempelajari ciri-ciri suatu program dan kebijakan yang
mempengaruhi efektivitas atau mengapa program berhasil atau gagal. Evaluator juga dapat
memainkan beberapa jenis peran advokasi untuk meningkatkan penggunaan temuan oleh
pengambil keputusan, termasuk mengadvokasi evaluasi dan penggunaannya, memberikan solusi
praktis dan real-time terhadap permasalahan sulit, dan memfasilitasi pemahaman yang lebih luas
mengenai temuan dan solusi evaluasi. (Grob 2014).
PRAKTEK EVALUASI: PENGGUNAAN

TEMUAN EVALUASI
Untuk lebih memahami peran evaluator APC dalam mendukung kapasitas dan pembelajaran
evaluasi advokat dan penyandang dana, kami bertanya kepada evaluator bagaimana temuan
evaluasi mereka digunakan. Sebagaimana dilaporkan dalam Survei Evaluasi APC Aspen/UCSF,
temuan evaluasi digunakan untuk berbagai tujuan, meskipun temuan tersebut terutama digunakan
oleh penyandang dana, yaitu:
• dalam komunikasi dan pelaporan kepada pemangku kepentingan (77 persen);
• melaporkan kepada penyandang dana mengenai hibah dan/atau kontrak (77 persen);
• merencanakan/merevisi inisiatif dan strategi advokasi (75 persen);
• dalam bentuk proposal kepada penyandang dana (61 persen);
• memberikan presentasi pada konferensi atau menerbitkan jurnal/artikel (56 persen);
• merencanakan/merevisi taktik advokasi (53 persen); Dan
• untuk membuat keputusan alokasi sumber daya, termasuk keputusan penempatan staf (44
persen).
Para evaluator APC melaporkan bahwa mereka telah membuat terobosan dalam menginformasikan
strategi masa depan dan mendukung pembelajaran berulang, namun tidak jelas apakah temuan
evaluasi tersebut digunakan sejauh mungkin oleh para advokat untuk menginformasikan taktik
advokasi mereka. Sedikit lebih dari separuh responden survei (53 persen) menyatakan bahwa
evaluasi mereka umumnya mencakup penilaian-

laporan dan rekomendasi terkait taktik advokasi klien mereka , dibandingkan dengan 75
persen yang mengatakan temuan evaluasi digunakan untuk merencanakan/
merevisi inisiatif dan strategi advokasi.
Menghubungkan temuan evaluasi dengan praktik advokasi dapat menjadi tantangan
karena beberapa alasan, termasuk: kesulitan dalam menghasilkan dan menyebarkan
temuan ketika inisiatif advokasi sedang berlangsung, yang sering kali diperburuk oleh
panjangnya proses menghasilkan hasil advokasi; terbatasnya kapasitas organisasi untuk
mencerminkan dan mengintegrasikan temuan ke dalam strategi advokasi; dan
pengembangan serta pembagian temuan evaluasi yang dapat disampaikan kepada para
advokat dalam bahasa mereka. Beberapa evaluator dari enam kasus evaluasi menggunakan
cara bercerita untuk menggambarkan dan memfasilitasi penggunaan temuan mereka oleh
para advokat dan/atau menggunakan berbagai strategi untuk menyebarkan temuan evaluasi.

Penggunaan temuan-temuan evaluasi dalam enam kasus menguatkan pengamatan kami
bahwa temuan-temuan evaluasi APC ditujukan terutama kepada penyandang dana dan
advokat, meskipun hanya dua evaluasi yang memiliki proses formal untuk berbagi dan
merefleksikan temuan-temuan tersebut kepada para advokat selama evaluasi berlangsung:
Proyek Health Colorado dan Inisiatif Kebijakan dan Pendidikan Tembakau Suku.
Melakukan evaluasi pada pertengahan atau akhir program dapat membatasi sejauh mana
evaluator dapat menjalin hubungan kerja dengan para advokat. Selain itu, jenis dan ruang
lingkup inisiatif advokasi dan perubahan kebijakan dapat membentuk hubungan evaluator/
advokat. Inisiatif yang lebih tersebar dan melibatkan banyak advokat di berbagai tingkat
geografis, seperti Program Konservasi Tanah Internasional dan Inisiatif Transportasi
Berkelanjutan, dapat menghalangi evaluasi/hubungan advokasi yang mendukung
pembelajaran advokasi.
Meskipun kematangan inisiatif dan waktu evaluasi bervariasi di antara enam evaluasi,
temuan-temuan tersebut secara konsisten digunakan untuk menyesuaikan strategi
menyeluruh, menyempurnakan taktik individu, dan memvalidasi program. Secara khusus,
temuan evaluasi Tribal Tobacco Education and Policy Initiative digunakan untuk memantau
kemajuan penerima hibah sekaligus dibagikan secara lebih luas sebagai pendekatan untuk
mengatasi penggunaan tembakau; temuan evaluasi Project Health Colorado digunakan
untuk menyempurnakan strategi komunikasi dan menginformasikan bantuan teknis
evaluasi penerima hibah;
temuan evaluasi Kampanye GROW digunakan untuk menginformasikan strategi Oxfam dan
memperluas jangkauan kampanye sambil membantu para advokat di lapangan; temuan-
temuan dari evaluasi Program Konservasi Lahan Internasional digunakan untuk memberikan
masukan bagi pengambilan keputusan Pew Foundation dan keterlibatan berkelanjutan
dalam inisiatif serta strategi ke depan; temuan evaluasi Inisiatif Mempromosikan Transportasi
yang Adil dan Berkelanjutan digunakan oleh Rockefeller Foundation untuk memberikan
informasi bagi strategi dalam membangun dan mempertahankan koalisi, serta mendukung
negara penerima hibah dan mengidentifikasi hasil yang menyeluruh; dan temuan dari
evaluasi Let Girls Lead digunakan untuk menyebarkan model ini secara lebih luas, serta
memfasilitasi pertukaran pembelajaran di tingkat lokal yang mungkin penting di tempat lain.
Terdapat beberapa perbedaan pada jenis produk yang dikembangkan oleh evaluator
dan sosialisasinya. Semua evaluator menghasilkan laporan evaluasi formal, yang telah
atau sedang disebarluaskan, dan tiga tim evaluasi mengembangkan kasus-kasus dan/atau
ringkasan isu yang berdiri sendiri (Tribal Tobacco Education and Policy Initiative, Project
Health Colorado, dan Let Girls Lead). Jika sumber daya memungkinkan, kami menemukan
bahwa mengembangkan studi kasus yang lebih pendek dan berdiri sendiri yang
mencerminkan perspektif advokat dan fokus pada taktik atau pencapaian yang berbeda
akan berguna bagi para advokat. Dokumen-dokumen tersebut merupakan bukti yang dapat
diakses mengenai peran dan pencapaian advokat dan dapat disebarluaskan oleh para
advokat dan ditargetkan kepada penyandang dana dan advokat lainnya.
Singkatnya, enam evaluator studi kasus “didengarkan” oleh penyandang dana dan
advokat, namun tidak selalu dengan cara yang sama atau menggunakan sarana komunikasi
yang sama. Meskipun prioritas dan sumber daya pemberi dana akan menentukan ukuran
dan ruang lingkup pengembangan dan penyebaran temuan, terdapat banyak pilihan untuk
mengemas dan mendistribusikan temuan dan merefleksikannya kepada para pemangku
kepentingan. (Lihat Lampiran A untuk deskripsi penggunaan temuan dalam enam kasus.)
KESIMPULAN
Sebagai penutup, hubungan evaluator/pemangku kepentingan adalah rumit dan banyak
pemangku kepentingan dengan kebutuhan informasi yang beragam dan berpotensi
bertentangan mengharuskan evaluator APC untuk menggunakan jabatan yang berbeda—
peneliti, pendidik, ahli strategi, dan pemberi pengaruh—keterampilan yang dapat dipelajari sebelumnya.
dan melalui pengalaman. Evaluator APC harus transparan dalam tujuan mereka dan memastikan
tujuan mereka selaras dengan tujuan sponsor dan pendukung mereka.
Evaluator APC perlu memperjelas perannya sebagai mitra dan peka terhadap kebutuhan
pemangku kepentingan yang berbeda, kebutuhan informasi mereka yang beragam dan terus
berubah, serta gaya pembelajaran yang berbeda-beda. Terakhir, evaluator harus peka terhadap
peran mereka sebagai advokat dan kemungkinan mempengaruhi hasil dari inisiatif APC. Mereka
harus mendukung temuan mereka dengan bukti yang kredibel dan memahami dimensi politik,
khususnya kendala dalam penggunaan temuan evaluasi oleh para pengambil keputusan.
Rancangan evaluasi juga dapat memperkuat penerimaan pemangku kepentingan dan
penggunaan temuan-temuan evaluasi. Mengadopsi pendekatan metode campuran meningkatkan
kemungkinan bahwa rencana evaluasi APC akan responsif terhadap beragam kebutuhan
informasi pemangku kepentingan, serta memberikan peluang untuk mendidik pemangku
kepentingan di luar produk evaluasi tradisional. Secara khusus, termasuk pemantauan
berkelanjutan dan penyediaan laporan yang disesuaikan dan real-time kepada para advokat
dapat memfasilitasi pembelajaran advokat sekaligus meningkatkan keterlibatan dan keterlibatan
mereka dalam evaluasi. Namun, evaluator mungkin harus menyeimbangkan kebutuhan informasi
advokasi dengan kebutuhan pemberi dana untuk memvalidasi program dan membuktikan
efektivitasnya, meskipun dalam banyak kasus hal ini merupakan kebutuhan informasi bersama.
Pendekatan berbasis kemitraan, yang dibangun berdasarkan hubungan evaluator dengan
penyandang dana dan penerima hibah, dapat membantu memfasilitasi pembelajaran bagi seluruh pemangku kepen
Enam kasus evaluasi menggambarkan beragamnya peran pemberi dana dan advokat.
kebutuhan formasi dan beragam produk yang dapat dikembangkan untuk khalayak sasaran
yang berbeda, termasuk laporan tradisional dan kasus-kasus yang berdiri sendiri yang
menunjukkan kontribusi sekaligus memberikan suara pada perspektif advokat. Dua evaluasi
multi-tahun ini mencakup lebih banyak sarana untuk berbagi dan belajar di antara para advokat
dan penyandang dana, serta peluang untuk peningkatan kapasitas evaluasi. Namun, jangka
waktu yang singkat, seperti enam bulan, tidak menghalangi pengembangan produk yang
memiliki kegunaan praktis yang tinggi bagi semua pihak, seperti penjelasan rinci tentang suatu
strategi atau taktik serta efektivitas dan dampaknya. Bagi penyandang dana, nilai tambah dari
evaluasi ini dapat berupa saran yang diberikan untuk keterlibatan berkelanjutan dan penyesuaian
strategi.
Mengetahui dan mengartikulasikan beragam kebutuhan dan cara komunikasi ini terlebih dahulu
akan menempatkan desain evaluasi pada pijakan yang stabil.

BAB 7
MENINGKATKAN ADVOKASI DAN KEBIJAKAN

PRAKTIK EVALUASI PERUBAHAN
PERKENALAN
Dengan menggunakan pendekatan teori-ke-praktik, tujuan enam bab pertama pada
dasarnya bersifat praktis: untuk mengarahkan para evaluator pada keilmuan, konsep,
model, dan pendekatan desain evaluasi yang ada sehingga mereka akan lebih mampu
menavigasi dan mengevaluasi beragam advokasi dan kebijakan. inisiatif perubahan
(APC). Kami telah menyusun gudang sumber daya evaluasi APC, serta model aktual
praktik evaluasi dan pembelajaran untuk menginformasikan praktik individu dan
memajukan bidang ini secara keseluruhan.
Dalam bab ini, kami memanfaatkan kebijaksanaan masing-masing evaluator dan
lapangan untuk menciptakan pemahaman bersama tentang kekuatan dan kelemahan
dalam praktik advokasi dan evaluasi perubahan kebijakan yang dapat digunakan untuk
menginformasikan praktik di masa depan. Kemungkinan besar apa yang tampak
seperti kesenjangan saat ini adalah peluang bagi evaluator kreatif yang tidak segan-
segan menciptakan atau memperlengkapi kembali metode yang ada dan membangun
landasan baru dalam bermitra dengan para advokat dan penyandang dana serta
mendokumentasikan sejauh mana keberhasilan dan keterbatasan mereka. Evaluasi
APC telah menggabungkan banyak kerangka konseptual dan metode yang sudah ada
dan yang sedang berkembang seperti jenis evaluasi lainnya, seperti pemikiran sistem
dan Analisis Jaringan Sosial (SNA). Ciri yang membedakannya adalah evaluasi—
kapasitas advokasi dan/atau strategi perubahan kebijakan—dan proses yang rumit dan terus berkemban
Memajukan Praktek Advokasi dan Evaluasi Perubahan Kebijakan 197
dalam konteks APC, yang telah menjadi dorongan untuk menggunakan beberapa metode
dibandingkan metode lainnya, serta membuka landasan metodologis baru.
Di satu sisi, bab ini merupakan kesempatan untuk melihat kembali dan merefleksikan
implikasi dimensi teoritis dan praktis dari advokasi dan evaluasi perubahan kebijakan
terhadap praktik evaluasi individu. Berdasarkan temuan dari Survei Evaluasi APC Aspen/
UCSF yang membahas atribut bidang evaluasi APC dan enam kasus evaluasi
mengenai praktik evaluasi aktual, kami menawarkan rekomendasi untuk merefleksikan

praktik seseorang dan mengintegrasikan konsep dan model evaluasi yang mendukung
prinsip-prinsip inti inisiatif APC, khususnya peningkatan keterwakilan, pemberdayaan,
dan keterlibatan masyarakat.
Selanjutnya, kita membahas kemajuan bidang evaluasi APC atau pembangunan
lapangan, seperti mendukung pelatihan dalam metode yang jarang digunakan oleh
evaluator, namun menjanjikan untuk evaluasi di masa depan. Kami berasumsi bahwa
advokasi dan perubahan kebijakan akan terus menjadi kekuatan yang ampuh untuk
perbaikan sosial dan evaluasi akan terus menjadi komponen yang penting dan integral.
Dengan masukan dari penilai dan penyandang dana advokasi dan perubahan kebijakan
lainnya, kami membahas beberapa pendekatan praktis untuk mendukung komunitas
praktik, seperti sumber daya untuk memfasilitasi pengembangan lapangan dan strategi
untuk membangun basis praktik evaluasi yang terus berkembang. Temuan-temuan dari
Survei Aspen/UCSF dan enam kasus evaluasi menunjukkan bahwa evaluator APC
mempunyai posisi yang baik untuk memberikan informasi dan mendukung berbagai cara
yang dilakukan oleh individu, organisasi, dan komunitas untuk “mengungkapkan
kebenaran kepada pihak yang berkuasa” serta berkontribusi pada basis pengetahuan
yang berkembang tentang bentuk-bentuk pengaruh yang berhasil dan solusi kebijakan yang lebih baik.
Terakhir, evaluator APC tidak sendirian dalam upaya mereka untuk mengkarakterisasi
dan menilai inisiatif advokasi dan perubahan kebijakan. Mereka beruntung memiliki banyak
bidang—ilmu politik, organisasi nirlaba, dan kapasitas advokasi—yang dapat mereka
manfaatkan dan kontribusikan.
Kami menyoroti beberapa bidang penelitian yang lebih menjanjikan dan mengidentifikasi
topik-topik di mana para evaluator dapat menyumbangkan temuan mereka dan meneliti
ketajaman penelitian mengenai pengaruh, kapasitas organisasi atau jaringan, pembaharuan
masyarakat, dan efektivitas advokasi.
MENINGKATKAN APC INDIVIDU

PRAKTEK EVALUASI
Temuan Survei Evaluasi APC Aspen/UCSF tahun 2014 memberikan profil evaluator APC pada
umumnya dan profil tersebut rumit. Seorang evaluator mungkin baru dalam evaluasi APC atau
berpengalaman lebih dari sepuluh tahun dalam melakukan evaluasi APC. Mereka adalah konsultan
independen dan juga dipekerjakan oleh berbagai jenis organisasi—universitas, organisasi nirlaba,
yayasan, perusahaan nirlaba, organisasi advokasi, dan pemerintah. Mereka berjiwa wirausaha
dalam bidang fokus dan kebijakan mereka. Meskipun bidang fokus mereka cenderung pada
kebijakan kesehatan dan pendidikan, para evaluator aktif di berbagai bidang kebijakan yang
berfokus pada perbaikan sosial dan lingkungan. Mereka tidak hanya fokus pada advokasi dan
evaluasi perubahan kebijakan: sekitar 95 persen responden survei melaporkan bahwa mereka
melakukan jenis evaluasi lain, yang mencakup inisiatif-inisiatif APC, seperti analisis kebijakan,
penelitian, dan pemantauan anggaran. Alternatifnya, seorang evaluator APC bisa saja bersifat
generalis dan mengevaluasi berbagai program dan layanan tanpa ada satu bidang topikal atau
keahlian metodologis yang memandu praktiknya. Terakhir, evaluator APC tidak membatasi
praktik mereka pada satu negara atau wilayah geografis atau tingkat pengambilan keputusan
tertentu—yang merupakan sebuah aset. Singkatnya, komunitas evaluasi APC mencerminkan
keragaman yang signifikan dalam bidang fokus keahlian, topik dan geografis, serta pengalaman
luas dengan jenis evaluasi lainnya.
Keberagaman ini memperkaya praktik evaluasi APC, namun menimbulkan pertanyaan serius
mengenai standar praktik dan perlunya keseragaman yang lebih besar di bidang APC. Minimal,
evaluator individu bertanggung jawab untuk mengacu kembali pada prinsip-prinsip evaluasi
konvensional dalam merancang desain evaluasinya dan memperhatikan perubahan dalam arena
evaluasi perubahan advokasi dan kebijakan. Kami menyamakan hal ini dengan evaluasi yang
“penuh perhatian” dan memberikan beberapa petunjuk untuk meningkatkan permainan evaluasi
seseorang dalam beberapa bidang tertentu.
Mengetahui Apa yang Tidak Anda Ketahui
Seberapa dalam dan luas pengetahuan Anda tentang advokasi dan perubahan kebijakan serta
bidang kebijakan tertentu di mana Anda bekerja? Kira-kira-

Sekitar 40 persen responden Survei Evaluasi APC Aspen/UCSF menunjukkan bahwa

terbatasnya keahlian di antara para evaluator dalam bidang kebijakan atau isu inisiatif
advokasi yang sedang dievaluasi merupakan “kesenjangan yang cukup signifikan,”
dan 25 persen melaporkan bahwa hal tersebut adalah “kesenjangan yang sangat
signifikan.” kesenjangan yang signifikan.” Terlalu sedikit pengetahuan mengenai
praktik advokasi, proses perubahan kebijakan, dan pemangku kepentingan dapat
membahayakan seluruh aspek evaluasi. Meskipun studi cepat adalah sifat umum di
antara para evaluator, pada titik tertentu diperlukan penilaian yang jujur dan kemauan
untuk bermitra dengan pihak lain yang lebih berpengetahuan tentang inisiatif APC dan konteks politiknya
Arena kebijakan memiliki tingkat transparansi dan kompleksitas yang berbeda-beda,
ada arena yang memiliki sejumlah kecil aktor politik dan ada pula yang memiliki terlalu
banyak aktor untuk diukur dengan mudah, seperti kebijakan kesehatan. Misalnya,
evaluator Program Transportasi yang Berkeadilan dan Berkelanjutan melibatkan pakar
kebijakan transportasi negara untuk mengembangkan keahlian kontekstual dan konten
yang lebih mendalam.
Seperti yang ditunjukkan oleh enam kasus evaluasi kami, hal yang penting bagi
keberhasilan evaluator adalah pengetahuan mendalam tentang konteks budaya dan
politik yang berkembang di mana inisiatif atau strategi tersebut dilakukan. Evaluator
dari semua evaluasi kecuali Project Health Colorado bermitra dengan para ahli di
bidang geografis, termasuk kemampuan bahasa, bekerja dengan masyarakat adat,
dan pengetahuan tentang konteks politik dan akses terhadap pengambil keputusan lokal.
Pendekatan evaluasi yang kompeten secara budaya bukanlah hal baru, namun seruan
untuk menyertakannya baru saja mencapai puncaknya.
Kami sangat menekankan pentingnya pemahaman yang tinggi tentang konsep,
model, dan definisi advokasi dan perubahan kebijakan dalam bekerja dengan para
advokat, penyandang dana, dan pengambil keputusan. Hampir separuh responden
Survei Aspen/UCSF (48 persen) menganggap rendahnya pemahaman mengenai
proses advokasi dan perubahan kebijakan di kalangan penyandang dana dan/ atau
penerima hibah (seperti kelompok advokasi) adalah “kesenjangan yang sangat
signifikan” yang berarti bahwa evaluator APC perlu memastikan keahlian mereka
dalam strategi advokasi dan perubahan kebijakan sama hebatnya, atau bahkan lebih
hebat, dibandingkan keahlian para pemangku kepentingan. Mereka tidak bisa hanya
menganut satu model perubahan kebijakan atau memiliki pemahaman yang sempit
tentang taktik advokasi. Inisiatif advokasi biasanya mencakup lebih dari satu jenis
taktik, banyak di antaranya merupakan bidang kajian yang signifikan, seperti
peran media dalam membentuk pembuat kebijakan dan opini publik. Meluangkan
waktu untuk memanfaatkan literatur yang ada dan/atau berkonsultasi dengan para
ahli di bidang kebijakan adalah hal yang baik untuk dilakukan. Dan keahlian ini perlu
terus dibangun karena sebagian besar konten budaya dan topik bersifat dinamis dan
berubah seiring waktu. Kesenjangan ini juga menunjukkan perlunya mencapai
pemahaman bersama mengenai inisiatif advokasi dan perubahan kebijakan di antara
para pemangku kepentingan sejak dini. Jika tidak diatasi, terdapat potensi
ketidakselarasan antara kebutuhan informasi pemangku kepentingan dan tujuan
evaluasi.
Perencanaan dan Desain Evaluasi

Hasil Survei Aspen/UCSF dan perbandingan enam kasus evaluasi menunjukkan
bahwa evaluator APC sedang menerapkan model perencanaan baru, model kemitraan
baru, dan cara-cara baru untuk mengatasi kompleksitas dan ketidakpastian inisiatif
advokasi. Hasilnya juga menyarankan pendekatan baru untuk menyeimbangkan
keinginan untuk membuktikan dengan kebutuhan untuk melakukan perbaikan, dan
integrasi proses dan produk yang mendukung pembelajaran strategis. Para evaluator
mempunyai posisi yang baik untuk menerapkan pendekatan-pendekatan ini dan
menemukan titik terbaik dalam menyelaraskan kebutuhan pembelajaran pemangku
kepentingan. Memang sulit, tapi itulah kunci keberhasilan evaluasi. Meskipun teori
perubahan dan/atau model logika mungkin bukan merupakan replika yang tepat dari
realitas rumit yang menjadi ciri sebagian besar inisiatif advokasi, hal ini membantu
membangun kejelasan di antara para pemangku kepentingan sehingga mereka
memiliki pemahaman yang sama dan memahami tujuan evaluasi. . Misalnya saja,
penyandang dana mungkin memiliki penafsiran yang sempit terhadap advokasi dan
pemahaman yang terbatas mengenai bentuk-bentuk advokasi lain yang tidak bersifat
lobi, khususnya pendidikan yang lebih luas bagi pembuat kebijakan dan masyarakat.
Memperluas Pandangan Evaluator

Skenario evaluasi yang mungkin dihadapi oleh para evaluator sangat beragam dan
tidak terbatas pada isu-isu kebijakan tertentu atau taktik advokasi, namun juga
mencakup perluasan demokrasi di negara-negara berkembang dan peningkatan fokus
pada hak asasi manusia di seluruh dunia. Hal ini seharusnya tidak menyulitkan para
evaluator APC, yang merupakan kelompok kreatif dan terus mengembangkan
pendekatan pengumpulan data baru, serta menyesuaikan metode yang ada dengan konteks APC. Di sa
Ada beberapa area di mana evaluator cenderung meningkatkan aktivitasnya, termasuk

lebih memfokuskan evaluasi APC pada aktivitas advokasi pasca disahkannya suatu
kebijakan. Meskipun tidak selalu merupakan bentuk advokasi yang jelas, partisipasi dalam
pengembangan peraturan dan perundang-undangan, serta memberikan informasi pada
proses alokasi anggaran, sangat penting untuk mencapai tujuan kebijakan yang diinginkan.
Perspektif longitudinal ini membutuhkan banyak sumber daya, namun merupakan missing
link antara perubahan kebijakan dan perbaikan yang diinginkan dalam kehidupan masyarakat.
Hal lain yang perlu diperiksa dalam evaluasi APC adalah oposisi, apakah itu partai
politik atau kelompok kepentingan yang sudah mengakar dan menolak perubahan,
kelompok kepentingan yang mempunyai pengaruh besar, atau organisasi dengan
keanggotaan besar yang mempunyai kehadiran dan jangkauan di seluruh dunia. Meskipun
taktik mereka mungkin tidak mudah terlihat, kemungkinan besar para advokat yang
berpengalaman akan menyadari keterlibatan mereka di masa lalu dan posisi yang mereka
ambil dalam kampanye saat ini.
Ketiga, penggunaan segala jenis komunikasi kemungkinan besar akan menjadi area
pertumbuhan dalam beberapa waktu ke depan dan menjadi komponen dari banyak
inisiatif. Analisis media sosial adalah pendekatan yang menjanjikan dan memiliki
relevansi besar dengan evaluasi APC. Penelitian awal mengenai penggunaan media
sosial oleh kelompok advokasi menunjukkan bahwa penggunaan media sosial yang lebih
populer, seperti Facebook dan Twitter, untuk advokasi kemungkinan besar akan
meningkat. Media sosial dianggap sebagai pendekatan yang efektif dan lebih murah untuk
memfasilitasi keterlibatan masyarakat dan tindakan kolektif (Obar, Zube, dan Lampe
2012). Demikian pula, evaluator harus memiliki pengetahuan tentang teknologi informasi
yang memfasilitasi pertukaran informasi 24/7, yang beberapa di antaranya juga dapat
menjadi sumber informasi yang berguna, seperti melacak berapa kali isu kebijakan
disebutkan dalam blog atau mengumpulkan survei. data melalui ponsel.
Selain itu, perangkat lunak pemetaan yang memungkinkan representasi visual dari
karakteristik sosial (seperti tingkat pendapatan atau tingkat kelulusan sekolah menengah
atas) merupakan alat yang ampuh untuk mengembangkan dasar yang dapat digunakan
untuk menilai perubahan sistem di kemudian hari. Analisis geografis dan Google Maps
juga mempunyai potensi untuk mengkarakterisasi pengaruh inisiatif advokasi dan
perubahan kebijakan pada jalur sensus, lingkungan sekitar, kota, wilayah, komunitas, atau
negara bagian.
Terakhir, evaluator individu mungkin ingin melihat kembali aktivitas pengumpulan
data yang secara tradisional dilakukan dalam ilmu politik
domain. Rendahnya partisipasi evaluator APC dalam menilai beberapa taktik advokasi
konvensional, seperti protes dan pawai serta keluar dari masalah
kampanye pemungutan suara mungkin mencerminkan prioritas penyandang dana dan/atau
keahlian evaluator dalam memeriksa kegiatan-kegiatan ini. Namun, protes dan pawai masih
merupakan bentuk advokasi yang kuat sebagaimana dibuktikan oleh aktivitas baru-baru ini di
kota-kota Amerika setelah perlakuan polisi terhadap laki-laki keturunan Afrika-Amerika. Selain
itu, evaluator APC sedang mereformasi pendekatan pengumpulan data konvensional.
Misalnya, evaluator Project Health Colorado menggabungkan jajak pendapat dengan
wawancara dan survei tradisional untuk mengevaluasi perubahan dalam kemauan masyarakat.
Menanggapi Tuntutan Peningkatan Ketelitian

Tekanan eksternal untuk meningkatkan ketelitian dan menunjukkan bahwa suatu program
memainkan peran penting dalam memberikan hasil yang diharapkan berarti bahwa evaluator
APC perlu mempertimbangkan pendekatan untuk meningkatkan validitas dalam desain,
metode, dan instrumen mereka. Meskipun hal ini mungkin mencerminkan ketegangan yang
terus berlanjut di bidang evaluasi mengenai apakah evaluasi harus lebih menekankan pada
pembuktian efektivitas program dibandingkan keinginan untuk meningkatkan fungsi program,
hal ini juga menunjukkan adanya kesenjangan yang perlu diperhitungkan oleh para evaluator
dalam penilaian mereka sendiri.
Pada tingkat desain, evaluator APC harus memasukkan pemikiran kontrafaktual dan
penjelasan tandingan serta menyusun kumpulan metode yang telah diuji. Pendekatan
multimetode sangat dibutuhkan dalam bidang ini karena salah satu metode mungkin memiliki
keterbatasan dalam menangkap semua potensi data yang kaya yang muncul sebagai bagian
dari evaluasi APC. Keenam kasus evaluasi kami mewakili dua jenis desain evaluasi APC:
perusahaan multi-tahun dengan metode campuran yang mengeksplorasi berbagai aspek
dari inisiatif advokasi dan perubahan kebijakan yang kompleks dan desain yang lebih kecil
dan bertarget yang dimulai pada titik tengah atau menjelang akhir APC. prakarsa. Meskipun
evaluasi multi-tahun dengan metode campuran dapat menyelami lebih dalam dan
memunculkan temuan-temuan yang mungkin terabaikan, evaluasi yang lebih kecil dan tepat
waktu juga dapat memberikan masukan bagi pembelajaran strategis dan inisiatif di masa
depan.
Pada tingkat metode, evaluator harus benar-benar jujur mengenai kapasitas mereka
untuk mengembangkan atau mengadopsi instrumen yang valid, dapat diandalkan, dan
mungkin dapat digeneralisasikan, dan untuk melakukan analisis statistik dan finansial.
Selain menyusun desain dan metode dalam istilah penelitian ilmu sosial, mereka juga harus
mempertimbangkan untuk bermitra dengan pihak-pihak yang memiliki keahlian metodologis
yang sesuai. Misalnya, seorang ahli metodologi survei dapat memberi saran mengenai desain
instrumen dan menyelaraskan pertanyaan dengan tujuan survei, mengembangkan kategori dan
skala respons yang sesuai, menentukan tingkat respons optimal, dan mengidentifikasi jenis
analisis statistik yang mungkin dilakukan dan dalam kondisi apa.
Harus ada juga pengujian terhadap pendekatan statistik alternatif dan yang baru muncul,
seperti Survei dengan Placebo (SwP), ketika pengacakan atau kelompok pembanding tidak
memungkinkan. Selain itu, wilayah di mana lebih dari 50 persen responden Survei Aspen/UCSF
mengatakan bahwa mereka belum menggunakan metode atau pemetaan hasil, teknik Perubahan
Paling Signifikan (MSC), pemetaan sistem, penilaian pembuat kebijakan, survei pembuat
kebijakan, jajak pendapat publik, dan pengumpulan cerita dan jurnal, mungkin merupakan area
di mana evaluator dapat memperoleh manfaat dari pelatihan tambahan.
Memajukan Pembelajaran Advokat dan Pemberi Dana
Hubungan antara evaluator, advokat, dan pemberi dana masih dalam proses, mencerminkan
tren yang lebih besar dalam arena evaluasi, seperti peningkatan penekanan pada pembelajaran
strategis dan menjamurnya berbagai model evaluasi partisipatif dan berbasis kemitraan. Temuan
Survei APC Aspen/UCSF mengenai peran evaluasi dalam menginformasikan kapasitas
advokasi menunjukkan bahwa para evaluator menerjemahkan hasil mereka menjadi produk yang
berguna dan dapat ditindaklanjuti yang dapat memenuhi kebutuhan informasi penyandang
dana, dan banyak responden survei melaporkan bahwa evaluasi mereka umumnya mencakup
penilaian inisiatif APC dan rekomendasi mengenai strategi. Namun, masih banyak yang bisa
dilakukan untuk meningkatkan kegunaan temuan evaluasi bagi para advokat, khususnya untuk
membantu merencanakan dan/atau merevisi taktik advokasi. Enam kasus evaluasi memberikan
beberapa contoh untuk mendukung pembelajaran advokasi, seperti melibatkan advokat dan
masyarakat yang terkena dampak dalam presentasi dan diseminasi temuan evaluasi dan
menemukan cara-cara baru dan inventif untuk memberdayakan advokat untuk menggunakan
perangkat dan alat APC.
Kami menyarankan strategi stay-the-course di sini, dengan perhatian lebih besar pada
kemitraan evaluator/advokat dan identifikasi peluang real-time untuk mengkomunikasikan
temuan evaluasi, khususnya memberikan

temuan sementara dalam format berbeda yang dapat menginformasikan kapasitas dan taktik
organisasi. Meningkatnya penekanan pada evaluasi yang berfokus pada pembelajaran secara lebih
luas memberikan harapan bagi evaluator APC yang bekerja dengan penyandang dana untuk
memahami kontribusi mereka terhadap satu inisiatif atau kampanye multi-tahun dalam pemberian
hibah kebijakan dan advokasi.
Tantangannya adalah memiliki sumber daya untuk menciptakan hubungan yang
berkesinambungan dan bermakna dengan para advokat yang memiliki batasan luas, yang
kemitraannya mungkin sangat rumit, termasuk koalisi dan warga negara, banyak sekutu advokasi,
dan kemitraan episodik yang kadang-kadang bisa menimbulkan konflik. semua terjadi secara
bersamaan dalam konteks yang berubah.
Dan dunia ini dapat berkembang ketika para advokat dan penyandang dana melihat manfaat bekerja
sama atau mendukung organisasi 501(c)(4), yang memiliki lebih banyak fleksibilitas dalam taktik
advokasi yang dapat mereka lakukan.
Terakhir, kesenjangan utama yang diidentifikasi oleh responden Survei Aspen/UCSF, yaitu
kurangnya dana untuk advokasi dan evaluasi perubahan kebijakan, berarti bahwa setiap evaluator
perlu mengetahui bagaimana menjadi efisien dalam rancangan mereka, sekaligus memaksimalkan
pembelajaran dan penilaian efektivitas program.
Kenyataannya adalah meskipun metode evaluasi baru yang berpotensi berguna sedang bermunculan,
seperti pemikiran sistem, dan evaluator APC telah mengembangkan banyak pendekatan unik yang
berguna, evaluator dalam banyak kasus tidak mempunyai kemewahan untuk menggunakan banyak
pendekatan tersebut dalam desain mereka. Mereka harus menyeimbangkan pertimbangan anggaran,
serta prioritas yang ditetapkan oleh pemberi dana, dengan jenis rancangan yang dapat mereka capai
dengan sukses. Dalam beberapa situasi, lebih baik bagi evaluator untuk melakukan pekerjaan yang
menyeluruh dan berkualitas tinggi dengan desain yang tidak terlalu ketat sehingga dapat memberikan
jawaban yang dibutuhkan.
Singkatnya, ada banyak cara yang dapat dilakukan oleh evaluator baru dan berpengalaman atas
inisiatif APC untuk terus memperluas praktik evaluasi mereka. Umpan balik dari bidang APC
menunjukkan prospek untuk perluasan berkelanjutan dalam praktik evaluasi APC individu adalah baik
dalam bidang desain, metode, produk, penggunaan temuan, dan kemitraan. Enam kasus evaluasi
dan hasil Survei Aspen/UCSF menunjukkan bahwa evaluator APC menerapkan model perencanaan
baru, model kemitraan baru, dan cara-cara baru dalam mengkarakterisasi dan mengintegrasikan
kompleksitas. Hasilnya juga menyarankan pendekatan baru untuk menyeimbangkan keinginan untuk
membuktikan dengan kebutuhan untuk melakukan perbaikan.
Namun mereka perlu meningkatkan permainan mereka di bidang lain. Tidak mengherankan, evaluasi-
Para pelaku industri terus berjuang dengan konteks—geografis, politik, budaya, dan topik—dan
dampaknya terhadap strategi APC yang diadopsi. Terakhir, evaluator APC perlu menilai tingkat
ketelitian dalam desain dan metode mereka serta mengidentifikasi dan mengatasi kesenjangan,
serta mengkomunikasikan keterbatasannya kepada pemangku kepentingan.
MEMAJUKAN ADVOKASI DAN

BIDANG EVALUASI PERUBAHAN KEBIJAKAN
Pembangunan di lapangan telah menjadi fokus para evaluator dan penyandang dana evaluasi
APC sejak awal tahun 2000an. Inti dari evaluator APC yang berkomitmen telah menjalankan
tugas di lapangan secara keseluruhan, memberikan kebijaksanaan dan mengembangkan dan/
atau menyebarkan alat perencanaan, instrumen, dan contoh evaluasi yang berhasil. Hasilnya
sangat mengesankan: basis pengetahuan yang substansial, sumber daya teknis baru, peluang
jaringan baru, dan alat-alat baru yang ditargetkan untuk para evaluator, advokasi, dan pemberi
dana. Kami menawarkan beberapa saran untuk mendukung komunitas praktik1 yang sedang
berkembang ini ,
khususnya mendukung peningkatan ketelitian dalam praktik evaluasi, peningkatan visibilitas dan
kemitraan dalam arena evaluasi, memperluas fokus evaluasi APC, dan berbagi model, metode,
dan temuan secara proaktif.
Keanekaragaman Evaluator APC: Aset, Liabilitas, atau Keduanya?
Komunitas evaluasi APC sangat beragam, dan hal ini dapat menjadi hal yang positif jika hal ini
menghasilkan penciptaan pendekatan-pendekatan baru dan mendukung difusi praktik evaluasi ke
dalam arena kebijakan baru. Misalnya, temuan-temuan dari Survei Evaluasi APC Aspen/UCSF
mencerminkan berbagai keahlian penilai, mulai dari yang memiliki pengalaman dua hingga lima
tahun dalam mengevaluasi program advokasi dan perubahan kebijakan (35 persen), lima hingga
sepuluh tahun pengalaman ( 28 persen), dan pengalaman sepuluh tahun atau lebih (27 persen).
Persentase responden yang relatif kecil (8 persen) memiliki pengalaman kurang dari dua tahun.
Meskipun kami tidak mengetahui berapa banyak pengalaman yang dibutuhkan, kami berasumsi
bahwa ketidakrataan dalam pengalaman akan terus berlanjut
1. Yang kami maksud dengan “komunitas praktik” adalah jaringan evaluator yang secara
langsung dan tidak langsung belajar satu sama lain dalam berbagai situasi, sehingga memajukan
praktik evaluasi individu (Lave dan Wegner 1991).
evaluator yang baru memasuki arena advokasi dan perubahan kebijakan terus memasuki
lapangan dan evaluator berpengalaman keluar dari arena. Namun, rangkaian pengalaman
ini menimbulkan pertanyaan yang mengganggu mengenai perbedaan kompetensi dan
pengalaman yang dapat menurunkan kualitas. Lebih konkritnya, 23 persen berpendapat
bahwa tidak adanya nomenklatur standar di bidang advokasi dan evaluasi perubahan
kebijakan merupakan “kesenjangan yang sangat signifikan.” Pemahaman yang berbeda
mengenai “advokasi”, “advokat”, dan “pembuatan kebijakan” diharapkan seiring dengan
semakin internasionalnya masyarakat dan komposisinya yang beragam, namun perbedaan-
perbedaan ini harusnya tidak terlalu besar. Penetapan standar yang ketat namun
fleksibel telah diusulkan oleh beberapa komunitas APC untuk memperkuat utilitas,
kepatutan, kompetensi budaya, dan pemahaman yang memadai tentang kebijakan dan
politik serta akurasi (Aspen State of the Field Meeting, 18 September 2015).
Memperkuat Ketelitian dalam Desain dan Metode Evaluasi

Ini mungkin saatnya bagi komunitas evaluasi APC untuk mengambil langkah-langkah
untuk mengatasi masalah ketelitian dan kekurangan di lapangan dalam hal desain dan
metode. Banyak responden survei (43 persen) menganggap kurangnya ketelitian dalam
advokasi dan evaluasi perubahan kebijakan merupakan “kesenjangan yang cukup
signifikan,” dan 28 persen berpendapat bahwa hal tersebut merupakan “kesenjangan
yang sangat signifikan.” Selain mendukung penilaian mandiri oleh evaluator individual,
komunitas evaluasi APC dapat mengembangkan pedoman dan pelatihan untuk mengatasi
kesenjangan ini, seperti pelatihan pendekatan statistik untuk menangani ukuran sampel
yang kecil dan penggunaan pendekatan keandalan antar penilai dalam menangani data
kualitatif. . Selain itu, mereka mungkin ingin mempertimbangkan sistem tinjauan sejawat
(peer-review) terhadap desain yang ditargetkan untuk evaluator yang baru mengenal
evaluasi APC serta menyusun gudang evaluasi kuasi-eksperimental. Terakhir, lapangan
dapat memimpin dalam meninjau validitas instrumen, mengungkapkan kekuatan dan keterbatasannya.
Tekanan dari luar untuk menjawab pertanyaan mengenai ketelitian akan terus
berlanjut, didorong oleh tuntutan akan evaluasi berbasis data dan berbasis bukti di sektor
publik dan penggunaan pengukuran kinerja dalam evaluasi program secara lebih luas.
Kemajuan dalam evaluasi berbasis teori dan pendekatan untuk mengkarakterisasi dan
menilai inisiatif yang kompleks, berkembang, atau adaptif, seperti evaluasi realis,
pemikiran sistem, dan analisis jaringan, dapat memberikan sarana bagi evaluasi APC
untuk maju ke tingkat berikutnya dan
tidak terlalu bergantung pada pendekatan metode campuran untuk membangun kredibilitas.
Namun, pendekatan-pendekatan ini masih dalam proses dan penerapannya bisa lambat jika tidak
didukung oleh lapangan.
Apakah ketelitian akan tertutupi oleh kesenjangan lainnya merupakan sebuah pertanyaan penting.
Tidak mengherankan jika kesenjangan utama yang diidentifikasi oleh evaluator APC sebagai “sangat
signifikan” adalah kesenjangan yang berasal dari luar praktik evaluasi, yaitu kesenjangan yang tidak mencukupi
pendanaan untuk advokasi dan evaluasi perubahan kebijakan (50 persen). Meskipun pemberi dana
mempunyai peran besar dalam membangun bidang evaluasi APC, pendanaan untuk evaluasi APC masih
terbatas atau tidak merata yang mungkin disebabkan oleh keengganan pemberi dana untuk
mendedikasikan dana yang cukup untuk memasukkan pengukuran ke dalam desain, dibandingkan
dengan prioritas lainnya. , serta penentuan prioritas penyandang dana terhadap evaluasi program secara
keseluruhan dibandingkan evaluasi APC. Bidang ini harus terus mendukung pendekatan yang lebih kuat
terhadap evaluasi APC, termasuk mendokumentasikan perbedaan yang dihasilkan oleh temuan evaluasi
terhadap pemberi dana, penerima hibah, dan bahkan terhadap perubahan kebijakan yang diinginkan
serta hasil-hasilnya.
Memperluas Pandangan Lapangan
Secara historis, bidang evaluasi APC lebih fokus pada advokasi hulu, seperti pengorganisasian komunitas
dan perluasan peningkatan kapasitas advokasi organisasi. Seperti yang ditunjukkan dalam enam kasus
kami, para evaluator fokus pada advokasi di tingkat hulu dan hilir, termasuk mendokumentasikan
kemajuan kebijakan yang dapat terjadi seiring dengan atau seiring dengan meningkatnya kapasitas
individu dan organisasi. Kami mengantisipasi bahwa bidang ini akan lebih memusatkan perhatian pada
kegiatan advokasi pasca disahkannya suatu kebijakan, memperkuat penilaian implementasi kebijakan
dan mendokumentasikan pencapaian hasil jangka panjang dan perubahan di tingkat sistem. Meskipun
tidak selalu merupakan bentuk advokasi yang jelas, partisipasi dalam pengembangan peraturan dan
perundang-undangan, serta memberikan informasi pada proses alokasi anggaran sangat penting untuk
mencapai tujuan kebijakan yang diinginkan. Secara khusus, tanpa perhatian terhadap operasionalisasi
dan implementasi kebijakan, undang-undang atau peraturan tersebut mungkin hanya akan ada di buku,
dan tidak akan diimplementasikan sesuai dengan maksud awal dari tindakan advokasi. Selain itu,
bidang ini juga memperluas pandangannya ke bentuk advokasi lain, seperti advokasi litigasi, yang
mungkin berada di luar jangkauan organisasi nirlaba dan advokasi.

organisasi individu lainnya, namun merupakan jenis advokasi yang dapat dilakukan oleh
penyandang dana. Bentuk-bentuk advokasi yang kurang terlihat kini semakin dikenal,
seperti sumbangan “dark money” atau pendanaan yang tidak perlu diungkapkan pada
kampanye pemilu di Amerika Serikat dan munculnya “shadow elite” atau pialang kekuasaan
—konsultan , penasihat, dan lembaga pemikir—yang beroperasi di bawah radar untuk
melindungi kepentingan bisnis mereka dengan mengorbankan demokrasi (Wedel 2009).
Advokasi pendidikan pada tahap pengenalan masalah juga dikedepankan, seperti

menghasilkan laporan penelitian yang ditujukan kepada masyarakat dan/atau pengambil
keputusan yang menggambarkan suatu masalah secara lebih umum dan tidak mengambil
posisi pada usulan kebijakan tertentu. Advokat dianggap sebagai ahli dan sumber
informasi yang dapat diandalkan dan dapat diajak berkonsultasi pada tahap selanjutnya,
seperti memberikan kesaksian. Tahapan ini dan tahap-tahap kebijakan lainnya yang
kurang dikenal memerlukan kajian lebih mendalam di lapangan untuk menentukan apakah
tahap-tahap tersebut semakin berguna untuk memberikan pengaruh.
Kedua, para evaluator semakin banyak yang mendokumentasikan perubahan
kebijakan sepanjang masa kebijakan tersebut untuk menunjukkan efektivitas program dan
kontribusi dari penyandang dana dan pendukungnya. Perspektif longitudinal ini
membutuhkan banyak sumber daya, namun kami menemukan bahwa perspektif ini
memunculkan informasi penting mengenai hubungan antara kapasitas advokasi,
perubahan kebijakan, dan perbaikan yang diinginkan dalam kehidupan masyarakat, serta memvalidasi teori
Terakhir, diperlukan lebih banyak tindakan kolektif untuk mensintesis dan
menyebarkan pembelajaran di berbagai bidang konten kebijakan dan strategi advokasi.
Buku ini merupakan salah satu pendekatan, namun tidak dapat mendokumentasikan
keseluruhan praktik evaluasi dan membagikan pembelajaran ini secara real time.
Menyusun forum profesional dan jaringan pembelajaran virtual untuk melintasi batas
geografis dan konten serta dengan cepat memunculkan model dan metode yang telah
teruji akan mengungkap batasan baru dan mendorong kemajuan bidang ini.
Memperkuat Crosswalk Antara Evaluasi APC

dengan Jenis Evaluasi Lainnya
Meskipun terdapat sinergi antara evaluasi APC dan jenis evaluasi lainnya, evaluasi APC
belum mencapai potensi penuhnya dalam membentuk praktik evaluasi secara lebih luas.
Persepsi komunitas evaluasi APC adalah bahwa evaluasi APC cukup berbeda
hal ini memerlukan model dan pendekatan evaluasi yang berbeda dari jenis
evaluasi program dan intervensi lainnya. Akibatnya, bidang APC telah menempuh
jalurnya sendiri, mengembangkan definisi, perangkat, dan instrumen dari awal.
Hasilnya sangat mengesankan: bidang ini menjadi salah satu bidang dengan
pertumbuhan tercepat di American Evaluation Association (AEA).
Namun, hanya 51 persen responden survei yang melaporkan bahwa mereka
sebenarnya adalah anggota Kelompok Kepentingan Topik Advokasi dan
Perubahan Kebijakan AEA (TIG).
Kekuatan dari arena evaluasi APC adalah bahwa arena ini memiliki batas-
batas yang tidak jelas dan tumpang tindih dengan beberapa bidang evaluasi
lainnya, termasuk sebagian besar bidang topik dari American Evaluation
Association, seperti kesehatan, pendidikan, dan lingkungan hidup. Evaluasi APC
juga menyentuh bidang-bidang yang berfokus pada peran pemangku kepentingan,
seperti evaluasi pemberdayaan, evaluasi organisasi nirlaba dan yayasan, dan
semua bidang yang menggunakan metode khusus. Kemungkinan besar, evaluator
APC sudah mengidentifikasi satu atau lebih bidang-bidang ini dan bukan hanya
evaluator APC. Sebagian besar responden Survei Aspen/UCSF (95 persen)
melaporkan bahwa organisasi mereka melakukan jenis evaluasi lain selain
evaluasi advokasi dan perubahan kebijakan.
Sinergi ini menunjukkan berbagai cara di mana bidang APC dapat tumbuh
serta memberikan informasi kepada bidang-bidang lain, dan perlu ada upaya yang
lebih serius untuk membina dan memelihara hubungan dan jaringan profesional
ini untuk memastikan bahwa hubungan tersebut berkelanjutan dan ditingkatkan
dari waktu ke waktu. Pertemuan dan konferensi profesional yang sengaja
membangun jembatan antara arena evaluasi akan membuka jalan bagi
penggunaan alat dan temuan yang lebih luas, sekaligus memberikan peluang
jaringan bagi evaluator yang bekerja di bidang topik yang sama.
Selain itu, seperti komunitas evaluasi lainnya, bidang APC memperluas jajaran
evaluator yang melakukan evaluasi APC di luar Amerika Serikat dan Eropa. Lebih
dari sepertiga responden survei melaporkan bahwa mereka berfokus pada
negara-negara Selatan dalam melakukan advokasi dan evaluasi perubahan
kebijakan. Amerika Latin mengalami pertumbuhan dalam evaluasi program sosial,
termasuk pembentukan organisasi evaluasi profesional dan peningkatan sumber
daya evaluasi dan pelatihan, yang mungkin mencerminkan perluasan masyarakat
sipil (Kushner dan Rotondo
2012). Lebih sedikit responden (22 persen) mengatakan evaluasi APC mereka berfokus
pada negara-negara Global Utara atau OECD, tidak termasuk Amerika Serikat. Resolusi
PBB A69237 dan deklarasi tahun 2015
karena Tahun Evaluasi Internasional (EvalYear) dapat memberikan dorongan yang

dibutuhkan lapangan untuk memperluas peringkatnya, serta mengurangi hambatan
untuk berpartisipasi dalam pertemuan nasional dan internasional, seperti memberikan
bantuan beasiswa kepada evaluator APC yang tinggal di negara-negara berkembang
dan mempunyai banyak pendapat mengenai evaluasi proyek pembangunan demokrasi
dan masyarakat sipil, gerakan keadilan sosial, dan inisiatif untuk memperkuat hak asasi
manusia.
Pendekatan Baru untuk Mengkomunikasikan Desain,

Metode, dan Temuan Evaluasi
Evaluator APC tidak ragu-ragu menggunakan berbagai sarana untuk memamerkan
kegiatan mereka, termasuk: pertemuan tahunan AEA dan tempat elektronik, seperti blog
aea365; sumber daya yang tersedia untuk umum dari inisiatif Advokasi yang Lebih
Berani dari Alliance for Justice, Pusat Pembelajaran Point K online Innovation Network,
Sparks Institute, dan Pusat Evaluasi Inovasi; dan seri sarapan evaluasi dan blog online
Aspen Institute, Jadi Apa? Panduan Mingguan Anda untuk Dampak Advokasi. Namun
mengingat sifat global dari pekerjaan evaluasi APC, diperlukan sarana tambahan untuk
mengatasi hambatan geografis dan bahasa, seperti video YouTube yang menampilkan
evaluasi dari seluruh dunia dan
diterjemahkan ke berbagai bahasa. Fokus baru-baru ini dalam mengidentifikasi evaluasi

yang patut dicontoh oleh American Evaluation Association mendukung pertukaran
informasi di antara para evaluator dan berkontribusi untuk memperkuat praktik individu
dan mendukung pengembangan lapangan. Namun mungkin kita juga harus
mempertimbangkan evaluasi yang kurang berhasil dan lebih memahami kelemahan-kelemahan yang ada.
nesses, serta tantangan yang ada dalam konteks evaluasi lainnya.

Namun, upaya-upaya ini kemungkinan besar akan terhambat oleh tiga hambatan
besar dalam mensosialisasikan evaluasi dan temuan-temuan mereka, atau sifat
kepemilikan dari beberapa evaluasi, kekhawatiran mengenai pengungkapan informasi
rinci tentang taktik advokasi tertentu yang dapat menguntungkan pihak oposisi, dan
lambatnya proses advokasi. penerbitan dalam literatur tinjauan sejawat. Foun-dation
Review memberikan pelayanan yang baik bagi bidang ini ketika menghasilkan sebuah tema
masalah advokasi dan evaluasi perubahan kebijakan pada tahun 2009. Bidang ini
siap untuk melakukan tinjauan komprehensif terhadap praktik yang ada saat ini, dan
tinjauan tersebut idealnya dilakukan setiap tiga hingga lima tahun. Mereka juga siap
berkontribusi pada terbitan bertema jurnal evaluasi arus utama, seperti New
Directions in Evaluation dan American Journal of Evaluation, memunculkan dan
berbagi evaluasi, yang memiliki desain yang baik dan temuan yang kredibel.
Berjejaring, Bermitra dengan Evaluator dan Peneliti Lain

Pertemuan Tahunan AEA telah menjadi sarana yang sangat berguna untuk menjadi
tuan rumah diskusi ini dan memperkenalkan konsep dan alat APC kepada para
evaluator, serta memperkuat identitas bidang APC yang berbeda dari arena evaluasi
lainnya. Namun, sebagian besar bidang ini mungkin tidak berafiliasi dengan kelompok
kepentingan topikal APC dan/atau menghadiri pertemuan tahunan secara rutin. Berkat
kelompok inti evaluator APC dan penyandang dana advokasi dan evaluasi kebijakan
yang berdedikasi, bidang APC telah mengadakan beberapa pertemuan profesional
tatap muka di luar pertemuan tahunan AEA. Tidak diragukan lagi bahwa masing-
masing evaluator dan para penilai di lapangan telah memperoleh manfaat besar dari
peluang ini untuk mendiskusikan kekuatan dan kesenjangan dalam praktik evaluasi,
memahami perspektif advokat dan penyandang dana, serta memberikan informasi
mengenai pengembangan perangkat dan perangkat. Jelas bahwa pihak-pihak di
lapangan ingin dan akan mendapatkan manfaat lebih dari pertemuan-pertemuan ini.
Lebih dari 42 persen responden survei menunjukkan bahwa sedikitnya konferensi
atau pertemuan yang membahas advokasi dan pendekatan evaluasi perubahan
kebijakan serta memajukan bidang ini merupakan “kesenjangan yang cukup signifikan.”
Jejaring dan potensi pengembangan kemitraan akan lebih besar ketika masyarakat
mempunyai kesempatan untuk berkumpul untuk berbagi serta mengadakan pertemuan
yang berfokus secara eksklusif pada evaluasi APC.
Kedua, sejauh mana para peserta pertemuan ini merefleksikan bidang APC
secara keseluruhan masih belum jelas karena pertemuan tersebut terutama diadakan
di Amerika Serikat. Pertimbangan lebih besar harus diberikan untuk menyelenggarakan
pertemuan internasional, bergilir antara negara maju dan berkembang, dan
meningkatkan inklusivitas agenda dan pokok bahasan. Pertumbuhan jumlah organisasi
Organisasi Sukarela untuk Evaluasi Profesional (VOPE) di seluruh dunia dapat sangat
memfasilitasi pembagian dan penyerbukan lintas batas. Didukung oleh Inisiatif
EvalPartners,
yang diluncurkan pada tahun 2012 oleh Organisasi Internasional untuk Kerja Sama
dalam Evaluasi dan UNICEF, jaringan VOPE dapat menghasilkan komunitas evaluasi
yang lebih kuat secara keseluruhan, sekaligus mendorong evaluasi yang berfokus
pada kesetaraan dan gender—nilai-nilai yang dianut oleh APC komunitas (Kosheleva
dan Segone 2013).
Mengembangkan, Menggunakan Sumber Daya yang Sesuai
Tidak ada kekurangan sumber daya, termasuk artikel yang diterbitkan, buku,
pedoman, blog, konferensi, dan listservs. Hal ini terutama berlaku untuk alat
perencanaan evaluasi APC dimana hampir 60 persen responden Survei Aspen/UCSF
berpendapat bahwa hal ini “bukan kesenjangan” atau “bukan kesenjangan yang sangat signifikan.”
Apakah sumber daya teknis tersedia cukup atau tidak merupakan pertanyaan terbuka.
Meskipun dinilai lebih rendah dibandingkan kesenjangan lainnya, hampir 20 persen responden Survei
berpendapat bahwa sedikitnya konferensi atau pertemuan yang membahas pendekatan advokasi dan
evaluasi perubahan kebijakan serta memajukan bidang ini merupakan “kesenjangan yang sangat signifikan.”
Banyaknya alat perencanaan, penilaian kapasitas, dan metode baru hanya dapat
menguntungkan kapasitas evaluasi APC di kalangan advokat, penyandang dana, dan
evaluator, namun mereka perlu memanfaatkan sumber daya ini. Dari lima belas alat
atau perangkat yang lebih dikenal, sebagian besar responden survei (60 hingga 94
persen) mengindikasikan bahwa mereka belum menggunakan sebagian besar sumber
daya tersebut dalam mengevaluasi upaya advokasi dan perubahan kebijakan. Kita
hanya bisa berspekulasi tentang hambatan dalam menggunakan sumber daya ini.
Pekerjaan lapangan tidak dilakukan di area ini. Pelatihan yang disesuaikan di
Evaluator's Institute dan penyertaan kursus dalam program pelatihan tingkat
pascasarjana dapat mempercepat evaluator yang kurang berpengalaman dalam
melakukan standarisasi praktik evaluasi. Kami berharap adanya pembangunan lapangan baru
sumber daya (seperti pelatihan, instrumen yang diuji, dan toolkit) dan laporan teknis
yang dikembangkan oleh Pusat Inovasi Evaluasi dan pihak-pihak lain yang
mencerminkan apa yang telah dipelajari selama dua puluh tahun terakhir akan
menutup kesenjangan ini untuk selamanya. tidak lama lagi.
PENERAPAN PRAKTEK EVALUASI PADA TEORI
Kami sampai pada lingkaran penuh dan mengakhiri bab ini dari awal kami: dengan
diskusi teori dan bagaimana evaluasi APC dapat berkontribusi pada beasiswa di
berbagai bidang. Sementara berkali-kali terputus
landasan teoretis dari banyak advokasi dan evaluasi kebijakan, evaluator APC adalah bagian dari
komunitas besar yang terdiri dari pakar kebijakan publik yang mencari penjelasan tentang cara
kerja proses pembuatan kebijakan, ilmuwan politik yang melakukan penelitian tentang politik dan
pembuatan kebijakan, serta sebagai analis kebijakan yang terutama menggunakan analisis biaya
untuk mengidentifikasi dan membandingkan pilihan kebijakan terbaik untuk mengatasi suatu
masalah.
Meskipun terdapat perbedaan dalam fokus, pertanyaan, dan metode, konteksnya tetap sama.
Pada Tabel 7.1, kami menjelaskan beberapa bidang di mana terdapat persilangan antara praktik
evaluasi dan ilmu kebijakan.
Misalnya, evaluator yang fokus pada proses pembuatan kebijakan tertentu mungkin dapat
memberikan informasi kepada para peneliti di bidang perancangan kebijakan dan mendidik pembuat
kebijakan di awal proses kebijakan. Peluang bagi komunitas evaluasi APC untuk berkontribusi pada
basis pengetahuan dibahas di bawah ini.
Membawa Model Tahap Kebijakan ke Tingkat Selanjutnya
Evaluator pada dasarnya berkepentingan untuk menilai dampak inisiatif advokasi yang mungkin
menargetkan beberapa atau seluruh tahapan dan aspek proses perubahan kebijakan. Setiap tahap
model tahap kebijakan yang dijelaskan dalam Bab 1 merupakan rangkaian kajian yang kaya yang
dapat memandu dan dipandu oleh penyelidikan evaluasi. Secara khusus, evaluator dapat membantu
mendokumentasikan taktik advokasi sepanjang siklus kebijakan. Sejauh mana taktik tertentu
bertambah dan berkurang dan mengapa? Mengingat terbatasnya sumber daya, apakah lebih baik
melakukan advokasi yang ditargetkan pada satu tahap proses pembuatan kebijakan?
Mempertahankan upaya sebelum dan sesudah pengesahan dapat memberikan keuntungan bagi
para advokat, khususnya pada tahap implementasi ketika kesepakatan nyata telah dicapai.
Banyaknya advokasi dan evaluasi perubahan kebijakan berfokus pada advokasi pada tahap awal
proses pembuatan kebijakan.
Evaluator sebaiknya bekerja sama dengan penyandang dana dan advokat untuk mempertimbangkannya
memperpanjang cakrawala waktu pasca-perjalanan, jika suatu kebijakan disahkan.
Kedua, evaluator dapat menelusuri tahapan dan menempatkan taktik advokasi tertentu dalam
kumpulan literatur tersebut. Model jendela kebijakan John Kingdon (1995) adalah contoh yang baik
dari pemahaman yang diartikulasikan dengan baik dan koheren secara konseptual mengenai
interaksi yang kompleks antara para aktor, isu-isu, dan waktu selama tahap penetapan agenda.
Evaluator harus mencari hal lain yang setara

Tabel 7.1. Panduan Pertanyaan Penelitian Kebijakan dan Metode

Evaluasi
Metode dan
Pertanyaan Penelitian Bidang Studi
Contoh
Analisis kebijakan Tindakan apa yang harus kita ambil? Analisis biaya
Pilihan apa yang ada untuk mengatasi masalah tertentu? Peramalan
Tugas beresiko
Opsi kebijakan apa yang sebaiknya dipilih?
Desain kebijakan Bagaimana masyarakat memandang permasalahan dan Analisis
kebijakan? kualitatif
Bagaimana kebijakan mendistribusikan kekuasaan, dan mengapa? Analisis konten
Nilai-nilai siapa yang diwakili oleh kebijakan?
Pembuat Siapa yang membuat keputusan kebijakan? Analisis kuantitatif
kebijakan dan Bagaimana pembuat kebijakan memutuskan apa yang harus dilakukan?
lembaga pembuat kebijakan

Mengapa mereka mengambil keputusan yang mereka lakukan? Analisis
kualitatif
Kelompok kepentingan Bagaimana kelompok memberikan pengaruh? Analisis kuantitatif
Apa dampak kelompok terhadap kebijakan publik?
Apakah kelompok berubah?
Proses kebijakan Mengapa pemerintah hanya memperhatikan beberapa permasalahan dan tidak Analisis kuantitatif
memperhatikan permasalahan lainnya?
Bagaimana pilihan kebijakan dikembangkan?

Mengapa kebijakan berubah?
Implementasi Mengapa suatu kebijakan gagal atau berhasil? Analisis kuantitatif

kebijakan Bagaimana keputusan kebijakan diterjemahkan menjadi
tindakan? Analisis
kualitatif
Evaluasi Apa yang telah kita lakukan? Analisis kuantitatif

kebijakan Apa dampak program atau kebijakan tertentu?
Analisis
kualitatif
Statistik
Penilaian
ahli
Sumber: Smith dan Larimer 2013.

kerangka kerja yang baik dan teruji. Jika ada yang kurang atau memerlukan pengujian lebih
lanjut, evaluator harus melihat ini sebagai peluang untuk memajukan ilmu pengetahuan.
Analisis Kontekstual Advokasi dan Evaluasi Perubahan Kebijakan

Perbandingan ilmu politik antara sistem demokrasi dan budaya politik dapat mengambil
manfaat dari pengalaman evaluasi konteks pembuatan kebijakan yang beragam, seperti
perbedaan dan persamaan antara model pembuatan kebijakan internasional, nasional,
negara bagian, dan lokal. Peran konteks sosial, ekonomi, politik, dan budaya dalam proses
pembuatan kebijakan diketahui namun tidak selalu dipahami dengan baik. Para evaluator,
berdasarkan latar belakang dan keahlian mereka yang beragam di bidang evaluasi yang
berbeda-beda, memiliki kemampuan yang baik untuk menavigasi arena yang rumit ini,
dengan memanfaatkan sosiologi, evaluasi pemerintah, organisasi nirlaba, pengembangan
organisasi, dan studi media. Evaluator dapat berkontribusi untuk mengkarakterisasi peran
dan hubungan para advokat dan pengambil keputusan yang bekerja sama untuk menyusun
dan/atau menerapkan kebijakan. Para advokat tidak hanya sekedar memberikan tekanan
dan dapat memainkan peran integral dalam perumusan, dukungan, pengesahan, dan
implementasi kebijakan tertentu, seperti menyediakan data tentang penggunaan layanan
kesehatan yang ada. Memahami berbagai cara yang digunakan advokat dalam berhubungan
dengan pengambil keputusan merupakan sebuah penyelidikan yang sudah mapan. Advokat
dapat menggunakan penargetan formal dan informal terhadap pengambil keputusan, seperti
berbincang selama acara sosial atau berpartisipasi dalam komite lembaga untuk menyusun
peraturan dan regulasi. Pertanyaan penelitian yang selalu muncul adalah: Apakah “Siapa
yang Anda kenal” atau “Apa yang Anda ketahui?” Atau keduanya?
Mengingat keunggulannya, evaluator mempunyai peluang untuk berkontribusi pada basis

pengetahuan.
Menilai Efektivitas Advokasi

Survei skala besar terhadap kelompok kepentingan dan pelobi dimulai pada tahun 1950an
dan memberikan pemahaman mendalam tentang taktik kelompok dan komposisi populasi
kelompok kepentingan. Meskipun terdapat sejumlah instrumen yang dapat disesuaikan
dengan beragam pengaturan kebijakan dan organisasi, para peneliti masih kesulitan
menjawab pertanyaan mengenai pengaruh taktik secara individu dan kolektif. Selain itu,
pendekatan survei juga mempunyai beberapa kelemahan, termasuk ketidakpekaan
terhadap konteks kebijakan, isu, aktor, dan konteks kebijakan.
dan konstituen (Baumgartner dan Leech 1998). Misalnya, informan kunci mungkin ragu
untuk membagikan taktik utama yang mereka gunakan untuk mencapai tujuan mereka.
Namun, beberapa advokat telah bersuara, dan pada tahun 2010 mereka melaporkan
bahwa strategi mereka yang paling efektif adalah pengorganisasian komunitas atau akar
rumput, pembentukan koalisi, pendidikan masyarakat, dan advokasi legislatif (Innovation
Network 2008).
Berdasarkan kedekatan mereka dengan para advokasi dan pengambil keputusan,
evaluator mempunyai posisi yang baik untuk memberikan informasi kualitatif dan
kuantitatif mengenai taktik kelompok advokasi dan sejauh mana pengaruh mereka,
seperti temuan dari survei pembuat kebijakan yang menanyakan kesadaran mereka
terhadap dan hubungan dengan advokat tertentu dan persepsi taktik advokasi tertentu.
Selain itu, fokus pada faktor-faktor kontekstual dapat meningkatkan pemahaman kita
mengenai kondisi kapan advokasi berhasil dan kapan tidak.
Mengukur Masyarakat Sipil dan Pembaruan Kewarganegaraan
Menurunnya keanggotaan kelompok tradisional, seperti partai politik, dan ketidakpuasan

terhadap pemerintah di Amerika Serikat dan negara-negara demokrasi lainnya pada
tahun 1990an mengakibatkan peninjauan ulang terhadap masyarakat sipil dan sejauh
mana keterlibatan masyarakat sipil sedang diremehkan. Menipisnya modal sosial atau
“ciri-ciri kehidupan sosial—jaringan, norma, dan kepercayaan—
yang memungkinkan peserta untuk bertindak bersama secara lebih efektif untuk
mencapai tujuan bersama” dihipotesiskan telah mengikis keterlibatan masyarakat dalam
kegiatan ruang publik (Putnam 1995, 664–65). Meskipun proposisi ini masih
diperdebatkan, namun fokus perhatiannya adalah pada peran masyarakat sipil dan
atribut-atributnya, seperti kepercayaan, keberagaman, dan keamanan ekonomi (Bennet
1998). Pertanyaan-pertanyaan ini masih ada hingga saat ini dan merupakan bagian
penting dari diskusi mengenai jenis-jenis advokasi yang baru dan berbeda. Evaluator
APC yang berfokus pada kampanye advokasi akar rumput berbasis komunitas
mempunyai posisi terdepan dalam menilai efektivitas dan dampak inisiatif-inisiatif ini
serta potensinya dalam meletakkan dasar untuk mencapai perubahan sistem.
Suara Baru dalam Proses Kebijakan

Survei kelompok kepentingan sangat membantu untuk menggambarkan komposisi
komunitas advokasi dan perubahannya selama beberapa dekade.
Beasiswa baru-baru ini berfokus pada masuknya jenis organisasi baru, termasuk
penyedia layanan nirlaba, organisasi bisnis nirlaba, dan lembaga pemikir, seperti
Rand Corporation. Ada peningkatan minat terhadap entitas yang kurang terdefinisi
dengan baik, seperti Super PAC dan “elit bayangan,” sebuah jaringan perantara
kekuasaan yang melampaui batas negara dan bertindak sebagai pemain kuat di
belakang layar (Wedel 2009). Suara-suara lain yang muncul adalah kelompok
masyarakat yang kurang beruntung dan kurang terwakili dalam proses kebijakan—ras
minoritas, masyarakat berpenghasilan rendah, imigran tidak berdokumen, dan
generasi muda. Meskipun jumlah organisasi yang mewakili kelompok masyarakat ini
semakin banyak, penelitian menunjukkan bahwa mereka tidak menikmati persaingan
yang setara dan keuntungan kebijakan yang sama dengan kelompok kepentingan
yang lebih kaya dan sudah mengakar (Schlozman, Verba, dan Brady 2012). Namun,
literatur mengenai gerakan sosial dan organisasi nirlaba menekankan potensi
peningkatan suara masyarakat melalui berbagai cara, termasuk mobilisasi akar
rumput, menghubungkan klien dan penyedia layanan secara langsung dengan media
dan pengambil keputusan, serta penjangkauan pemilih. Resesi Hebat tahun 2008
menyaksikan kebangkitan gerakan Occupy Wall Street dan munculnya ketimpangan
pendapatan sebagai isu kebijakan yang hangat.
Ketertarikan Yayasan dalam menumbuhkan dan memberdayakan suara-suara
baru ini telah memberikan kesempatan bagi para evaluator untuk memberikan
informasi kepada para peneliti mengenai pembentukan, pengembangan kapasitas,
dan potensi pengaruh dari banyak individu dan entitas yang kurang dikenal ini. Para
evaluator mempunyai rekam jejak panjang dalam fokus pada pengembangan
kapasitas advokasi di semua jenis organisasi serta memetakan dunia advokasi untuk
suatu kebijakan atau isu kebijakan tertentu. Selain itu, para evaluator APC juga tidak
segan-segan mengidentifikasi suara-suara baru atau mengenali suara-suara yang
sudah ada yang pengaruhnya tidak diketahui, seperti para pemimpin, yang merupakan
pakar berpengaruh di bidang kebijakan tertentu.
Bentuk Partisipasi Baru

Tidak ada tempat yang lebih baik untuk mempelajari strategi dan taktik advokasi baru
selain berbicara dengan para advokat. Kemungkinan besar, mereka telah memanfaatkan
bentuk komunikasi baru, seperti pesan teks, jauh sebelum para peneliti mulai
mempelajarinya. Meningkatnya penggunaan teknologi baru—sistem data elektronik,
media sosial, kamera digital, dan telepon—jelas merupakan sebuah tantangan
tren penting yang telah mempengaruhi berbagai hasil, termasuk pemilu politik nasional.
Namun teknologi baru tidak selalu berarti strategi atau taktik baru. Kenyataannya adalah
sebagian besar advokasi—kelompok dan taktik—masih tetap sama (Schlozman dan Tierney
1986). Namun, dengan bentuk komunikasi dan media sosial yang baru, lebih murah, dan
lebih cepat, seperti Twitter, terdapat peningkatan potensi bagi lebih banyak orang untuk
terlibat dengan lebih cepat. Selain itu, penyebaran informasi mendukung demokratisasi dan
memungkinkan lebih banyak masyarakat untuk terlibat, seperti yang terlihat pada Arab
Spring tahun 2010 di Timur Tengah. Hal ini membuat lanskap semakin beragam dalam hal
siapa yang mungkin terlibat dalam advokasi meskipun masih terdapat permasalahan
mengenai kedalaman dan jangka panjang advokasi
komitmen terhadap suatu permasalahan.
Cara lain untuk melihat bentuk-bentuk partisipasi baru adalah dengan fokus pada isu
kebijakan dan apakah isu tersebut telah diperluas hingga mencakup pemain politik baru
atau tidak. Misalnya, usulan reformasi layanan kesehatan yang diajukan pemerintahan
Clinton menghasilkan peningkatan yang signifikan dalam jumlah dan jenis advokasi pada
tahun 1990an, namun kebijakan tersebut memerlukan waktu dua dekade untuk mencapainya.
Para evaluator APC sangat aktif dalam bidang ini, mendokumentasikan dan
menginformasikan pemikiran kita mengenai jenis taktik baru atau taktik yang sudah ada
yang mungkin lebih penting dalam mencapai perubahan kebijakan daripada yang diperkirakan sebelumnya.
Fleksibilitas dalam menggunakan model tahapan atau analisis jaringan sosial dalam suatu
arena kebijakan dapat membantu mengungkap bentuk-bentuk pengaruh baru atau yang
selama ini merupakan pengaruh yang belum dikenal. Misalnya, komunitas evaluasi APC
mendokumentasikan peran hasil sementara yang dihasilkan dari peningkatan kapasitas
advokasi namun bukan hasil akhir itu sendiri, seperti pengembangan hubungan kerja
dengan media dan/atau pengambil keputusan (Gill dan Freedman, 2014).
KESIMPULAN
Umpan balik dari bidang APC menunjukkan bahwa prospeknya bagus untuk perluasan
berkelanjutan praktik evaluasi APC dalam bidang model, metode, sumber daya, diseminasi,
dan pembelajaran. Komunitas evaluasi APC telah membangun basis praktisi yang kuat dan
kerangka kerja yang luas dan mendalam. Arena ini bukan lagi wilayah yang belum dipetakan
seperti dulu, dan kini terdapat infrastruktur untuk menangkap dan berbagi kebijaksanaan
evaluasi individu, serta evaluator APC berpengalaman yang telah
pengalaman satu dekade atau lebih. Namun tantangannya tetap ada—finansial, konseptual, dan teknis.
Hal ini bukannya tidak dapat diatasi, namun hal ini memerlukan perhatian terus-menerus untuk membangun
lapangan dan mendidik penyandang dana, advokat, dan evaluator lainnya.
Sangat mudah untuk menyarankan cara-cara baru dan berbeda untuk mengembangkan bidang APC.
Tidaklah mudah untuk menindaklanjuti salah satu atau semua saran ini. Prioritas yang bersaing, pendanaan
yang tidak mencukupi, dan komunitas evaluator yang hanya mengidentifikasi diri sebagai evaluator APC
ketika dia mengevaluasi inisiatif APC, merupakan kendala yang signifikan. Namun, menurut kami hal ini
tidak akan menghentikan evaluator individual dan para evaluator di lapangan untuk terus maju. Inti dari
evaluator dan penyandang dana APC yang berdedikasi terus mendorong bidang ini ke depan, dan para
pemimpin baru dari dalam dan luar komunitas evaluasi APC akan terus bermunculan. Membangun
landasan ini dan bersikap terbuka terhadap kemitraan baru, serta mengembangkan fokus dan cara berpikir
baru mengenai evaluasi APC, merupakan beberapa cara untuk memperkuat dan mempertahankan
komunitas praktik yang terus berkembang ini.
Komitmen para penyandang dana untuk terus mendukung dan memperluas fokus mereka pada isu-isu
APC, serta berinvestasi dalam evaluasi eksternal dan internal juga merupakan kunci pertumbuhan di
bidang ini.
Mengingat isu-isu kebijakan dan politik yang penting saat ini dan kebutuhan untuk belajar darinya,
tidak ada alasan mengapa evaluator APC tidak berusaha menjadi mitra integral dalam arena evaluasi dan
seterusnya.
Ada cara-cara baru dan baru untuk bermitra dengan advokat, penyandang dana, dan pengambil keputusan.
Ada juga peluang untuk berkontribusi kembali pada beasiswa yang menjadi landasan teoritis evaluasi
APC, seperti ilmu kebijakan, literatur nirlaba, dan semakin banyak penelitian mengenai advokasi dan
advokasi. Ini juga merupakan masa di mana APC sebagai sebuah bidang terus dianggap penting dalam
memastikan bahwa suara-suara kaum marginal didengar dan bahwa mereka mendapat tempat di meja
perundingan. Jika kita ingin terus mencapai kemajuan masyarakat dalam mencapai keadilan sosial, kita
harus memastikan kesenjangan yang signifikan dalam sumber daya yang tersedia di masyarakat
mendapatkan perhatian publik yang layak mereka dapatkan. Kami berharap buku ini dapat membantu
membuka jalan untuk mewujudkan peluang dan kemitraan ini, dengan memberikan pengetahuan, model,
sumber daya, dan contoh desain dan alat evaluasi yang berguna sehingga advokasi dapat mewujudkan
visinya dengan lebih efektif.


LAMPIRAN A
ENAM KASUS EVALUASI
BIARKAN GADIS MEMIMPIN GADIS REMAJA

INISIATIF ADVOKASI DAN KEPEMIMPINAN
(AGALI)
Deskripsi Inisiatif
Didirikan oleh United Nations Foundation (UNF) dan Public Health Institute (PHI), Let
Girls Lead sedang membangun gerakan global yang bertujuan untuk memastikan
bahwa anak perempuan dapat bersekolah, tetap sehat, keluar dari kemiskinan, dan
mengatasi kekerasan. Sejak tahun 2009, model Let Girls Lead—yang didukung,
divalidasi, dan didukung oleh yayasan-yayasan terkemuka—telah berkontribusi
terhadap peningkatan kesehatan, pendidikan, penghidupan, dan hak-hak bagi lebih dari
tujuh juta anak perempuan di seluruh dunia. Hal ini mengkatalisasi perubahan terukur
bagi anak perempuan dengan berinvestasi pada pemimpin visioner dan organisasi
lokal melalui pengembangan kepemimpinan, penguatan organisasi, pemberian hibah,
dan advokasi. Inisiatif ini dimaksudkan untuk memperkuat kapasitas para pemimpin
masyarakat sipil, advokat perempuan, dan organisasi lokal untuk mempromosikan
undang-undang, kebijakan, program, dan pendanaan yang ramah perempuan di
Guatemala, Honduras, Liberia, Malawi, dan Ethiopia.
222 Lampiran A
Strategi dan Taktik Advokasi
Let Girls Lead menggunakan pendekatan holistik untuk melakukan advokasi peningkatan
kapasitas, menawarkan lokakarya intensif, pendanaan hibah awal, dan bantuan teknis
berkelanjutan serta keterlibatan dengan para Fellownya. Let Girls Lead Fellows telah
melakukan serangkaian taktik advokasi yang berbeda-beda di setiap negara. Taktik-taktik
ini mencakup (1) para pakar yang berkomunikasi dengan para pembuat kebijakan, untuk
mempertimbangkan pengembangan kebijakan; (2) para ahli berfokus pada implementasi,
dan menentukan apakah suatu kebijakan telah diterapkan, dan jika tidak, mengapa tidak,
dan menyampaikan hal ini kepada orang-orang yang tepat; (3) pertemuan remaja
perempuan dan laki-laki dengan pejabat setempat untuk menjelaskan mengapa perubahan
kebijakan diperlukan; (4) pendidikan masyarakat luas; dan (5) pawai dan pembacaan
materi. Hal ini juga berfokus pada media sebagai bagian dari pelatihan dan menggunakan radio di dua nega
Pada tahun 2013, organisasi ini telah mengembangkan jaringan global yang terdiri dari 110 pemimpin yang
mengadvokasi hak-hak remaja perempuan.
Tujuan, Desain, dan Instrumen Evaluasi

Pada tahun 2013, menjelang akhir lima tahun pertama inisiatif ini, UNF menugaskan
evaluasi eksternal untuk menilai efektivitas program, menangkap bagian dari kisah Let
Girls Lead, dan memberikan panduan kepada kelompok lain. Evaluasi ini dilakukan di
empat negara dengan menggunakan metode campuran yang mencakup empat
pertanyaan evaluasi: (1) Bukti apa yang menunjukkan kontribusi Let Girls Lead terhadap
hasil-hasil advokasi dan kebijakan utama yang bertujuan meningkatkan kesehatan,
pendidikan, dan penghidupan remaja perempuan? , dan hak asasi manusia? (2)
Perbedaan apa yang dibuat Let Girls Lead dalam kehidupan remaja
gadis-gadis yang telah terlibat dalam inisiatif ini? (3) Bukti apa yang menunjukkan kontribusi
Let Girls Lead terhadap peningkatan kapasitas advokasi Fellows, organisasi mereka,
dan jaringan yang didukung oleh Let Girls Lead? dan (4) Apakah model Let Girls Lead
telah mengkatalisasi upaya advokasi dan perubahan kebijakan? Jika ya, bagaimana hal
ini dicapai?
Ada teori perubahan: “Remaja perempuan (10 hingga 24 tahun) diberdayakan untuk
mewujudkan potensi penuh mereka melalui penciptaan dan implementasi program dan
kebijakan yang menjamin kesehatan, pendidikan, hak asasi manusia, dan sosial ekonomi.
kesejahteraan." Model logika dikembangkan oleh PHI untuk memandu program. Tim
evaluasi menggunakannya sejak awal dan fokus pada hubungan antara hasil
Lampiran A 223
serta empat bagian model (lokakarya pelatihan advokasi, bantuan dan pembinaan
teknis, hibah benih, dan penjangkauan remaja perempuan). Evaluator juga melihat apa
yang membuat perbedaan: paket secara keseluruhan, atau paket individual? Selain itu,
mereka juga melihat perubahan apa yang dapat dilakukan gadis-gadis tersebut dan
perubahan taktik mereka.
Kegiatan Pengumpulan dan Analisis Data
Untuk menilai model Let Girls Lead, tim evaluasi mensurvei delapan puluh anggota Let
Girls Lead yang pada saat evaluasi telah berpartisipasi dalam Let Girls Lead di empat
negara fokus dan kemudian mewawancarai tiga puluh dua pemangku kepentingan
utama, termasuk Rekan, staf, pelatih, dan perwakilan Yayasan PBB. Untuk memvalidasi
kontribusi Let Girls Lead terhadap hasil-hasil advokasi dan kebijakan utama, tim
evaluasi menggunakan analisis kontribusi untuk menilai enam studi kasus ilustratif,
memeriksa perubahan kebijakan dan peran Let Girls Lead dan rekan-rekannya dalam
mempengaruhi perubahan tersebut. Empat kasus terkait dengan advokasi di tingkat
nasional, seperti pengesahan Undang-Undang Anak di Liberia, dan dua kasus
merupakan contoh advokasi di tingkat lokal, seperti pemberlakuan peraturan daerah
untuk menghapuskan praktik pernikahan anak di Malawi. Untuk mengumpulkan
informasi awal tentang perubahan dalam kehidupan remaja perempuan akibat
perubahan kebijakan yang dipengaruhi oleh Let Girls Lead Fellows dengan dukungan
Let Girls Lead, tim evaluasi mengumpulkan cerita Perubahan Paling Signifikan (MSC)
dari tiga puluh lima remaja perempuan dan laki-laki dan melakukan meta-analisis
terhadap mereka.
Tantangan Tertangani
Tim evaluasi harus menghadapi keterbatasan waktu dan anggaran.
Jangka waktu evaluasi membatasi perubahan yang dapat ditangkap dalam kehidupan
remaja perempuan yang dipengaruhi oleh perubahan kebijakan.
Keterbatasan waktu dan anggaran membatasi kemampuan tim evaluasi untuk
melakukan triangulasi secara menyeluruh terhadap beberapa data yang dikumpulkan
terkait dengan proses analisis kontribusi. Terakhir, bekerja dengan tim evaluator
nasional dalam dua bahasa berbeda mengurangi kemampuan tim evaluasi untuk
berbagi temuan dan belajar satu sama lain secara internal, namun hal ini meningkatkan
akses tim terhadap pembuat kebijakan, remaja perempuan dan pemangku kepentingan
lainnya, serta memperdalam pemahaman mereka. pemahaman tim tentang faktor kontekstual.
224 Lampiran A
Penggunaan Temuan Evaluasi

Temuan evaluasi menunjukkan bahwa model Let Girls Lead efektif dalam
meningkatkan kepemimpinan individu, efektivitas organisasi, serta kapasitas dan
dampak advokasi. Terdapat beberapa rekomendasi untuk menyempurnakan
komponen model, seperti memasukkan remaja laki-laki sebagai advokat dan
melakukan replikasi di negara lain. Produk evaluasi mencakup ringkasan isu setebal
empat halaman dan dua halaman, ringkasan eksekutif evaluasi eksternal, dan artikel
di Guardian mengenai kasus-kasus di Honduras, selain laporan evaluasi internal.
Para evaluator juga mengumpulkan kisah-kisah Perubahan Paling Signifikan, berbagi
pembelajaran, dan menyebarkan model Let Girls Lead. Laporan analisis kontribusi
dan cerita Perubahan Paling Signifikan dikembalikan ke LSM. Pada tingkat program,
mungkin terdapat beberapa perubahan, seperti peningkatan peran mitra di tingkat
negara. Mereka memperkuat validasi model. Temuan-temuan ini mungkin juga
mempengaruhi rancangan program di masa depan.
Evaluator: BLE Solutions, LLC
INISIATIF UNTUK MEMPROMOSIKAN KEADILAN DAN

TRANSPORTASI BERKELANJUTAN
Deskripsi Inisiatif
Diluncurkan pada tahun 2008 oleh Dewan Yayasan Rockefeller, Inisiatif untuk
Mempromosikan Transportasi yang Adil dan Berkelanjutan didasarkan pada premis
bahwa menginformasikan penerapan insentif dan kebijakan federal baru untuk
pilihan transportasi yang adil dan berkelanjutan akan memulai perubahan sistemik
dalam pilihan dan kebijakan investasi. transportasi sekitar. Inisiatif ini mempunyai
tiga tujuan: (1) memberikan masukan bagi kebijakan transportasi melalui penelitian
yang dapat ditindaklanjuti, dukungan analitis, dan contoh-contoh praktis; (2)
memperkuat kapasitas dan kepemimpinan dalam organisasi-organisasi yang beragam
secara strategis dan menciptakan konstituen yang bertahan lama untuk melakukan
perubahan dan reformasi menuju paradigma transportasi baru; dan (3) memperluas
kemitraan filantropis dan mitra donor yang baru dan beragam untuk berkolaborasi
dalam mendukung upaya federal dan mempertahankan upaya regional. Inisiatif ini
berakhir pada tahun 2013.
Lampiran A 225
Inisiatif ini mempunyai tiga tingkat kegiatan: (1) tingkat federal yang fokus utamanya
adalah menginformasikan RUU Otorisasi Ulang Transportasi Permukaan namun
juga mencakup beberapa kegiatan komunikasi; (2) tingkat negara bagian untuk
meningkatkan pengambilan keputusan di tingkat negara bagian dan regional; dan
(3) proyek demonstrasi untuk menampilkan model infrastruktur transportasi yang
inovatif. Strategi dan taktiknya mencakup penelitian dan analisis kebijakan serta
pengembangan visi baru, komunikasi dan penyusunan kerangka perdebatan,
peningkatan kapasitas organisasi, dukungan program/proyek, koalisi dan
pengembangan mitra yang beragam, serta pertemuan penyandang dana ke penyandang dana.

Tujuan dari evaluasi ini adalah kombinasi pembelajaran dan perbaikan sepanjang
masa inisiatif untuk mendukung pencapaian hasil inisiatif, akuntabilitas kepada
Rockefeller Foundation atas dana yang diinvestasikan dalam inisiatif ini, dan
kontribusi terhadap pengetahuan dalam kebijakan transportasi, advokasi. , dan
filantropi dan bidang evaluasi sebagai barang publik. Komponen federal dan negara
bagian dievaluasi secara terpisah, menggunakan metode campuran namun
pendekatannya berbeda. Evaluasi dilakukan antara tahun 2011 dan 2013 dan
dilaksanakan dalam dua tahap: tahap pertama dari kegiatan Pemantauan dan
Evaluasi (M&E) mencakup evaluasi sumatif retrospektif terhadap inisiatif reformasi
kebijakan federal. Kampanye ini berada pada titik transisi pada saat evaluasi,
namun RUU Reotorisasi telah tertunda secara substansial dan masih dalam
pertimbangan yang lemah. Itu disahkan ketika evaluator sedang menyelesaikan
pengumpulan data. Untuk tahap kedua, evaluator melakukan desain evaluasi formatif
untuk pekerjaan di tingkat negara bagian sejak masih dalam tahap awal. Metodologi
ketiga yang didasarkan pada penyelidikan apresiatif (mengandalkan persepsi
terhadap perubahan paling signifikan) digunakan untuk mengevaluasi portofolio
komunikasi hibah, yang memiliki hasil yang lebih luas dan kurang jelas. Terdapat
delapan belas pertanyaan evaluasi yang dibagi dalam lima kriteria: relevansi,
efektivitas, pengaruh/dampak, efisiensi, dan keberlanjutan.
Teori perubahannya adalah bahwa yayasan perlu dilibatkan dalam pekerjaan

kebijakan tingkat negara bagian sehingga ketika otorisasi ulang federal terjadi,
226 Lampiran A
hal ini akan memulai perubahan sistemik dalam pilihan investasi dan kebijakan seputar
transportasi. Model logika untuk inisiatif ini dikembangkan oleh para evaluator dan
diperiksa oleh kelompok penasihat evaluasi. Komponennya mencakup masukan,
strategi, hasil jangka pendek, hasil sementara, hasil jangka panjang, dan kekuatan
eksternal. Hasil jangka panjang mencakup peningkatan perbincangan mengenai
alternatif transportasi cerdas dan peningkatan kemampuan untuk menargetkan para
pembuat kebijakan utama. Terdapat hubungan langsung antara model logika dan
rencana evaluasi, dengan pertanyaan evaluasi berasal dari model logika. Data kualitatif
dianalisis menggunakan rubrik pengkodean berdasarkan model logika. Tujuannya
adalah untuk menangkap dengan tepat strategi dan kegiatan yang disusun melalui
kampanye serta memastikan mereka memiliki gambaran besar untuk mengkodekan
atau mengkategorikan temuan. Ada upaya untuk mengeksplorasi hubungan sebab
akibat antara komponen model logika melalui analisis data.
Selain itu, para evaluator berupaya untuk mendapatkan dukungan dari pemangku kepentingan terhadap
strategi pengumpulan data.
Evaluasi komponen federal terdiri dari lima puluh lima wawancara terhadap staf yayasan,
pembuat kebijakan, media, dan advokat/penerima hibah serta pimpinan yayasan lainnya
yang telah memberikan dana di bidang serupa.
Kuesioner bervariasi berdasarkan jenis informan dan berfokus pada persepsi peran
dana hibah, pencapaian hasil, kapasitas, dan manfaat. Para evaluator juga mensurvei
penerima hibah dan mengumpulkan data kuantitatif mengenai kemajuan, kapasitas
koalisi dan organisasi, serta kebutuhan di masa depan.
Terakhir, mereka menganalisis data sekunder seperti catatan inisiatif atau proposal dan
laporan penerima hibah, serta data yang tersedia untuk umum atau siaran pers
mengenai laporan, rancangan teks RUU, dan beberapa pemantauan RUU. Untuk
komponen negara, para evaluator menggunakan serangkaian instrumen serupa: survei
penerima hibah, analisis dan pengkodean hibah, wawancara dengan penerima hibah,
penyandang dana, dan pengamat, serta diskusi dengan staf inisiatif.
Evaluasi yang dilakukan pada waktu tertentu yang berlangsung dalam lingkungan yang
dinamis dan kompleks, evaluasi ini ditantang dengan pengumpulan data dari semua
Lampiran A 227
sumber yang relevan, termasuk beberapa pengambil keputusan. Tim evaluasi mengontrak
seorang ahli transportasi dan memasukkan kelompok referensi evaluasi untuk memberikan
keahlian konten dalam kebijakan transportasi federal. Terakhir, informan terkadang
memberikan laporan yang bertentangan, yang kemudian dilaporkan atau dianalisis lebih
lanjut untuk menentukan validitasnya.

Temuan evaluasi digunakan oleh yayasan untuk menginformasikan bagaimana mereka
melanjutkan inisiatif ini. RUU Otorisasi Ulang disahkan ketika temuan evaluasi sedang
dikembangkan untuk komponen federal. Temuan ini mengangkat sejumlah isu yang
berbicara pada bidang yang lebih luas. Misalnya, tim evaluasi menemukan bahwa
pembongkaran infrastruktur advokasi setelah perombakan transportasi besar-besaran
yang lalu menyebabkan lemahnya lapangan, dan ada beberapa kesulitan dalam melakukan
mobilisasi untuk mendukung otorisasi ulang yang ada saat ini. Bidang tersebut harus
membangun koalisi baru dengan Rock-
dukungan efeller. Ada beberapa pelajaran yang bisa diambil setelah adanya “kemenangan”
dan pemikiran tentang kapasitas infrastruktur dari waktu ke waktu, serta biaya dalam hal
waktu, tenaga, dan uang dalam menyatukan koalisi berbasis luas di bidang transportasi.
Para pendukung, khususnya koalisi primer, menggunakan temuan evaluasi dalam
mengembangkan rencana strategis baru. Evaluasi formatif terhadap pekerjaan di tingkat
negara bagian memberikan lebih banyak informasi tentang strategi dan praktik negara
bagian.
Evaluator: Grup TCC
KAMPANYE TUMBUH OXFAM

Deskripsi Inisiatif
Pada tanggal 1 Juni 2011, Oxfam meluncurkan Kampanye GROW untuk mengatasi
ketidakadilan pangan dan membangun sistem pangan yang lebih baik yang memberikan
pangan berkelanjutan kepada populasi yang terus bertambah. Ditargetkan di lebih dari
empat puluh negara, Kampanye GROW beroperasi di tingkat nasional, regional, dan
internasional dalam empat bidang tematik: lahan, investasi pada pertanian skala kecil,
perubahan iklim, dan ketidakstabilan harga pangan. Sebagai bagian dari inisiatif empat
tahun ini, Oxfam meluncurkan kampanye enam bulan yang menargetkan Bank Dunia pada
bulan Oktober 2012. Kampanye Pembekuan Lahan memiliki dua tujuan: pembekuan enam
bulan terhadap pembebasan lahan skala besar yang dipimpin oleh Bank Dunia; dan peninjauan dan perbaik
228 Lampiran A
kebijakan dan peraturan Bank Dunia terkait dengan persetujuan bebas, didahulukan
dan diinformasikan, transparansi, dan tata kelola pertanahan. Bank Dunia
memberikan dukungan keuangan senilai miliaran dolar untuk pembebasan lahan
di negara-negara berkembang di mana hak atas tanah petani skala kecil dan
masyarakat adat telah dilanggar dan beberapa dari mereka diusir dari tanah
mereka. Kampanye Bank Dunia dimaksudkan untuk menjadi elemen pemersatu
dalam Oxfam dimana seluruh afiliasinya dapat berpartisipasi.
Oxfam melakukan berbagai kegiatan termasuk: lobi dan advokasi langsung

kepada pengambil keputusan di sektor publik dan swasta dan mengenai reformasi
kebijakan; mobilisasi masyarakat melalui kegiatan online dan offline; menghasilkan
liputan media dengan serangkaian strategi penjangkauan media; dan penelitian
dan pengembangan ringkasan kebijakan. Oxfam memimpin kampanye tersebut,
namun dalam banyak konteks nasional kampanye ini dijalankan oleh koalisi sekutu
dan kelompok mitra. Selain itu, untuk kampanye Bank Dunia, terdapat proyek
video bersama grup rock Coldplay serta aksi media sosial dan
aksi.

Para evaluator melakukan evaluasi titik tengah dengan metode campuran terhadap
Kampanye GROW yang mencakup periode dua puluh satu bulan sejak peluncuran
kampanye pada tahun 2011 hingga 2013 yang mempunyai implikasi luas.
Evaluasi ini terfokus pada empat bidang utama dimana serangkaian pertanyaan
dikembangkan dan disesuaikan dengan indikator dan alat pengumpulan data, atau
menilai kemajuan hingga saat ini, model Kampanye, rekomendasi untuk pekerjaan
di masa depan, dan proyek tertentu (pencapaian). , peran Oxfam). Desain
evaluasi menggabungkan penelitian dan analisis strategi internasional dengan
pendalaman mendalam terhadap kampanye dan proyek nasional dan tim tertentu.
Terdapat teori perubahan dan Rantai Dampak (model logika) untuk Kampanye
GROW secara menyeluruh, yang digunakan sebagai bagian dari tinjauan
kemajuan. Instrumen pengumpulan data dicocokkan dengan indikator model.
faktor dan hasil.
Lampiran A 229
Untuk Kampanye GROW secara keseluruhan, para evaluator melakukan tinjauan

dokumen, survei lintas kampanye, wawancara semi terstruktur dengan staf Oxfam,
wawancara eksternal dengan pemangku kepentingan dan informan, dan
mengembangkan lima studi kasus kegiatan tingkat internasional dan negara.
Mereka juga menganalisis media sosial, dengan fokus pada jangkauan dan di
mana Oxfam terekspos. Oxfam mempunyai target, dan evaluator dapat menentukan
kemajuan dalam mencapainya, seperti jumlah tanda tangan yang diterima pada
petisi online. Untuk studi kasus Bank Dunia, para evaluator melakukan wawancara
dengan Oxfam, Bank Dunia, akademisi, dan LSM yang menangani isu pertanahan.
Dua negara terakhir dapat memberikan pandangan pihak ketiga dan lebih
merupakan pengamat dibandingkan target kampanye. Mereka juga mempunyai
dokumentasi yang memadai sehingga mereka dapat melakukan analisis kebijakan,
yang berfokus pada apakah perubahan kebijakan terjadi atau tidak dan
memperkirakan pengaruh Oxfam terhadap perubahan yang terlihat. Hal ini
mencakup melihat kapan perubahan terjadi (sebelum/sesudah), khususnya apa
yang diubah dalam kebijakan dan kemudian membandingkan bahasa “permintaan”
Oxfam dengan apa yang ada dalam kebijakan. Terakhir, hal ini divalidasi di dalam
dan di luar Oxfam melalui analisis kontribusi yang disederhanakan.
Karena luasnya cakupan Kampanye GROW, tim evaluasi tidak dapat menilai
seluruh kegiatan kampanye dan harus fokus pada tujuan-tujuan utama dan
temuan-temuan yang dapat ditindaklanjuti, seperti memilih kasus-kasus yang
beragam, ditargetkan pada tingkat keterlibatan yang berbeda-beda, berisi gabungan
dari tujuan GROW, dan akan memberikan pemahaman mengenai kampanye yang
lebih luas. Pemerintah tidak dapat fokus pada gender sejauh yang diharapkan.
Tim ini mengandalkan dokumentasi internal dan opini staf Oxfam, namun mencoba
mengimbangi potensi bias dengan mewawancarai lebih dari sembilan puluh orang
eksternal. Mendokumentasikan kontribusi dapat menjadi tantangan karena target
advokasi tidak serta merta mengungkapkan sejauh mana mereka terpengaruh
(atau tidak), dan hal ini memerlukan triangulasi dengan sumber lain dan
dokumentasi proses kebijakan untuk menilai tingkat kontribusi. Evaluasi dilakukan
dalam waktu yang relatif singkat—enam bulan—dan tim evaluasi memiliki keahlian
dalam mengelola evaluasi multikabupaten.
230 Lampiran A
tions, bekerja dengan klien untuk mengembangkan kerangka evaluasi, keahlian dalam menilai strategi
kebijakan/advokasi, termasuk komunikasi, dan pengalaman evaluasi internasional, khususnya dalam
konteks selatan.
Staf Oxfam terutama menggunakan temuan evaluasi secara internal serta pembelajaran mengenai
berbagai taktik yang diterapkan. Di dalam Oxfam, di tengah-tengah Kampanye GROW, temuan-
temuan tersebut mengungkapkan sebuah fokus dan memberikan beberapa wawasan tentang
bagaimana dan ke mana mereka harus melangkah maju. Temuan-temuan ini juga dimaksudkan untuk
membantu para praktisi advokasi dan evaluator di lapangan, dan inilah alasan Oxfam mempublikasikan
laporan tersebut. Kampanye Bank Dunia yang ditargetkan menghasilkan liputan media yang signifikan
meskipun tindakan media sosial mencapai 10–25 persen dari target paparan/tindakannya.
Hal ini meningkatkan kesadaran mengenai isu perampasan tanah di dalam Bank Dunia dan secara
eksternal. Meskipun Bank Dunia menolak pembekuan selama enam bulan tersebut, terdapat
perubahan dalam kebijakan dan peraturan Bank Dunia, dengan dimasukkannya hak atas tanah dalam
tinjauan upaya perlindungan Bank Dunia. Kampanye Bank Dunia dibatasi hanya selama enam bulan,
namun Oxfam masih mempunyai hubungan yang berkelanjutan dengan Bank Dunia dan menganggap
dirinya sebagai teman yang kritis dan selalu berkomitmen.
dialog tentang pertanahan dan isu-isu pembangunan lainnya. Strategi kampanye yang mencakup
kombinasi tekanan publik dan pengaruh kebijakan yang ditargetkan dirasa berhasil mempercepat
perubahan kebijakan di Bank Dunia meskipun tujuan utamanya (pembekuan lahan) tidak tercapai.
Penilai: Burung Hantu RE
KONSERVASI TANAH INTERNASIONAL

PROGRAM
Deskripsi Inisiatif
Pada tahun 1991, Pew Charitable Trusts memulai serangkaian kampanye untuk melestarikan hutan
tua dan kawasan hutan belantara di Amerika Serikat dan British Columbia. Pada tahun 1999, mereka
mengembangkan strategi baru yang akan memperluas upaya perlindungan lahan hingga ke hutan
boreal Kanada, dan mereka menciptakan Kampanye Konservasi Boreal Internasional untuk mengelola
upaya ini. Pada pertengahan tahun 2008, Pew meluncurkan kampanye konservasi, Outback Australia.
Pada tahun 2011, tujuan jangka panjang Pew yang baru dalam kampanye ini adalah untuk melindungi
Lampiran A 231
satu miliar hektar di Kanada dan 500 juta hektar di Australia pada tahun 2022,
setengahnya melalui perlindungan formal dan setengahnya lagi melalui aturan
pembangunan berkelanjutan.
Kampanye serupa juga dilakukan di Kanada dan Australia, termasuk: meningkatkan

argumen berbasis ilmu pengetahuan mengenai pentingnya pemanfaatan lahan;
memberdayakan masyarakat adat untuk menegaskan hak-hak mereka atas tanah
adat; dan membina hubungan yang kuat dengan para pengambil keputusan utama
dari berbagai spektrum politik. Di Kanada, kampanye ini dan organisasi mitranya
mengembangkan Kerangka Konservasi Hutan Boreal, sebuah dokumen yang
mengubah permainan yang menyerukan agar 50 persen wilayah boreal ditempatkan
dalam perlindungan permanen dan 50 persen sisanya terbuka untuk kegiatan
komersial, namun tunduk pada peraturan yang ketat. aturan pembangunan
berkelanjutan. Kampanye Kanada menginspirasi kampanye di Australia yang
mendukung pendanaan untuk program penjaga hutan Pribumi, Working on County,
untuk memberikan kesempatan kerja bagi warga Aborigin Australia sambil
memastikan pengelolaan lahan berkelanjutan yang penting untuk menjaga keanekaragaman hayati.

Pada tahun 2013, para evaluator melakukan tinjauan klaster di tengah-tengah program
selama enam bulan yang mencakup penilaian retrospektif dengan metode campuran
mengenai efektivitas kedua kampanye dan analisis prospektif tentang bagaimana
strategi dapat disempurnakan di masa depan. Tim evaluasi ditugaskan untuk
menjawab enam pertanyaan evaluasi dan menilai keberhasilan kampanye dalam
melindungi lahan selama periode 2007 dan 2012 di Kanada dan Australia, termasuk
kemajuan keseluruhan dalam mencapai tujuan strategi, memahami kontribusi proyek
Pew, mengidentifikasi faktor-faktor yang menghambat kemajuan. , dan pembelajaran
yang dapat diterapkan pada kedua inisiatif tersebut serta perlindungan dan advokasi
lahan secara lebih luas. Karena Australia dan Kanada memiliki tujuan yang berbeda
dan menggunakan strategi yang berbeda (dan karena upaya Kanada lebih matang
dibandingkan Aus-tralia), tim evaluasi melakukan analisis terpisah di kedua negara.
Karena kompleksitasnya (seperti jumlah advokat dan peran mereka) dan sifat cair
dari kampanye yang dijalankan secara oportunistik
232 Lampiran A
dalam menanggapi perubahan keadaan, model logika dianggap tidak tepat. Hasil
dan indikator efektivitas digunakan untuk mengidentifikasi kemajuan menuju
tujuan yang ditetapkan serta kontribusi proyek Pew.
Gabungan kegiatan pengumpulan dan analisis data digunakan: (1) wawancara

mendalam yang mewakili beragam perspektif, termasuk 119 mitra dan pemangku
kepentingan yang terlibat dalam dua kampanye, ditambah “pengamat yang
berpengetahuan” yang tidak terlibat dalam kampanye namun memiliki
pengetahuan -mampu. Evaluator juga berbicara dengan beberapa perwakilan
kelompok yang secara politik menentang tujuan Pew; (2) pengembangan studi
kasus regional yang berfokus pada wilayah tertentu di kedua negara (tiga di
Kanada dan enam di Australia) untuk menilai kampanye di tingkat regional dan
untuk melengkapi penelitian di tingkat nasional; (3) analisis kuantitatif hasil
perlindungan lahan, yaitu analisis GIS mengenai jumlah dan jenis lahan yang
dikonservasi dan dilindungi; dan (4) analisis kontribusi melalui dokumen, liputan
media, dan wawancara untuk menyusun rangkaian peristiwa yang menghasilkan
hasil.
Kedua kampanye tersebut memiliki tujuan yang berbeda, sehingga tim evaluasi
harus melakukan analisis data secara terpisah untuk kegiatan evaluasi retrospektif
dan prospektif. Selain itu, faktor kontekstual yang berbeda, seperti perbedaan
ekologi dalam distribusi hutan di kedua negara dan konteks kebijakan yang
berbeda, berarti bahwa strategi Kanada harus dikonfigurasi ulang dan evaluator
harus mengembangkan pendekatan evaluasi yang konsisten dan memungkinkan
adanya perbandingan. antara kedua negara. Kedua, tim evaluasi bermitra dengan
para ahli di kedua negara untuk memimpin komponen di tingkat negara serta
seorang ahli yang bekerja dengan masyarakat adat. Terakhir, beberapa lokasi
sangat terpencil dan kondisi cuaca menghambat akses.
Lampiran A 233

Di Kanada, hampir 99 juta hektar lahan ditempatkan dalam status dilindungi, dan dua
perjanjian penting di tingkat provinsi untuk melindungi atau mengembangkan secara
berkelanjutan 400 juta hektar lahan lainnya diadopsi selama periode evaluasi
(menjadikan jumlah total lahan yang dilindungi sejak Pew mulai bekerja di Kanada.
Kanada menjadi sekitar 158 juta hektar). Di Australia, upaya Pew berkontribusi
dalam melindungi sekitar 75 juta hektar di Outback, dan $482 juta diperoleh untuk
mendukung program konservasi masyarakat adat di Outback. Temuan evaluasi
menunjukkan bahwa pekerjaan Pew di kedua negara sangat menentukan atau
penting dalam mencapai sejumlah hasil utama di kedua negara. Selain menghasilkan
deskripsi pembelajaran, temuan ini juga digunakan untuk memberikan masukan bagi
revisi strategi lima tahun program Perlindungan Tanah Internasional. Temuan ini
diterima dengan baik dan memvalidasi keputusan Pew untuk melanjutkan pekerjaan
ini. Laporan ini membantu mendidik Pew tentang kesulitan menerapkan 50/50 pada
upaya Australia dan keanekaragaman lanskap Australia yang ekstrem.
Evaluator: Solusi Komunitas

Strategi
Konsultasi Edward W. Wilson
PENDIDIKAN TEMBAKAU SUKU

DAN INISIATIF KEBIJAKAN (TTEP).
Deskripsi Inisiatif
Pada tahun 2008, ClearWay Minnesota meluncurkan Inisiatif Pendidikan dan
Kebijakan Suku Tembakau (TTEP) untuk menyediakan sumber daya dan bantuan
kepada lima komunitas suku (empat Anishinaabe [Objiwe] dan satu suku Dakota)
untuk mengatasi masalah tembakau komersial melalui pendekatan kebijakan dan
advokasi. Tingkat merokok pada populasi suku tergolong tinggi (59 persen)
dibandingkan populasi lainnya. Tujuan dari inisiatif ini adalah: (1) mendukung upaya
Indian Amerika untuk mendidik para pemimpin pemerintahan suku, anggota
komunitas, pemimpin tradisional dan spiritual, serta para tetua tentang bahaya
penggunaan tembakau komersial dan perokok pasif, dan mendukung upaya di tingkat
komunitas. kegiatan advokasi kebijakan untuk memajukan kebijakan bebas rokok
yang komprehensif di tanah adat; dan (2) menyediakan sumber daya untuk
menyediakan pelatihan dan bantuan teknis kepada penerima hibah
234 Lampiran A
untuk melaksanakan upaya mendukung kebijakan dan strategi yang komprehensif dan
efektif di Negara-Negara Kesukuan Minnesota. TTEP awalnya merupakan inisiatif lima
tahun, namun mungkin akan berlanjut dalam siklus lima tahun berikutnya.
Strategi ini terdiri dari lima elemen inti yang bersama-sama mencapai tujuan sehat terkait
penggunaan tembakau. Diprakarsai oleh anggota staf TTEP, yang merupakan pegawai
suku, strateginya mencakup penelitian dan perencanaan, pendidikan, pengorganisasian dan
dukungan pembangunan, serta kebijakan. Kegiatan yang dilakukan oleh kelima suku
tersebut agak berbeda-beda dan mencakup penerapan kebijakan bebas rokok di gedung-
gedung publik dan mendidik para pengambil keputusan, pemimpin terpilih, komisaris, dan
kepala departemen. Pesan, pembangunan koalisi, dan rasa kepemilikan komunitas terhadap
perubahan ditargetkan pada komunitas.
Ada juga upaya untuk menghidupkan kembali protokol “Pengendalian Tembakau Pribumi”,
yang terkait dengan upacara spiritual.

Pada tahun 2008, para evaluator menggunakan kerangka metode campuran yang berfokus
pada pemanfaatan dan mencakup data kualitatif dan kuantitatif. Mereka berkolaborasi
dengan tim TTEP dan staf ClearWay untuk mengembangkan pertanyaan dan indikator
evaluasi proses dan hasil untuk masing-masing dari lima elemen inti. Sebagai bagian dari
kerangka multi-tahunnya, mereka menggunakan strategi evaluasi pemberdayaan
(meningkatkan kapasitas dan refleksi), dan evaluasi pembangunan, serta mencoba dan
merevisi (atau menghilangkan) metode-metode tersebut seiring berjalannya waktu. Mereka
juga mencoba memastikan bahwa penerima hibah dan penyandang dana bekerja berdasarkan
kerangka lima elemen inti dan mempelajari hal yang sama, seperti sesi berbagi dan indikator
lintas lokasi. Lima elemen inti tersebut adalah: (1) komunitas suku mengakui dan memulihkan
tradisi tradisional/sakral tembakau; (2) komunitas suku mengatasi dan mengurangi pemasaran
dan pengaruh industri tembakau; (3) komunitas suku menciptakan perubahan sistem dan
politik bebas rokok formal dan informal; (4) bisnis dan kasino di komunitas suku bebas
rokok; dan (5) Tim TTEP akan memiliki kapasitas staf dan sumber daya untuk upaya
berkelanjutan yang berkelanjutan. Para evaluator mengembangkan model logika
berdasarkan model CDC. Namun, menempatkan lima elemen inti ke dalam
Lampiran A 235
kerangka kerja sirkular terbukti lebih bermanfaat dan dapat dipahami oleh para
pemangku kepentingan.
Kegiatan pengumpulan data dimulai pada tahun 2009 dan selesai pada tahun
2012. Pada awalnya, metode evaluasi inti meliputi: (1) Tribal Tobacco Story (TTS),
sistem pengumpulan/refleksi data bulanan berbasis web yang disusun sebagai
log program untuk mendokumentasikan hal-hal utama tindakan yang diambil
selama sebulan terakhir di bidang komunitas, peningkatan kapasitas staf dan
media; (2) analisis media menggunakan instrumen sembilan belas aitem; (3)
Survei Bantuan & Pelatihan Teknis (TAT) untuk menilai kepuasan terhadap
kegiatan peningkatan kapasitas TTEP; (4) berdialog atau empat sesi interaktif
dengan situs per tahun dengan fokus pada mendengarkan dan belajar; (5)
Inventarisasi Pengalaman Tembakau untuk menilai pengalaman dan keahlian staf
advokasi; (6) Diagram Support Spider yang memberikan representasi visual
dukungan masyarakat dari berbagai sektor; (7) observasi di komunitas TTEP,
termasuk powwow, markas suku, dan pusat layanan masyarakat; dan (8) Kisah
Perubahan Komunitas, yaitu metode penyampaian cerita terstruktur yang berfokus
pada proses perubahan spesifik dari sudut pandang komunitas. Kemudian,
mereka menambahkan Pemetaan Kebijakan, yang mirip dengan Alat Perencanaan
Advokasi dan menggunakan bagian taktik dari alat tersebut, menghilangkan dan
menambahkan beberapa taktik, seperti fokus pada pemulihan penggunaan
tembakau secara tradisional. Para evaluator menggunakan survei Inventarisasi
Pengalaman Tembakau (TEI) selama dua tahun namun membatalkan survei
tersebut setelah mereka mengumpulkan cukup informasi mengenai kapasitas.
Mereka juga menghapuskan diagram Spider Dukungan, yang berguna untuk
mempelajari dukungan sejak dini dan sebaliknya berfokus pada penilaian
dukungan terhadap kebijakan tertentu dalam tujuan rencana kerja penerima hibah.
Diluncurkan pada awal program, tim evaluasi harus mengantisipasi penyempurnaan
lanjutan sepanjang proyek. Karena suku Indian Amerika pernah mengalami
penjajahan yang traumatis dan serangan terus-menerus terhadap integritas
budaya dan politik, evaluasi perlu secara eksplisit meluangkan waktu untuk
mempelajari dan menemukan cara untuk mengakui konteks sejarah ini.
236 Lampiran A
ketentuan. Hal ini termasuk memberikan kesempatan kepada koordinator suku untuk
melakukan pemeriksaan anggota dan meninjau hasil serta memberikan edukasi kepada anggota
penyandang dana dalam konteks proyek, dengan perhatian khusus pada serangan-
serangan yang pernah terjadi sebelumnya terhadap kedaulatan suku dan otonomi budaya,
yang secara langsung berhubungan dengan upaya untuk mengatasi isu-isu kebijakan
dalam konteks negara suku. Tim evaluasi mengembangkan kerangka partisipatif, yang
mencakup pertemuan kelompok penerima hibah dua tahunan atau Sesi Berbagi dan
responsif terhadap isu-isu spesifik suku. Untuk memperkuat validitas, mereka menggunakan
triangulasi dan pengumpulan data longitudinal dari berbagai sumber untuk memastikan
keakuratan temuan dan memeriksa ketidakkonsistenan. Mereka juga menerapkan prinsip
saling melengkapi atau sintesis data dari berbagai sumber untuk mengembangkan
pemahaman yang lebih kuat mengenai aksi masyarakat dan perubahan komunitas.
Penilaian reliabilitas antar penilai dan analisis statistik digunakan untuk memperkuat
temuan dari metode individual.

Temuan evaluasi menunjukkan bahwa Inisiatif TTEP mendukung empat lokasi untuk
mengesahkan kebijakan formal bebas rokok dan semua lokasi untuk memperluas
kebijakan informal bebas rokok. Lokasi TTEP juga meningkatkan kesadaran masyarakat
terhadap perokok pasif. Temuan ini telah disebarluaskan melalui berbagai cara. Para
evaluator mengadakan pertemuan tahunan di setiap lokasi dan menghasilkan laporan TTS
lokasi. Mereka melakukan apa yang disebut “Praktik Target” untuk menggambarkan
kemajuan setiap tujuan. Temuan didiskusikan secara berkelompok untuk mengemukakan
pendapat semua orang. Itu adalah periode refleksi dan perayaan yang dihadiri oleh para
penyandang dana. Selain itu, kelompok TTEP dalam penyandang dana juga memaparkan
temuannya kepada Dewan ClearWay.

Ini hanyalah bagian kecil dari upaya ClearWay, namun komunitas ini mengalami
kesenjangan yang sangat besar. Program ini telah didiskusikan dengan CDC dan mungkin
akan lebih dikenal sekarang karena program ini sudah memasuki lima tahun berjalan.
Evaluator bergerak untuk mendiseminasikan hasil secara lebih agresif, seperti menulis
makalah formal, yang akan dilakukan oleh koordinator TTEP. Hal ini akan disosialisasikan
kepada masyarakat suku sebagai
serta komunitas kesehatan masyarakat pada umumnya. Kemajuan kebijakan suku telah
dilaporkan dalam dua halaman cerita Perubahan Komunitas dan disebarluaskan secara
nasional, termasuk penetapan peraturan bebas rokok yang ditargetkan untuk membantu
Lampiran A 237
fasilitas untuk anak-anak dan orang tua, zona penyangga bebas rokok, dan pembatasan
kasino terhadap karyawan yang merokok.

Penilai: Scott Consulting Partners LLC
PROYEK KESEHATAN COLORADO

Deskripsi Inisiatif
Didanai oleh Colorado Trust, Project Heath Colorado (PHC) berlangsung dari tahun 2011
hingga 2013. Ini adalah kampanye pembangunan kemauan publik yang dirancang untuk
melibatkan individu dan organisasi dalam diskusi di seluruh negara bagian tentang layanan
kesehatan dan bagaimana hal tersebut dapat ditingkatkan. Dengan mengajukan
pertanyaan, mendapatkan jawaban langsung, dan mendorong masyarakat di seluruh
negara bagian untuk menjadi bagian dari solusi, Project Health Colorado berupaya
mengaktifkan masyarakat untuk bersuara dalam pengambilan keputusan terkait sistem layanan kesehatan.
Strategi ini terdiri dari kampanye komunikasi, pengorganisasian di lapangan

dan keterlibatan masyarakat dan kepemimpinan, serta membangun jaringan
organisasi dengan kapasitas dan komitmen untuk membangun kemauan.
Empat belas penerima hibah, sebagian masih baru dalam bidang advokasi dan
sebagian sudah lama melakukan advokasi, menggunakan kerangka pesan
yang sama sambil terlibat dalam beragam aktivitas seperti bercerita,
pengembangan kepemimpinan, mobilisasi lingkungan, proyek pembelajaran
pengabdian, serta forum komunitas dan kongregasi. Penerima hibah mewakili
berbagai sektor, termasuk advokat nirlaba, penyedia layanan nirlaba, sistem
rumah sakit, pemerintah daerah, dan organisasi berbasis agama. Inisiatif ini
memiliki strategi media sosialnya sendiri yang mencakup situs web interaktif
PHC, halaman Facebook, akun Twitter, kampanye media berbayar, dan tim jalanan di festival-f
acara. Lebih dari dua puluh lima ribu orang dihubungi secara langsung oleh
tim jalanan, anggota masyarakat dan staf penerima hibah, dan beberapa di
antaranya berpartisipasi dalam pelatihan sukarelawan, forum komunitas, dan
berbagi cerita. Media sosial penerima hibah dan kampanye komunikasi secara
keseluruhan mencapai ratusan ribu lebih.
238 Lampiran A

Evaluasi ini menerapkan desain multisumber dan metode campuran yang
menggunakan berbagai pendekatan, termasuk pendekatan yang dimaksudkan
untuk memunculkan hasil-hasil yang tidak dapat diprediksi sebelum inisiatif
dilaksanakan. Rancangan ini mengacu pada evaluasi sistem yang kompleks dan
adaptif karena inisiatif ini memiliki banyak bagian yang saling terkait dengan
beragam putaran umpan balik. Selain itu, para evaluator mengintegrasikan
kerangka pembangunan kemauan publik dari Metropolitan Group untuk
mengembangkan rubrik dengan lima tingkat perubahan yang digunakan untuk
menciptakan cerita evaluasi umum di berbagai sumber data dan jenis audiens
yang berbeda. Proses evaluasi dimulai dengan masing-masing penerima hibah
mengembangkan teori perubahan yang selaras dengan lima hasil yang termasuk
dalam keseluruhan teori inisiatif perubahan. Kemudian para evaluator bekerja
dengan masing-masing penerima hibah dan Colorado Trust untuk melakukan
pembelajaran strategis berbasis data secara real-time untuk terus meningkatkan
strategi dan hasil mereka. Hal ini berlangsung selama tiga tahun strategi ini
dijalankan. Selain pembelajaran pada saat itu juga, setiap enam bulan pemberi
dana dan penerima hibah terlibat dalam pembekalan pembelajaran, secara
terpisah dan bersama-sama, untuk mengidentifikasi peluang spesifik untuk
meningkatkan strategi dan inisiatif mereka secara keseluruhan. Tim evaluasi
mengembangkan keseluruhan desain evaluasi sumatifif satu tahun setelah strategi,
sehingga memberikan waktu untuk merancang desain yang kuat dan dapat
merespons perubahan strategi dan lingkungan. Hal ini mencakup: (1) analisis
spasial distribusi pesan berdasarkan laporan penerima hibah dan teknik GIS; (2)
analisis kemampuan pembawa pesan dalam menggunakan pesan, tindakan
mereka, dan jangkauan mereka; (3) analisis jaringan mitra organisasi; (4) kerja
lapangan untuk mengidentifikasi hasil yang muncul; dan (5) studi kasus mendalam
tentang strategi dan hasil-hasilnya. Meskipun strategi evaluasi secara keseluruhan
tidak berubah setelah dirancang, para evaluator merespons lingkungan adaptif dengan mengubah

Instrumen pengumpulan data yang disertakan dalam evaluasi adalah: (1) analisis
laporan pembelajaran penerima hibah; (2) analisis survei silang terhadap umpan
balik penerima hibah; (3) survei organisasi terhadap penerima hibah dan
organisasi mitranya; (4) studi kasus tentang pengembangan messenger, komunitas
Lampiran A 239
forum dan pengumpulan cerita (termasuk wawancara, kelompok fokus, observasi); (5)
survei cerita yang menggunakan kelompok kontrol dan lima kelompok intervensi untuk
menguji dampak cerita; (6) survei terhadap utusan individu; (7) analisis penggunaan pesan
oleh penerima hibah dan audiens mereka dalam materi tertulis, audio dan video; (8)
analisis data pelacakan kampanye komunikasi; (9) Analisis GIS distribusi messenger
dikombinasikan dengan kerja lapangan di wilayah intensitas; (10) analisis tren waktu untuk
melacak hasil jajak pendapat dan pengaruh lingkungan eksternal; dan (11) pemodelan
pilihan (tidak ada dalam rencana evaluasi awal), yaitu teknik riset pemasaran yang berfokus
pada memunculkan kombinasi pesan mana yang akan menjangkau persentase audiens
tertinggi.
Para evaluator mengembangkan desain adaptif yang mengantisipasi perubahan dalam
inisiatif yang terbukti sangat kompleks. Meskipun para evaluator melaporkan keterbatasan
pada sebagian besar metode, mereka mengatasinya dengan menggunakan berbagai alat
untuk memperkuat temuan mereka. Selain itu, beberapa kegiatan pengumpulan data
terbukti sangat ketat secara metodologis. Data kualitatif dari 110 wawancara yang
merupakan bagian dari penelitian lapangan cukup mendalam untuk memunculkan hasil-
hasil yang tidak diharapkan dan muncul, informasi yang tidak dapat diperoleh hanya dari
ukuran sampel yang lebih kecil atau data survei.
Survei bercerita memiliki kelompok kontrol dan temuannya dapat ditindaklanjuti. Mereka
juga mengintegrasikan penilaian pembangunan lapangan ke dalam putaran final survei
jaringan organisasi untuk memenuhi kebutuhan yang muncul dari Colorado Trust.

Analisis yang sedang berlangsung terhadap pesan-pesan penerima hibah dan non-penerima
hibah menghasilkan pergeseran dalam penerapan sumber daya termasuk bagaimana
bantuan teknis untuk komunikasi disampaikan kepada seluruh penerima hibah dan isi serta
format pertemuan penerima hibah (kesempatan untuk melakukan pengembangan
keterampilan dengan jaringan peer-to-peer dan membagikan). Pembelajaran tentang
kampanye komunikasi secara keseluruhan memberikan informasi tentang perubahan dalam
pelatihan, penggunaan pesan, dan penggunaan teknologi oleh tim jalanan. Pergeseran
penerima hibah sebagian besar berasal dari penerapan pembelajaran strategis berbasis data secara real-time
240 Lampiran A
Penerima hibah membangun kapasitas ini sebagai hasil dari pembinaan tim evaluasi
dan memfasilitasi pembekalan dua kali setahun. Mereka juga menerima laporan yang
disesuaikan tentang apa yang telah dipelajari oleh para evaluator, seperti tingkat
komitmen pengirim pesan. Produk evaluasi mencakup presentasi dua kali setahun dan
memfasilitasi dialog dengan penerima hibah dan pemberi dana. Terdapat juga memo
individu untuk penerima hibah dengan temuan terkait dengan pekerjaan spesifik
mereka, dua laporan evaluasi sementara dan satu laporan akhir, laporan akhir versi
publik yang masih dalam proses, sebuah artikel Tinjauan Yayasan, dan empat ringkasan
isu. Ringkasan isu ini menjelaskan berbagai strategi advokasi, termasuk media sosial,
komunikasi mengenai reformasi kesehatan, penyampaian cerita, dan kerja sama
dengan para pemimpin agama. Laporan singkat ini disebarluaskan secara elektronik
kepada para pemangku kepentingan pada tahun 2014.
Evaluator: Spark Policy Institute

LAMPIRAN B
ADVOKASI DAN PERUBAHAN KEBIJAKAN

SUMBER DAYA EVALUASI

KERANGKA EVALUASI
Panduan untuk Mengukur Advokasi dan Perubahan Kebijakan oleh Organizational Research Services untuk
Annie E. Casey Foundation. 2007.
Panduan Pengguna Perencanaan Evaluasi Advokasi oleh Julia Coffman untuk Proyek Penelitian Keluarga
Harvard. 2009.
Kerangka Penilaian Advokasi oleh Redstone Strategy Group. 2013.
Perencana Kemajuan Advokasi oleh Program Perencanaan dan Evaluasi Aspen di Aspen In-
institut.
Pedoman Penilaian Dampak Advokasi disiapkan oleh Megan Lloyd Laney untuk CIMRC. 2003.
Model Komposit Advokasi dan Perubahan Kebijakan oleh Julia Coffman dan perwakilan dari California
Endowment, Atlantic Philanthropies, dan Annie E. Casey Foundation. 2007.
Tautan Kebijakan Mendapatkan Hasil Advokasi Ekuitas (GEAR) .

Kerangka Kerja Hasil Kebijakan dan Advokasi oleh Pusat Evaluasi Inovasi.
Bagan Cerdas untuk Strategi Komunikasi oleh Spitfire Strategies.
Kerangka Strategi Advokasi disiapkan oleh Julia Coffman dan Tanya Beer, Center for
Inovasi Evaluasi. 2015.
Tantangan Menilai Inisiatif Kebijakan dan Advokasi: Strategi untuk Pendekatan Evaluasi Prospektif oleh
Blueprint Research & Design untuk California Endowment. 2005.
Tantangan dalam Menilai Inisiatif Kebijakan dan Advokasi: Bagian II—Beralih dari Teori ke Praktek disiapkan
oleh Kendall Guthrie, Justin Louie, dan Catherine Crystal Foster untuk California Endowment. 2006.
Pemantauan, Evaluasi dan Pembelajaran dalam Advokasi LSM disiapkan oleh Jim Coe dan Juliette Majot untuk
Overseas Development Institute (ODI). 2013.
242 Lampiran B
Pathfinder: Panduan Praktis Evaluasi Advokasi oleh Jaringan Inovasi untuk Filantropi Atlantik. 2009.
Apa yang Membuat Organisasi Advokasi Efektif: Kerangka untuk Menentukan Kapasitas Advokasi oleh TCC
Group untuk California Endowment. 2009.
Apa yang Membuat Koalisi Efektif: Indikator Keberhasilan Berbasis Bukti oleh TCC Group untuk
Dana Abadi California. 2011.
Penilaian Hasil RAPID oleh Overseas Development Institute (ODI). 2013.

ALAT EVALUASI-KIT
Buku Panduan Alat Pengumpulan Data: Pendamping Panduan Mengukur Advokasi dan Kebijakan disiapkan
oleh Jane Resiman, Anne Gienapp, dan Sarah Stachowiak, Layanan Riset Organisasi untuk Annie E. Casey
Foundation. 2007.
Panduan Praktis untuk Mendokumentasikan Pengaruh dan Leverage dalam Membangun Koneksi Komunitas
yang disiapkan oleh Organizational Research Services untuk Annie E. Casey Foundation. 2004.
Perangkat Mini Evaluasi Advokasi: Tip dan Alat untuk Organisasi yang Sibuk oleh LFA Group.
2013.
Kajian dan Evaluasi Perubahan Bidang Advokasi disiapkan oleh Jewyla Lynn. Pusat untuk
Inovasi Evaluasi. 2014.
Menilai Dampak Penelitian terhadap Kebijakan: Tinjauan Literatur untuk Proyek Menjembatani Penelitian
Kebijakan Melalui Evaluasi Hasil yang disiapkan oleh Annette Boaz, Siobhan Fitzpatrick, dan Ben Shaw.
Kings College London dan Institut Studi Kebijakan. 2008.
Suara Konsumen untuk Liputan: Perangkat Evaluasi Advokasi disiapkan oleh Debra Strong, Todd Honeycutt,
dan Judith Wooldridge, Mathematica Policy Research. 2011.
Panduan Evaluasi Advokasi EAA disiapkan oleh Christina Mansfield untuk Konferensi Ekumenis
aliansi vokasi. 2010.
Empat Alat untuk Menilai Kontribusi Penerima Hibah terhadap Upaya Advokasi disiapkan oleh Tanya Beer dan
Julia Coffman dari Pusat Evaluasi Inovasi. 2015.
Pemantauan & Evaluasi Kampanye Advokasi: Tinjauan Literatur disiapkan oleh Christina Mansfield untuk Aliansi
Advokasi Ekumenis. 2010.
Pemantauan dan Evaluasi Pengaruh dan Advokasi Kebijakan yang disiapkan oleh Negara Berkembang Luar Negeri
Institut Manajemen (ODI). 2014.
Pemantauan dan Evaluasi Advokasi: Pendamping Perangkat Advokasi yang disiapkan oleh Julia
Coffman untuk UNICEF. 2010.
Pemantauan dan Evaluasi Advokasi: Studi Penjajakan yang disiapkan oleh Jennifer Chapman dan Amboka
Wameyo untuk ActionAid. 2001.
Menyelamatkan Nyawa Bayi Baru Lahir: Perangkat Juara yang disiapkan oleh Sarah Roma dan Carlisle Levine
untuk Save the Children. 2016
Buku Panduan Advokasi Internasional CARE diterbitkan oleh CARE International. 2014.
Alat untuk Dampak Kebijakan: Buku Panduan untuk Peneliti oleh Daniel Start dan Ingie Hovland for
ODI. 2004.
Lampiran B 243
ADVOKASI DAN PERUBAHAN KEBIJAKAN YANG UNIK

ALAT EVALUASI
Indeks Advokasi oleh USAID.
Alat Kapasitas Advokasi dan Alat Kapasitas Advokasi Internasional oleh Alliance for Justice.
Alat Penilaian Kapasitas Inti Advokasi oleh TCC Group.
Indeks Keselarasan oleh ORS dan Jalur Pendidikan Bill and Melinda Gates Foundation-
tim cara.
Metodologi Bellwether oleh Proyek Penelitian Keluarga Harvard.
Kartu Skor Juara oleh Aspen Institute.
Protokol Debrief Periode Intens oleh Innovation Network.
Skala Pemeringkatan Pembuat Kebijakan oleh The Harvard Family Research Program.
Power Check: Alat Penilaian Kapasitas Pengorganisasian Komunitas oleh Alliance for Justice.
Powercube.net, Sumber Daya Online untuk Memikirkan Tentang Hubungan Kekuasaan.
Dikembangkan oleh tim Partisipasi, Kekuatan dan Perubahan Sosial di Institute of
Development Studies, University of Sussex. http://www.powercube.net.

REPOSITORI ELEKTRONIK EVALUASI
Pusat Evaluasi Inovasi
http://www.evaluationinnovation.org
Pusat Pembelajaran Jaringan Inovasi Point K
http://www.innonet.org

REFERENSI
Alinsky, Saul, D. 1970. Aturan untuk Radikal: Pedoman Praktis untuk Radikal Realistis. Baru
York: Buku Vintage.
Aliansi untuk Keadilan. 2015. Buku Pedoman Advokasi Filantropi: Memanfaatkan Dolar Anda.
Andrews, Kenneth T., dan Bob Edwards. 2004. “Organisasi Advokasi dalam Proses Politik AS.”
Review Tahunan Sosiologi 30: 479–506.
Bamberger, Michael, Jim Rugh, Gereja Mary, dan Benteng Lucia. 2004. “Evaluasi Sedikit Uang:
Merancang Evaluasi Dampak Berdasarkan Batasan Anggaran, Waktu dan Data.”
Jurnal Evaluasi Amerika 25(1): 5–37.
Bamberger, Michael, Jim Rugh, dan Linda Mabry. 2012. Evaluasi Dunia Nyata: Bekerja Berdasarkan
Batasan Anggaran, Waktu, Data, dan Politik. edisi ke-2. Thousand Oaks, CA: SAGE Publications,
Inc.
Bardach, Eugene. 2012. Panduan Praktis Analisis Kebijakan. edisi ke-4. Seribu Oaks, CA:
CQ Press, Cetakan Publikasi SAGE.
Barkhorn, Ivan, Nathen Hunter, dan Jason Blau. 2013. “Menilai Advokasi.” Stanford
Tinjauan Inovasi Ilmu Sosial.
Baron, Michelle E. 2011. “Merancang Evaluasi Internal untuk Organisasi Kecil Dengan Sumber Daya
Terbatas.” Arah Baru untuk Evaluasi 132: 87–100.
Baumgartner, Frank R., Bryan Jones, dan Peter B. Mortenson. 2014. “Keseimbangan Berseling-
Teori rium: Menjelaskan Stabilitas dan Perubahan dalam Pembuatan Kebijakan Publik.” Dalam
Teori Proses Kebijakan. P. Sabatier dan C. Weible, eds. Boulder, CO: Westview Press.
Baumgartner, Frank R., dan Beth L. Leech. 1998. Minat Dasar: Pentingnya Kelompok dalam Politik
dan Ilmu Politik. Princeton, NJ: Pers Universitas Princeton.
Bir, Tanya, Pilar Stella Ingargiola, dan Meghann Flynn Beer. 2012. Advokasi & Publik
Kebijakan Pemberian Hibah: Menyesuaikan Proses dengan Tujuan. Kepercayaan Colorado.
Bickman, Leonard, dan Stephanie M. Reich. 2015. “Uji Coba Terkendali Secara Acak: Standar Emas
atau Berlapis Emas? Dalam Bukti yang Kredibel dan Dapat Ditindaklanjuti: Landasan Evaluasi
yang Ketat dan Berpengaruh. edisi ke-2. S. Donaldson, C. Christie, dan M. Mark, eds. Thousand
Oaks, CA: SAGE Publications, Inc.
Birkland, Thomas A. 2001. Pengantar Proses Kebijakan: Teori, Konsep dan Modifikasi
elemen Kebijakan Publik. Armonk, NY: SAYA Sharpe, Inc.
Boaz, Annette, Siobhan Fitzpatrick, dan Ben Shaw. 2008. Menilai Dampak Penelitian terhadap
Kebijakan: Tinjauan Literatur untuk Proyek Menjembatani Penelitian dan Kebijakan Melalui Evaluasi
Hasil. Pusat Bukti & Kebijakan di King's College London dan Institut Studi Kebijakan.
Boehmeke, Frederick J., Sean Gailmard, dan John W. Patty. 2013. “Bisnis Seperti Biasa:
246 Referensi
Akses dan Representasi Kelompok Kepentingan di Seluruh Tempat Pengambilan Kebijakan.” Jurnal
Kebijakan Publik 33(1): 3–33.
Brindis, Claire D., Sara P. Geierstanger, dan Adrienne Faxio. 2009. “Peran Advokasi dalam Menjamin
Pendidikan Kehidupan Keluarga yang Komprehensif di California.” Pendidikan & Perilaku Kesehatan
36(6):1095–108.
Carden, Fred. 2004. “Permasalahan dalam Menilai Pengaruh Kebijakan Penelitian.” Di UNESCO
2004. Diterbitkan oleh Blackwell Publishing Ltd. Oxford Inggris. 135–51.
Chapman, Jennifer, dan Amboka Wameyo. 2001. Monitoring dan Evaluasi Advokasi: Studi Penjajakan.
Bantuan Aksi.
Charney, Craig. 2009. “Kehendak Politik: Apa Itu? Bagaimana Cara Mengukurnya?”
(Pencarian Ulang Charney). http://www.charneyresearch.com/resources/politik-will-what-
is-it-how-is-it-measured/
Chelimsky, Eleanor. 1995. “Evaluasi Lingkungan Politik dan Artinya
untuk Pengembangan Lapangan.” Latihan Evaluasi 16(3): 215–25.
———. 2001. “Evaluasi Apa yang Dapat Dilakukan untuk Mendukung Yayasan: Sebuah Kerangka
dengan Sembilan Bagian Komponen.” Jurnal Evaluasi Amerika 22(1): 13–28.
———. 2007. “Faktor-Faktor yang Mempengaruhi Pilihan Metode dalam Praktik Evaluasi Federal
kali.” Arah Baru untuk Evaluasi 113: 13–33.
———. 2014. “Nilai-Nilai Kepentingan Masyarakat dan Keberlanjutan Program: Beberapa Implikasinya terhadap
Praktek Evaluasi.” Jurnal Evaluasi Amerika 35(4): 527–42.
Chen, Huey T., Stewart I. Donaldson, dan Melvin M. Mark. 2011. “Kerangka Validitas untuk Evaluasi
Hasil. Direktur Baru untuk Evaluasi 130: 5–16.
Chen, Huey T., dan Nanette C. Turner. 2012. “Teori Formal versus Teori Pemangku Kepentingan:
Wawasan Baru dari Evaluasi Program Pencegahan Tembakau.” Jurnal Evaluasi Amerika 33(3): 395–
413.
Christie, Christina A. dan Dreolin Fleischer. 2015. “Paradigma Inkuiri Sosial sebagai Kerangka
Perdebatan Bukti yang Kredibel.” Dalam Bukti yang Kredibel dan Dapat Ditindaklanjuti: Landasan
Evaluasi yang Ketat dan Berpengaruh. Stewart I. Donaldson, Christina A. Chris-tie, dan Melvin M.
Mark Editor. Thousand Oaks, CA: Publikasi SAGE.
Coe, Jim, dan Juliette Majot. 2013. Monitoring, Evaluasi dan Pembelajaran di LSM Advo-
cacy. London: Institut Pembangunan Luar Negeri.
Coffman, Julia. 2009. Tinjauan Praktik Evaluasi Advokasi Saat Ini. Pusat Evaluasi-
Inovasi asi.
———__. 2008. Panduan Pengguna Perencanaan Advokasi dan Evaluasi. Proyek Penelitian
Keluarga Harvard.
———__. 2014. “Desain Evaluasi untuk Advokasi.” Tidak diterbitkan.
———dan Tanya Bir. 2015. Kerangka Strategi Advokasi. Pusat Evaluasi
Inovasi.
———__dan Ehren Reed. 2009. Metode Unik dalam Evaluasi Advokasi. Inovasi Sebagai-
bergaul.
Sepupu, J. Bradley, Elizabeth Whitmore, dan Lyn Shulha. 2013. “Argumen untuk Serangkaian Prinsip
Umum untuk Inkuiri Kolaboratif dalam Evaluasi.” Jurnal Evaluasi Amerika 34(1): 7–22.
Referensi 247
Coghlan, Anne T., Halie Preskill, dan Tessie Tzavaras Catsambas. 2003. “Sekilas Tentang Penyelidikan
Apresiasi dalam Evaluasi.” Arah Baru untuk Evaluasi 100: 5–22.
Costa, Arthur L., dan Bena Kallick. 1993. “Melalui Lensa Teman yang Kritis.” pendidikan-
Kepemimpinan nasional 51(2): 49–51.
Dahl, Robert A. 1991. Analisis Politik Modern. Edisi ke-5. Tebing Englewood, NJ: Prentice
Aula, Inc.
Dart, Jessica J. 2000. Cerita untuk Perubahan: Pendekatan Sistematis dalam Pemantauan Partisipatif.
Universitas Latrobe.
Devlin-Foltz, David, dan Lisa Molinaro. 2010. Champion dan “Champion-ness”: Mengukur Upaya
Menciptakan Champion untuk Perubahan Kebijakan. Kemajuan Berkelanjutan Pusat Pelayanan
Strategis untuk Inovasi Evaluasi.
Devlin-Foltz, David, Michael E. Fagen, Ehren Reed, Robert Medina, dan Brad L. Nei-ger. 2012. “Evaluasi
Advokasi: Tantangan dan Tren yang Muncul.” Praktek Promosi Kesehatan, 13(5): 581–86.
Dryzek, John S. 1996. “Inklusi Politik dan Dinamika Demokratisasi.” Tinjauan Ilmu Politik Amerika 90(1):
475–87.
Dynaway, Krystal E., Jennifer A. Morrow, dan Bryan E. Porter. 2012. “Pengembangan dan Validasi Skala
Laporan Mandiri Kompetensi Budaya Evaluator Program (CCPE).” Jurnal Evaluasi Amerika 33(4): 496–
514.
Dye, Thomas R. 2002. Pengertian Kebijakan Publik. Sungai Saddle Atas, NJ: Prentice Hall.
Aliansi Advokasi Ekumenis. Panduan Evaluasi dan Pemantauan & Evaluasi Advokasi EAA
uasi Kampanye Advokasi: Tinjauan Pustaka. September 2010.
Mengevaluasi Perubahan Komunitas: Kerangka Kerja bagi Pemberi Hibah. 2014. Pemberi Hibah untuk Ef-
Organisasi yang efektif (GEO)
Ezel, Mark. 2001. Advokasi dalam Pelayanan Kemanusiaan. Belmond, CA: Brooks/Cole, Cengage
Sedang belajar.
Fetterman, David M. 2005. “Jendela Menuju Hati dan Jiwa Evaluasi Pemberdayaan.” Dalam Prinsip
Evaluasi dalam Praktek. D. Fetterman, dan A. Wandersman, eds.
New York: Pers Guilford.
Feinstein, Clare, dan Claire O'Kane. 2005. Alat Laba-laba: Alat Penilaian Diri dan Perencanaan untuk
Inisiatif dan Organisasi yang Dipimpin Anak. Internasional Selamatkan Anak.
Swedia.
Foster, Catherine C., dan Justin Louie. 2010. Aksi dan Pembelajaran Akar Rumput untuk Perubahan Sosial:
Mengevaluasi Pengorganisasian Masyarakat. Pusat Evaluasi Inovasi dan Cetak Biru Penelitian &
Desain, Inc.
Manusia Ikan Asuh, Pennie, G., Brenda Nowell, dan Huilan Yang. 2007. “Mengembalikan Sistem ke dalam
Perubahan Sistem: Kerangka Pemahaman dan Mengubah Sistem Organisasi dan Komunitas.” Jurnal
Psikologi Komunitas Amerika 39: 197–215.
Freeman, Melissa, dan Erika Franca Vasconcelos. 2010. “Teori Sosial Kritis: Jaringan Inti, Masalah
Inheren.” Arah Baru untuk Evaluasi 127: 7–19.
Friere, Paulo. 2000. Pedagogi Kaum Tertindas: Edisi ke-30. New York: Pers Bloomsbury.
248 Referensi
Funnell, Sue C., dan Patricia J. Rogers. 2011. Teori Program Bertujuan: Penggunaan Teori Perubahan
dan Model Logika yang Efektif. San Francisco, CA: John Wiley & Sons, Inc.
Gardner, Annette, Sara Geierstanger, Claire D. Brindis, dan Coline McConnel.
2010. “Kapasitas Advokasi Media Konsorsium Klinik: Bermitra dengan Media dan Meningkatkan
Kesadaran Pembuat Kebijakan.” Jurnal Komunikasi Kesehatan 15: 293–306.
Gardner, Annette, Sara Geierstanger, Lori Nascimento, dan Claire Brindis. 2011. “Meningkatkan
Kapasitas Organisasi: Pembelajaran dari Lapangan.” Tinjauan Dasar 3 (1&2): 23–42.
Gaventa, John. 2006. “Menemukan Ruang untuk Perubahan: Analisis Kekuatan.” Dalam Menjelajahi
Kekuatan untuk Perubahan, Buletin IDS 37(6): 23–33.
Gill, Sam, dan Tom Freedman. 2014. “Mendaki Gunung: Pendekatan Perencanaan dan Evaluasi
Advokasi Kebijakan Publik.” Tinjauan Yayasan 6(3): 48–59.
Granger, Robert C., dan Rebecca Maynard. 2015. “Membuka Potensi Pendekatan 'Apa yang Berhasil'
dalam Pembuatan dan Praktik Kebijakan: Meningkatkan Evaluasi Dampak.”
Jurnal Evaluasi Amerika 36(4): 558–69.
Grob, George F. “Bagaimana Menjadi Advokat yang Efektif Tanpa Menjual Jiwa Anda.”
Jurnal Evaluasi Amerika, online 22 April 2014: 1–7.
Guthrie, Kendall, Justin Louie, Tom David, dan Catherine Crystal Foster. 2005. Tantangan Penilaian
Kegiatan Kebijakan dan Advokasi: Strategi Pendekatan Evaluasi Prospektif. Ditugaskan oleh
California Endowment.
Hargreaves, Margaret B. 2010. Mengevaluasi Perubahan Sistem: Panduan Perencanaan. Penelitian
Kebijakan Mathematica, Inc.
Harner, Michael A., dan Hallie Preskill. 2007. “Deskripsi Evaluator tentang Penggunaan Proses:
Sebuah Studi Eksplorasi.” Arah Baru untuk Evaluasi 116: 27–44.
Heinz, John P., Edward O. Laumann, Robert L. Nelson, dan Robert H. Salisbury. 1993.
Inti Berongga. Cambridge, MA: Pers Universitas Harvard.
Henry, Gary T., Adriaenne A. Smith, David C. Kershaw, dan Rebecca A. Zulli. 2013.
“Evaluasi Formatif: Memperkirakan Hasil Awal dan Menguji Penjelasan Saingan.” Jurnal Evaluasi
Amerika 34(4): 465–85.
Hesse-Biber, Sharlene. 2013. “Berpikir di Luar Kotak Eksperimental Uji Coba Terkontrol Secara Acak:
Strategi untuk Meningkatkan Kredibilitas dan Keadilan Sosial.” Arahan Baru untuk Evaluasi 138: 49–
60.
Gagang, Lisa. 2014. Ya, bisa sesederhana itu! Analisis Value for Money dalam Advokasi dan Kampanye
Kebijakan. Pekan APC TIG Asosiasi Evaluasi Amerika.
Hoeffer, Richard. 2012. Praktek Advokasi untuk Keadilan Sosial. Chicago, IL: Buku Lyceum,
Inc.
Holley, Marc J., Cheri A. Reccia, dan Valarie Bocksette. 2016. “Mengukur Hal yang Penting: Lima
Jebakan Pengukuran Kinerja Hibah dan Cara Menghindarinya.” Tinjauan Inovasi Sosial Stanford.
Diakses online 13 Oktober 2016 di https://ssir.org/articles/
entri/pengukuran_apa_penting.
Honeycutt, Todd C., dan Debra A. Kuat. 2012. “Menggunakan Analisis Jaringan Sosial untuk
Memprediksi Kolaborasi Dini Dalam Koalisi Advokasi Kesehatan.” Jurnal Evaluasi Amerika 33(2) 221–
39.
Referensi 249
Huitema, Dave, Andrew Jordon, Eric Massey, Tim Raynor, Harro van Asselt, Constanze Haug, Roger
Hildingsson, Suvi Monni, dan Johannes Stripple. 2011. “Evaluasi Kebijakan Iklim: Teori dan
Praktek yang Muncul di Eropa.” Ilmu Kebijakan 44: 179–
98.
Jaringan Inovasi. 2008. Berbicara Sendiri: Perspektif Advokat Terhadap Evaluasi.

Washington DC
———. 2012. Status Evaluasi 2012: Evaluasi Praktek dan Kapasitas di Sektor Nirlaba. Washington
DC.
I-TECH. 2008. Evaluasi Cepat. Panduan Implementasi Teknis I-TECH #6. Seattle: Universitas
Washington.
Jenkins-Smith, Hank C., dan Paul A. Sabatier. 1994. “Evaluasi Koalisi Advokasi
Kerangka." Jurnal Kebijakan Publik 14: 175–203.
Jones, Harry. 2011. Panduan Pemantauan dan Evaluasi Pengaruh Kebijakan. Catatan Latar
Belakang. Institut Pembangunan Luar Negeri.
Kelly, Linda. 2002. “Advokasi Internasional: Mengukur Kinerja dan Efektivitas.”
Makalah dipresentasikan pada Konferensi Internasional Masyarakat Evaluasi Australasia tahun
2002. Wollongong, Australia.
Kimberlin, Sara E. 2010. “Advokasi oleh Organisasi Nirlaba: Peran dan Praktik Organisasi Advokasi
Inti dan Badan Layanan Langsung.” Jurnal Praktik Kebijakan (9)3–4:164–82.
Kingdon, John W. 1995. Agenda, Alternatif, dan Kebijakan Publik. edisi ke-2. New York: Harpa-
Penerbit Perguruan Tinggi erCollins.
Klugman, Barbara. 2010. Mengevaluasi Advokasi Keadilan Sosial: Pendekatan Berbasis Nilai. Cen-
ter untuk Evaluasi Inovasi.
Kosheleva, Natalia, dan Marco Segone. 2013. “EvalPartners: Memfasilitasi Pengembangan Model
Baru Organisasi Sukarela untuk Evaluasi Profesional guna Mendukung Pengembangan Kapasitas
Evaluasi Nasional.” Jurnal Evaluasi Amerika
34(4): 568–72.
Kraft, Michael E., dan Scott R. Furlong. 2010. Kebijakan Publik: Politik, Analisis, dan Alternatif
tif. Washington, DC: Pers CQ.
Kushner, Saville, dan Emma Rotondo. 2012. “Catatan Editor.” Arah Baru untuk Evaluasi-
asi 134: 1–4.
Laney, Megan Lloyd. 2003. Pedoman Penilaian Dampak Advokasi. Pusat Sumber Daya Manajemen
Komunikasi dan Informasi (CIMRC). Walingford, Inggris.
Latham, Nancy. 2014. Panduan Praktis untuk Mengevaluasi Perubahan Sistem dalam Konteks
Sistem Pelayanan Kemanusiaan. Pusat Evaluasi Inovasi dan Pembelajaran Aksi.
Lave, Jean, dan Etienne Wegner. 1991. Pembelajaran Terletak: Partisipasi Periferal yang Sah
tion. New York: Pers Universitas Cambridge.
Lindblom, Charles E. 1979. “Masih Kekacauan, Belum Selesai.” Tinjauan Administrasi Publik 39(6):
517–26.
Lipsky, Michael. 2011. Demokrasi Tingkat Jalanan: Dilema Individu dalam Pelayanan Publik.
New York: Yayasan Russell Sage.
Loomis, Burdette A., dan Allan J. Cigler. 2007. “Pendahuluan: Sifat yang Berubah
250 Referensi
Politik Kelompok Kepentingan.” Dalam Politik Kelompok Kepentingan. B. Loomis dan A. Cigler, penyunting.
Washington, DC: CQ Press.
Lowe, Theodore J. 1964. “Bisnis Amerika, Studi Kasus Kebijakan Publik dan Teori Politik.” Politik
Dunia 16: 677–715.
Lowery, David, dan Holly Brasher. 2004. Kepentingan Terorganisir dan Pemerintah Amerika.
New York: McGraw-Hill.
Lynn, Jewlya. 2014. Mengkaji dan Mengevaluasi Perubahan di Bidang Advokasi. Pusat Evaluasi-
Inovasi asi.
Mahoney, Christine, dan Frank R. Baumgartner. 2015. “Mitra dalam Advokasi: Pelobi dan Pejabat
Pemerintah di Washington.” Jurnal Politik 77(1): 202–15.
Mansfield, Cristina. 2010. Panduan Evaluasi Advokasi EAA. Aliansi Advokasi Ekumenis
ance, Jenewa.
———. 2010. Monitoring & Evaluasi Kajian Literatur Kampanye Advokasi. Aliansi Advokasi
Ekumenis, Jenewa.
Master, Barbara, Gigi Barsoum, dan Amanda Rounsaville. Bekerja sama dengan Fenton
Communications dan Pusat Kolaborasi Evaluasi. 2014. Perubahan Kebijakan Sepuluh Tahun
dalam Pembuatan: Evaluasi Dekade Pemberian Hibah Kebijakan Publik The California Wellness
Foundation.
Master, Barbara, dan Torie Osborn. 2010. “Gerakan Sosial dan Filantropi: Bagaimana Yayasan
Dapat Mendukung Pembangunan Gerakan.” Tinjauan Dasar 2(2): 12–27.
Mayne, John. 2012. “Analisis Kontribusi: Kedewasaan?” Evaluasi 18: 270–80.
McClure, Mary, William Renderos, bersama Sue Hoechstetter dan Abby Levine. 2015. Data dan
Analisis ACT: 280 Pengguna Alat Kapasitas Advokasi Pertama. Aliansi untuk Keadilan.
Mertens, Donna M., dan Sharlene Hesse-Biber. 2013. “Metode Campuran dan Kredibilitas
Bukti dalam Evaluasi.” Arah Baru untuk Evaluasi 138: 5–13.
Mintron, Michael, dan Sandra Vergari. 1998. “Jaringan Kebijakan dan Difusi Inovasi: Kasus
Reformasi Pendidikan Negara.” Jurnal Politik 60(1): 126–48.
Mohan, Rakesh. 2014. “Advokasi Evaluator: Semuanya Hanya dalam Satu Pekerjaan Sehari.”
Jurnal Evaluasi Amerika, online 22 April 2014: 1–7.
Mohan, Rakesh, dan Kathleen Sullivan. 2006. “Mengelola Politik Evaluasi untuk
Mencapai Dampak.” Arah Baru untuk Evaluasi 112: 7–23.
Morariu, Johanna, dan Kathleen Brennan. 2009. “Evaluasi Advokasi yang Efektif: Peran Penyandang
Dana.' Tinjauan Yayasan, 1(3): 100–108.
Morariu, Johanna, Katherine Athanasiades, dan Veena Pankai. 2015. Advokasi, Politik dan Filantropi:
Refleksi Satu Dekade Laporan dan Advokasi Imigrasi 2004—2014.
Jaringan Inovasi.
Nowlin, Mathew, C. 2011. “Teori dalam Proses Kebijakan: Keadaan Penelitian dan Tren yang
Muncul.” Jurnal Kajian Kebijakan 39(S1): 41–60.
Mossberter, Karen, dan Harold Wolman. 2003. “Transfer Kebijakan Sebagai Bentuk Evaluasi
Kebijakan Prospektif: Tantangan dan Rekomendasi.” Tinjauan Administrasi Publik
63(4): 428–40.
Dampak Jaringan dan Pusat Evaluasi Inovasi. 2014. Makalah Pembingkaian: Keadaan
Evaluasi Jaringan.
Referensi 251
O'Flynn, Maureen. 2009. Melacak Kemajuan dalam Advokasi: Mengapa dan Bagaimana Memantau
dan Mengevaluasi Proyek dan Program Advokasi. Pusat Pelatihan dan Penelitian LSM Internasional
(INTRAC).
Obar, Jonathan A., Paul Zube, dan Clifford Lampe. 2012. “Advokasi 2.0: Analisis tentang Bagaimana
Kelompok Advokasi di Amerika Serikat Memandang dan Menggunakan Media Sosial sebagai Alat
untuk Memfasilitasi Keterlibatan Masyarakat dan Aksi Kolektif.” Jurnal Kebijakan Informasi
2: 1–25.
Dampak ORS. 2010. Evaluasi Jaringan. Seattle, WA.

Parrish, Simone. 2008. Mengukur Pengaruh: Tantangan dan Keberhasilan Evaluasi Advokasi.
Jaringan Inovasi, Inc.
Pasanen, Tina, dan Louise Shaxson. 2016. Bagaimana Merancang Kerangka Monitoring dan Evaluasi
Proyek Penelitian Kebijakan. Publikasi Lab Metode. ODI, London, Inggris.
Patton, Michael Q. 2008. “Evaluasi Dampak Advokasi.” Jurnal MultiDisiplin

Evaluasi 5(9): 1–9.
———. 2011. Evaluasi Perkembangan: Penerapan Konsep Kompleksitas untuk Meningkatkan
Inovasi dan Penggunaan. New York: Guilford Pers.
———. 2012. Esensi Evaluasi Berfokus pada Pemanfaatan. Thousand Oaks, CA: SAGE
Publikasi.
Posting, Lori Ann, Amber NW Raile, dan Eric D. Raile. 2010. “Mendefinisikan Kemauan Politik.”
Politik & Kebijakan 38 (4): 653–76.
Preskill, Haillie, dan Srik Gopal. 2014. Mengevaluasi Kompleksitas: Proposisi untuk Peningkatan
Kemajuan. New York: Farrar Straus & Giroux.
Putnam, Robert. 1996. “Hilangnya Civic America yang Aneh.” Pro Amerika
ayat 24: 34–48.
Ranghelli, Lisa. 2008. Memperkuat Demokrasi, Meningkatkan Peluang: Dampak Advokasi,
Pengorganisasian, dan Keterlibatan Masyarakat di New Mexico. Komite Nasional Filantropi
Responsif.
Raynor, Jared, Locke, Nadia Gomes, dan Chen, PeiYao. 2013. Studi untuk Mendukung Evaluasi
Inisiatif Mempromosikan Transportasi yang Adil dan Berkelanjutan dari Rockefeller Foundation.
Grup TCC.
Reisman, Jane, Kasey Langley, Sarah Stachowiak, dan Anne Gienapp. 2007. Panduan Mengukur
Advokasi dan Kebijakan. Layanan Penelitian Organisasi.
———. 2007. Buku Pegangan Alat Pengumpulan Data: Pendamping “Panduan untuk Mengukur
Advokasi dan Kebijakan.” Layanan Penelitian Organisasi.
Reisman, Jane, Anne Gienapp, dan Sarah Stachowiak. 2004. Panduan Praktis untuk
Mendokumentasikan Pengaruh dan Pengaruh dalam Membangun Koneksi Komunitas. Layanan
Penelitian Organisasi.
Reisman, Jane, Anne Gienapp, dan Tom Kelly. 2015. I2L2: Dampak = Pengaruh+
Leverage+Pembelajaran. Dampak ORS dan Yayasan Komunitas Hawaii.
Rog, Debra J. 2012. “Ketika Latar Belakang Menjadi Latar Depan: Menuju Praktik Evaluasi Peka
Konteks.” Arah Baru untuk Evaluasi 135: 25–40.
Rogers, Everett M. 1995. Difusi Inovasi. Edisi ke-4. New York: Pers Bebas.
252 Referensi
Roma, Sarah, dan Carlisle Levine. 2016. Menyelamatkan Nyawa Bayi Baru Lahir: Perangkat Champion. Menyimpan
anak-anak.
Rossi, Peter H., Mark W. Lipsey, dan Howard E. Freeman. 2004. Evaluasi: Pendekatan Sistematis Edisi 7.
Thousand Oaks, CA: Publikasi SAGE.
Schlager, Edella, dan William Blomquist. 1996. “Perbandingan Tiga Teori yang Muncul dalam Proses Kebijakan.”
Penelitian Politik Triwulanan 49 (3): 651–72.
Schlangen, Rhonda. 2014. Monitoring dan Evaluasi Organisasi Hak Asasi Manusia:
Tiga Studi Kasus. Pusat Evaluasi Inovasi.
Schlozman, Kay L., dan John T. Tierney. 1986. Kepentingan Terorganisir dan Demokrasi Amerika
bersemangat. New York: Penerbit Harper & Row.
Schlozman, Kay L., Sidney Verba, dan Henry E. Brady. 2012. The Unheavenly Chorus: Suara Politik yang Tidak
Setara dan Janji Demokrasi Amerika yang Diingkari. Princeton, NJ: Pers Universitas Princeton.
Sherman, John, dan Gayle Peterson. 2009. “Menemukan Kemenangan dalam Permasalahan Jahat: Pelajaran
dari Evaluasi Advokasi Kebijakan Publik.” Tinjauan Yayasan 1(3): 87–99.
Smith, Kevin B., dan Christopher W. Larimer. 2013. Pedoman Dasar Teori Kebijakan Publik. edisi ke-2.
Boulder, CO: Westview Press.
Smith, Stephen R. 2010. “Organisasi Nirlaba dan Pemerintah: Implikasinya terhadap Kebijakan dan Praktik.”
Jurnal Analisis dan Manajemen Kebijakan 29(3): 621–44.
Institut Kebijakan Spark. 2011. Alat Pelacakan Daerah Pemilihan. Denver, CO.
Stachowiak, Sarah. 2013. Jalur Perubahan: 10 Teori untuk Menginformasikan Upaya Advokasi dan Perubahan
Kebijakan. Dampak ORS dan Pusat Evaluasi Inovasi.
Stachowiak, Sarah, Sara Afflerback, dan Melissa Howlett. 2016. Mengukur Kemauan Politik:
Pelajaran dari Memodifikasi Metode Pemeringkatan Pembuat Kebijakan. Dampak ORS.
Stachowiak, Sarah, Jane Reisman, dan Emily Boardman. 2013. Mendapatkan Lebih Banyak Dari Pengukuran.
Dampak ORS.
Stachowiak, Sarah, Leonor Robles, Eritrea Habtermariam, dan Melanie Malty. 2016. Melampaui Kemenangan:
Jalur Implementasi Kebijakan. Dampak ORS.
Stewart, Joseph, Jr., David M. Hedge, dan James P. Lester. 2008. Kebijakan Publik: Sebuah Evolusi
Pendekatan rasional. Boston, MA: Pendidikan Tinggi Thomson.
Stroh, David P. 2009. “Memanfaatkan Pemberian Hibah: Memahami Dinamika Sistem Sosial yang Kompleks.”
Tinjauan Landasan 1(3): 109–22.
Kuat, Debra, Todd Honeycutt, dan Judith Woolridge. 2011. Suara Konsumen untuk Cakupan: Perangkat Evaluasi
Advokasi. Penelitian Kebijakan Mathematica.
Teles, Steven, dan Mark Schmitt. 2011. “Keahlian yang Sulit Dicapai dalam Mengevaluasi Advokasi.” Tinjauan
Inovasi Sosial Stanford 39–43.
Theodoulu, Stella Z., dan Mathew A. Cahn. 1995. Kebijakan Publik: Bacaan Penting.
Englewood Cliffs, NJ: Prentice-Hall.
Theodoulu, Stella Z., dan Chris Kofinis. 2004. The Art of the Game: Memahami Pembuatan Kebijakan Publik
Amerika. Belmont, CA: Thomson/Wadsworth.
Tsui, Josephine. 2013. Efektivitas Mengukur Pengaruh. Pengetahuan Terapan GSDRC-
Layanan tepi.
Referensi 253
———, Simon Hearn, dan John Young. 2014. Pemantauan dan Evaluasi Pengaruh Kebijakan
dan Advokasi. Kertas Kerja. London: Institut Pembangunan Luar Negeri.
Verba, Sidney, Kay Lehman Schlozman, dan Henry Brady. 1995. Suara dan Kesetaraan:
Kesukarelaan Sipil dalam Politik Amerika. Cambridge, MA: Pers Universitas Harvard.
Volkov, Boris B. 2011. “Lebih dari Menjadi Evaluator: Multiplisitas Peran Inter-
Evaluator akhir.” Arah Baru untuk Evaluasi 132: 25–42.
Walker, Jack L. 1983. “Asal Usul dan Pemeliharaan Kelompok Kepentingan di Amerika.” Itu
Tinjauan Ilmu Politik Amerika 77(2): 390–406.
Wedel, Janine R. 2009. Shadow Elite: Bagaimana Pialang Kekuasaan Baru di Dunia Merongrong
Demokrasi, Pemerintahan, dan Pasar Bebas. Philadelphia, PA: Buku Dasar.
Weiss, Carol H. 1999. “Antarmuka Antara Evaluasi dan Kebijakan Publik.” Evaluasi
5(4): 468–86.
———, Erin Murphy-Graham, Anthony Petrosino, dan Allison G. Gandhi. 2008. “Ibu Peri—dan
Kekesalannya: Mewujudkan Impian Kebijakan Berbasis Bukti.” Jurnal Evaluasi Amerika
29(1): 29–47.
Weissert, Carol S., dan William G. Weissert. 1996. Tata Kelola Kesehatan. Baltimore, MD:
Pers Universitas Johns Hopkins.
Putih, Howard. 2013. “Penggunaan Metode Campuran dalam Uji Coba Kontrol Acak.” Arah Baru
untuk Evaluasi 138: 61–73.
Whitehurst, Grover J., dan David Stuit. 2014. Survei dengan Placebo: Metode Evaluasi
Pengaruh Advokasi. Presentasi ke Institut Aspen.
Wilson-Grau, Ricardo, dan Heather Britt. 2013. Pemanenan Hasil. Yayasan Ford.
Wolfson, Sara, dan Cameron Lefevre. 2012. Studi Tolok Ukur eNonprofit 2012. TN
Layanan Strategis dan Jaringan Teknologi Nirlaba (N TEN).
Yin, Robert K. 2014. Penelitian Studi Kasus; Desain dan Metode. edisi ke-5. Thousand Oaks,
CA: Publikasi SAGE.

INDEKS
advokasi, 27–60; administratif, 52, Kelompok Minat Topikal (TIG), AEA, viiin1,
179–80; aliansi, 48–49, 50, 59, 130; konteks, 164, 209
32, 33, 37, 112, 125, 129–30, 156–57; Komposit Advokasi dan Perubahan Kebijakan
ditentukan, 28–32; pendidikan, 105–6, 111, Model Logika, Penelitian Keluarga Harvard
155, 208; efektivitas, 215–16; kelompok, Proyek, 64, 101, 164
29–30, 33–34, 39–44, 47; pengaruh, 27–60, Kerangka Penilaian Advokasi, Barat
51tabel, 108, 223; hukum/litigasi, 52, 78, 180, Proyek Energi (WEP), 163–64
207–8; legislatif, 52, 179–80; organisasi, kapasitas advokasi, 8, 196–97; penilaian, 67–68,
30–31, 34, 37–39, 77, 153–54, 176–81, 186, 105–10, 121, 135, 153, 154, 163–65, 184;
217; advokasi kebijakan, 52; perspektif ilmu organisasi, 30–31, 38, 77, 153–54, 176–81, 186,
politik, 28–30; kebijakan penelitian dan 217
pemantauan, 49–50, 59; pembatasan Baseline Kapasitas Koalisi Advokasi
bentuk, 77–78; keadilan sosial, 134, 219; Penilaian, Kebijakan Mathematica
strategi, xi-xii, 11, 16, 24, 27–60, 74–89, 99, Institut, 154–55
130, 157–62, 193–97; transparansi, 76– Kerangka Koalisi Advokasi (ACF), 13, 42–43
77; hulu dan hilir, 43, 53, 207. Lihat juga
advokasi dan perubahan kebijakan (APC); Alat Penilaian Kapasitas Inti Advokasi,
kapasitas advokasi; pendukung; taktik Grup TCC, 154
Indeks Advokasi, USAID, 153–54
pendekatan ceruk advokasi, 182
Perencana Kemajuan Advokasi, Aspen Institute, 67–
advokasi dan perubahan kebijakan (APC), vii; 68, 101, 164
masa depan, xiii–xiv, 196–219; sukses, 175. pendukung, 32–33; aktivis, 104; milik Advokat
Lihat juga advokasi; konteks; perubahan Perangkat Evaluasi, 164; warga negara, 34, 48–
kebijakan; praktik; teori 49, 59, 162; konteks, 33; evaluator, 15, 20–21,
Advokasi dan Perubahan Kebijakan (APC) 31–32, 53–54, 58–60, 70–101,
256 Indeks
178–81, 190–95; individu, 34–37, 58–59, Survei Evaluasi APC UCSF (2014)
127, 198–205; kebutuhan informasi, 75,
195; pembelajaran yang dilanjutkan oleh Survei Evaluasi APC Aspen/UCSF (2014), viii–
evaluator, 203–5; penelitian oleh, 105–6; peran, xiii, 4–5, 14–15, 53–59, 97, 151, 176, 192;
27–46, 50, 71, 88, 118, 130, 190– tentang strategi desain, viii, xii, 64, 80, 81,
95, 215, 231–32 86, 89–96; fokus evaluator, xiii, 15, 20–21,
Undang-Undang Perawatan Terjangkau (Obamacare), 9, 22tabel,
10, 16, 24, 25 53, 55–57meja, 91–92meja, 197–219; tentang
tahap penetapan agenda, 7–9, 13, 52, 115 metode, viii, 98–99, 135–49, 145–46tabel,
Indeks Keselarasan, 155 164–66, 166tabel
Alinsky, Saul, 43 Filantropi Atlantik, 36, 184–85

Aliansi untuk Keadilan, 30–31, 38, 77, 179– Proyek Pembelajaran Atlas, 184
80; Alat Penilaian Kapasitas Advokasi, Australia, konservasi hutan, ix, 25, 54–
67–68, 153, 154; Inisiatif Advokasi yang 58, 144–49, 230–33
Lebih Berani, 210; Alat Kapasitas Advokasi

Internasional, 153; Berinvestasi dalam Perubahan: tindakan pemungutan suara, 31, 38, 50, 180
Panduan Penyandang Dana untuk Mendukung Advokasi,Bamberger, Michael, 80, 82, 85–86
185–86; Buku Pedoman Advokasi Wawancara Dasar dan Tindak Lanjut
Filantropi: Memanfaatkan Dana Anda, 185– dengan Pembuat Kebijakan,
86; Powercheck: Alat Penilaian Kapasitas Mathematica Policy Institute, 161
Pengorganisasian Masyarakat, 156–57, 163; Bir, Tanya, 131, 133, 184

12 Tip untuk Lembaga Nonprofit Melakukan Metodologi Bellwether, Proyek Penelitian Keluarga
Evaluasi Sendiri, 178 Harvard, 124, 160
aliansi, advokasi, 48–49, 50, 59, 130 pemimpin, 37, 217
Asosiasi Evaluasi Amerika (AEA), viii, 209; Advokasi pembandingan, 87, 103, 143–44
dan Perubahan Kebijakan (APC) Topical Interest Perbedaan p besar, p kecil, 22–23
Group (TIG), viiin1, 164, 209; diskusi online Birkland, Thomas, 5
aea365, 164, 210; Pertemuan Tahunan, Solusi BLE, LLC, 223
164, 210, 211; Prinsip Panduan untuk Bocksette, Valarie, 102
Evaluator, 72, 73, 88, 190 Inisiatif Advokasi yang Lebih Berani, Alliance for
Justice, 210
Jurnal Evaluasi Amerika, 211 Kerangka Konservasi Boreal, 231

Inventarisasi Faktor Kolaborasi Amherst Wilder, anggaran: proses pemerintahan, 16–17;
115 pemantauan, 53
APC. Lihat advokasi dan perubahan kebijakan birokrasi: pemerintah, 19. Lihat juga
(APC) pejabat publik
pertanyaan apresiatif, 89, 94, 225
Institut Aspen, 36, 47; Pembelaan Yayasan Kesehatan California, 185
Perencana Kemajuan, 67–68, 101, 164; Konsep validitas Campbellian, 81

Kartu Skor Juara, 118, 161–62; seri sarapan Kanada, konservasi hutan, ix, 25, 54–58, 144–49,
evaluasi, 210; Terus? Panduan Mingguan 230–33
Anda untuk Dampak Advokasi, 164, 210. Lihat kanker, pengendalian kanker yang komprehensif
juga Aspen/ (CCC), 189

Indeks 257
PEDULI AS, 162 aksi kolektif, xi, 48–49, 115, 132, 201,
studi kasus, ix–x, 221–40; dibangun menjadi sebuah 208
evaluasi, 131–32; praktik evaluasi, 23–25, 54– kebaikan kolektif, 16

59, 90–96, 144–50, 193–94 Colorado Trust, ix–x, 168, 182, 237, 238;
diagram lingkaran sebab akibat, 100, 133. Lihat juga Project Health Colorado (2011–2013), ix–x, 23–
perubahan sistem 26, 58–59, 152, 166–70, 182, 186, 194, 202,
Pusat Evaluasi Inovasi, 164, 184, 210, 212 237–40
kampanye komunikasi, 47, 120, 160, 169, 237,

Pusat Pengendalian Penyakit dan 239; pesan, 122, 169, 217, 237–40
Pencegahan (CDC), 189, 234–35, 236
juara, kebijakan, 36–37; Juara aksi komunitas, 42–44, 162–63, 236;

Kerangka dan Alat Pemetaan, 162; pengorganisasian masyarakat, 42–44, 46, 48,
Kartu Skor Juara, 118, 161–62; 53, 120, 130, 156–57, 162–63
Perangkat Champion, 118, 162; Juara Kisah Perubahan Komunitas, 169, 235,
Lembar Pelacakan, 162; budidaya, 114, 236
118, 161–62; tingkat kejuaraan, komunitas praktik, xiii, 197, 205, 219
151, 161–62; Juara Pembuat Kebijakan konservasi, tanah, ix, 25, 147; 50/50
Pelacakan, 162 konsep, 25; hutan dan hutan belantara, ix,

perubahan: bertujuan (empat jenis), 48; sistem- 25, 54–58, 98, 144–49, 230–33. Melihat
item, viii, ix, 27, 67, 132–33, 166, 168, 188, juga Konservasi Tanah Internasional
201, 207, 216, 234. Lihat juga perubahan Program (1999–sekarang)

kebijakan; teori perubahan program nilai-nilai konservatif, 17
Charney, Craig, 119 Sistem Pelacakan Konstituen, 116

Chelimsky, Eleanor, 63, 68, 186 konstruktivisme, 81
Chen, Kwik, 100 Suara Konsumen untuk Inisiatif Cakupan,

Pemodelan Pilihan, 169, 170, 239 155
warga negara, advokat, 34, 48–52, 59, 162 analisis isi, 103–4, 165; media, 110, 115, 121,
keterlibatan sipil, 34–35, 134–35, 201, 126, 160
216 konteks, xii, 23, 93, 147, 150, 192; advokasi, 32,
ClearWay Minnesota, ix, 168, 233–37 33, 37, 112, 125, 129–30, 156–57; studi
kebijakan perubahan iklim, 10, 20–21 kasus, 223, 232, 236; analisis kontekstual,
Alat Penilaian Koalisi, Inovasi 6, 15, 23, 73, 79, 215; desain, xii, 8, 85;
Jaringan, 154 evaluasi, 34–35, 40, 46, 81–82, 99, 107,
koalisi, 42–43, 53, 79; advokasi, 13, 42–43, 150, 167–70; kendala evaluator, 151–
129, 154–55; hasil, 114, 115–17
52, 170, 205; masukan, 105–9, 156–57;

Coe, Jim, 65, 112 instrumen, 151–52, 170–71; perubahan
Coffman, Julia, 72, 99, 114, 131, 133, 184 kebijakan, 124, 151, 164, 196–97, 199, 205,
kolaborasi, 115–17, 182 213, 215–16; pembuatan kebijakan, 5, 6, 11–
Kolaborasi/Koalisi/Jaringan/ 12, 15, 23; politik, 30, 33, 70–71, 88, 100, 124,
Survei Penilaian Kemitraan, 115– 129, 156–57, 190, 199; hubungan
16 kekuasaan, 73, 156–57; taktik, 46, 47, 104, 215–
Kolaborasi yang Penting, 182 16; AS, xiv
258 Indeks
analisis kontribusi, 79, 89, 96, 113, 130– tinjauan dokumen, 94, 123, 131, 135–43,
33; studi kasus, 94, 147, 148, 223, 224, 229, 147, 148, 150, 163
232; dan lobi, 183; milik Mayne, 130–31, 184; Pewarna, Thomas, 5
hasil, 162; data sekunder, 85

pendidikan: advokasi pendidikan, 105–6,
korporatisme, 12–13 111, 155, 208; peran evaluator, xiii, 177;
pengadilan, 20; Keputusan Mahkamah Agung, 16, pembuat kebijakan, 53, 189–92
76, 126 Konsultasi Edward W.Wilson, 233
kredibilitas, 79–86, 111, 190, 206–7 komunikasi yang efektif, 74–75
teman kritis, xiv, 72–73, 188, 230 kegiatan pemilu, 180
evaluasi berbasis pemberdayaan, 74, 89, 191,

Penasihat Pembangunan Global Dalberg, 234
158 keterlibatan: sipil, 34–35, 134–35, 201, 216;
pengumpulan data, 109, 111–12, 120, tingkat komunitas, 162–63; media, 114, 121–22;
136–43meja, 151; Survei Evaluasi APC Aspen/ pembangunan kemauan publik dan, ix, 23, 26,
UCSF (2014), viii; garis dasar, 84–85, 169–70; 58, 83, 114, 119–20, 237
studi kasus, 169, 223, 226–29, 232, 235, 238– Inisiatif EvalPartners, 211–12
39; data yang diperoleh, 179; Data Sistem Evaluasi Peningkatan Kapasitas (ECB), 176,
Informasi Geografis (GIS), 85, 132, 147, 148, 177
169, 232, 238, 239; dampak, 163; titik waktu, 95, evaluator: memajukan praktik, 198–
148–49, 158, 202, 226–27; politik, 201–2; data 219; pendukung, 15, 20–21, 31–32, 53–
sekunder, 85, 226 54, 58–60, 70–101, 178–81, 190–
95; Fokus Survei Evaluasi APC Aspen/

desentralisasi, 13, 18, 20 UCSF, xiii, 15, 20–21, 22tabel,
pengambilan keputusan, 14, 15–16, 18, 27–60, 53, 55–57meja, 91–92meja, 197–219;
189–92. Lihat juga pembuat kebijakan komunitas praktik, 197, 205; pendekatan
demokrasi, 18, 27, 33, 134–35, 210; desain, 89–96; keanekaragaman, 205–
Model Demokrasi Deliberatif, 13–14 6; pembangunan lapangan, 205–12; Prinsip
desain, 63–96, 144–49, 172, 202; studi kasus, Panduan untuk Evaluator, 72, 73, 88, 190;
64, 89–96, 222–23, 225, 228, 231, 234, 238; pengetahuan, 198–200; metode dan hasil,
tantangan, 76–89; konteks, xii, 8, 85; 97–150; Pendukung Pembelajaran
eksperimental, 80, 83, 120, 171; standar Organisasi, 178; peran, x, xiii, 71–74, 88,
emas, 80, 86, 171; memanjang, 83–84, 200– 100–101, 104, 107, 175–96; tipikal, 198;
201; metode, 97–150; non-eksperimental, instrumen unik, 151–72. Lihat juga kapal
80, 83, 86, 96; eksperimen semu, 81, 86, 96, kemitraan
120, 171; dan kebutuhan pemangku
kepentingan, 187, 195; strategi (Aspen/UCSF Institut Evaluator, 212
APC
Survei Evaluasi), viii, xii, 64, 80, 81, 86, 89–96 federalisme, 18
Transportasi Permukaan Federal

evaluasi perkembangan, 89, 234 RUU Otorisasi Ulang (2009), ix, 24, 25, 90–96,
model difusi inovasi, 23 182, 225
kebijakan distributif, 16 umpan balik: formulir, 143; umpan informasi-

Indeks 259
putaran belakang, 74–75, 176; peraturan, 50, Gienapp, Annie, 119

53 kebijakan ramah perempuan, ix, 24–25, 221.
Fetterman, David, 74 Lihat juga program Let Girls Lead
pembangunan lapangan, 72, 186, 197, 205–12, 239 (2009–sekarang)
bingkai lapangan, 117, 186 Global Utara, 210
keuangan: analisis, 69, 127–29, 143; keluaran/ Dunia Selatan, 209–10
dampak kebijakan, 16–17, 69, 123, 126; standar emas, desain evaluasi, 80, 86,
Pengembalian Investasi (ROI), 127–28, 180. 171
Lihat juga pemberi dana; Bank Dunia Gopal, Srik, 133

kelompok fokus, 135, 163 pemerintah, 16–20, 24, 46; menganjurkan
Yayasan Ford, 182 hubungan dengan, 12–13, 37–38, 52–
konservasi hutan dan hutan belantara, ix, 25, 53; agensi, 16–17, 19, 37–38; lembaga
98, 144–49, 230–33 formal pemerintah, 44; pemerintahan, 19;
lembaga formal pemerintah, 44 kelompok dan, 29–30, 40; subpemerintah
Alat Keterlibatan Yayasan, 185 kebijakan, 20, 42, 44. Lihat
Tinjauan Yayasan, 210–11 juga pengadilan; badan legislatif; politik;
yayasan, ix, 53, 182–86; Hewlett, 133, 158; lobi, 53, pejabat publik
77–78, 183; swasta, 53n1, 183, 185–86; Kinerja dan Hasil Pemerintah
publik, 53n1, 183, 185; Robert Wood Johnson, UU (1993), 191

79; Rockefeller, ix, 182, 224, 225; Perserikatan Granger, Robert, 192
Bangsa-Bangsa (UNF), ix, 94, 221, 222. Lihat Pemberi Hibah untuk Organisasi yang Efektif
(GEO), 132–33
juga Colorado Trust; pemberi dana; pemberian hibah, 181–87
Perwalian Amal Pew memberikan jebakan pengukuran kinerja,
pemberi dana, viii, 14–15, 53, 151, 207, 219; 102
ClearWay Minnesota, ix, 168, 233–37; uang akar rumput: kampanye advokasi, 119, 175, 216;
gelap, 208; hubungan evaluator/advokat mobilisasi warga, 34, 48, 162; strategi
dengan, 71, 176, 179–96, 203– pendanaan akar rumput versus puncak
5; pemberian hibah, 181–87; kebutuhan pohon, 120; lobi, 77
informasi, 14–15, 75, 181–89, 195; lobi, 53, 77– tipe grup, 12, 40; advokasi, 29–30, 33–
78, 183; dan implementasi kebijakan, 127–29; 34, 39–44, 47; fokus, 135, 163; bunga, 29–30,
strategi, viii, ix, 120, 181– 33–34, 41–42, 47, 216–17

89. Lihat juga yayasan; Oxfam Kampanye GROW (2012–sekarang), ix,
Furlong, Scott, 40, 44 x, 24, 54, 58–59, 98, 144–49, 194–95, 227–30
Gaventa, John, 156–57, 157gbr. Prinsip Panduan untuk Evaluator (AEA), 72, 73,
Metode Eliminasi Umum (GEM), 89, 126, 130 88, 190
Data Sistem Informasi Geografis (GIS), 85, 132, Proyek Penelitian Keluarga Harvard, 64, 101, 119,
147, 148, 169, 232, 238, 239 124, 160, 161, 164
kesehatan: Proyek Colorado, ix–x, 23–26, 58–

Mendapatkan Hasil Advokasi Ekuitas 59, 152, 166–70, 182, 186, 194, 202, 237–
(GIGI), 64 40; perluasan cakupan asuransi
260 Indeks
sion, 79; Layanan kesehatan AS, 9, 10, 11, 16, 20, Transportasi Berkelanjutan (2008–
21, 24, 25, 218. Lihat juga Undang-Undang 2013), ix, x, 24, 58, 59, 224–27; strategi
Perawatan Terjangkau (Obamacare); desain, 64, 89–96; pengetahuan evaluator,
kebijakan bebas rokok 199; model logika dan teori perubahan program,
Hesse-Biber, Sharlene, 82 100, 225–26
Yayasan Hewlett, 133, 158
Holley, Marc, 102 Jaringan Inovasi, 177; dan Atlantik
Honeycutt, Todd C., 79 Pemberian hibah filantropi, 185;

advokasi hak asasi manusia, 49, 76, 106, 134, Alat Penilaian Koalisi, 154; Intens
200, 210 Debrief Periode, 77, 158; titik K
Pusat Pembelajaran, 164, 210; Berbicara untuk
ideologi, kebijakan yang dipengaruhi oleh, 17, 21, Diri Sendiri (2008), 187
26, 38, 45, 71, 190 masukan, 101–14, 136–43tabel, 152–57;
reformasi imigrasi, 10, 36, 185 mengkarakterisasi, 105–9
Kerangka Kerja Dampak, Pengaruh, Leverage orang dalam, advokasi, 34
dan Pembelajaran (I2L2), 132–33, 163, 188 Kerangka Institute for Development Research
(IDR), 65, 66
dampak, 130–49, 136–43tabel, 161, 163– Analisis dan Pengembangan Kelembagaan
64; keuangan, 16–17, 69, 123, 126 (IAD), 12
implementasi: kegiatan advokasi, 109– Daftar Periksa Evaluasi Pelembagaan, 178

12; tahap implementasi kebijakan, 7–9, 13, 19, Pilihan Rasional Kelembagaan, 12
52, 71, 125–29, 189–92, 207 instrumen, 104–5, 151–72, 222–23, 225, 231, 234,
indikator, 101–2, 136–43tabel, 147. Lihat 238. Lihat juga alat
juga mengukur Debrief Periode Intens, 77, 135, 143, 158, 162, 165
Masyarakat adat: Aborigin
warga Australia, 54–58, 231–33; Kanada, 54– Skala Intensitas Kolaborasi, 116
58, 231–32; penggunaan lahan dan, 54–58, kelompok kepentingan, 29–30, 33–34, 41–42, 47,
147–49, 228, 231–33; Minnesota 216–17
Bangsa Suku, ix, 167–69, 233–37 Alat Kapasitas Advokasi Internasional,

advokasi individu, 34–37, 58–59, 127, 198–205 Aliansi untuk Keadilan, 153
Konservasi Tanah Internasional
mempengaruhi, xiii; advokasi, 27–60, 51 tabel, Program (1999–sekarang), ix–x, 24–25, 54–
108, 223; Kerangka Hasil Dampak, Pengaruh, 59, 98, 100, 144–49, 181, 194, 230–33
Leverage dan Pembelajaran (I2L2),

132–33, 163, 188; dukungan dan pemahaman Organisasi Internasional untuk
pembuat kebijakan, 49, 59, 114, 117–18, 160– Kerjasama dalam Evaluasi, 211–12
62 Internet, 33, 122
aktor informal, 44 wawancara, 135–43, 147, 150, 160–61, 163
putaran umpan balik informasi, 74–75, 176 Berinvestasi dalam Perubahan: Panduan
kebutuhan informasi: penyandang dana, 14–15, Penyandang Dana untuk Mendukung Advokasi, Alliance for
75, 181–89, 195. Lihat juga pengumpulan data Keadilan, 185–86
kompleksitas inisiatif, xii, 78–79, 112, 200 segitiga besi, 13
Inisiatif untuk Mempromosikan Keadilan dan jaringan penerbitan, 20, 42, 44
Indeks 261
Jenkins-Smith, Hank C., 9 positivisme logis, 81

jurnal, 111, 130, 143, 203 model logika, viii–ix, xii, 11, 97–101, 150; studi
kasus, 100, 144–47, 168, 222–23, 225–26,
Kingdon, John, 13, 213–15 228; tingkat desain, 68, 93; dan hasil, 11,
Klugman, Barbara, 134 82, 113, 164; bermitra pada, 200; model
Kofinis, Chris, 14 perubahan kebijakan, 6, 11, 15, 31, 64, 101,
Kraft, Michael, 40, 44 164
perspektif memanjang, 83–84, 200–201,
penggunaan lahan, 98; dan masyarakat adat, 54– 208
58, 147–49, 228, 231–33; Kampanye Lowi, Theodore, 16

Pembekuan Lahan Bank Dunia, 24, 25, Lynn, Jewlya, 117, 155, 186
54, 144–49, 227–30. Lihat juga konservasi,
tanah Mabry, Linda, 85–86
Laswell, Harold, 12 Inisiatif Madison, Yayasan Hewlett,
Latham, Nancy, 78 133
Amerika Latin, 209 Majot, Juliette, 65, 112

advokasi hukum/litigasi, 52, 78, 180, 207–8 Malawi, pernikahan anak, 223
pemetaan: Kerangka Champion dan
legislasi: advokasi, 52, 179–80; perbedaan Alat Pemetaan, 162; Pemetaan Hasil
evaluasi, 77; fokus evaluator, 53; RUU (OM), 113, 143, 203; kebijakan, 169, 170,
Otorisasi Ulang Transportasi Permukaan 235; proses, 99; Jangkauan Peta, 170;
Federal (2009), ix, 24, 25, 90–96, 182, 225; perangkat lunak, 201; sistem, 108, 133, 143,
model, 53; situs legislatif online, 123; adopsi 203
kebijakan/ Konsultasi Kebijakan Magister, 185

kekalahan, 7, 125–26, 127; implementasi Institut Kebijakan Mathematica, 154–55,
kebijakan, 126–29 161
badan legislatif: pemerintahan oleh, 19; Maynard, Rebecca, 192

mempengaruhi, 117–18; advokasi legislatif, 52, 179–Mayne, John, 130–31, 184
80. Lihat juga peraturan perundang-undangan; pembuat kebijakan langkah-langkah, 101–14, 119, 216
Program Let Girls Lead (2009–sekarang), ix, x, media: advokasi melalui, 39, 53, 58–59, 82, 180;
24–25, 58, 221–24; strategi desain, 64, 89– analisis isi, 110, 115, 121, 126, 160;
96, 223; Teman-teman, 222, 223; model logika menarik, 114, 121–22; media sosial, 75, 121,
dan teori perubahan program, 100, 222– 144, 147, 148, 188, 201, 218, 237; jenis,
23 122
Levine, Carlisle, 118 pesan, 122, 169, 217, 237–40
nilai-nilai liberal, 17 metode, 97–150, 136–43tabel, 214tabel;
Liberia, hukum anak, 223 penilaian kapasitas advokasi, 67–68,
Lindblom, Charles E., 10 105–10, 121, 135, 165; Aspen/UCSF
lobi, 35–36, 41–42, 52–54, 59; langsung dan akar Survei Evaluasi APC (2014), viii, 98–99,
rumput, 77; mengalokasikan hibah untuk, 135–49, 145–46tabel, 164–66, 166tabel;
53n1, 183; mengevaluasi, 35, 77–78; Metodologi Bellwether, 124, 160; evaluator
yayasan, 53, 77–78, 183 maju, 202–3; analisis keuangan, 69, 127–
logframes, 98, 110. Lihat juga model logika 29, 143; Umum
262 Indeks
Metode Eliminasi (GEM), 89, 126, 130; pemerintahan Obama, 11; Terjangkau
Debrief Periode Intens, 77, 135, 143, 158, 162, Undang-Undang Perawatan (Obamacare), 9, 10, 16,
165; Q-metodologi, 117, 155; berguna dan 24, 25
digunakan, 135–44, 145–46tabel, oposisi, evaluasi APC, 201

164–66, 166 tabel. Lihat juga pengumpulan Layanan Penelitian Organisasi (ORS),
data; dampak; indikator; masukan; hasil; 132–33; Dampak ORS, 119, 155, 161
keluaran; penilaian cepat; peralatan organisasi: advokasi, 30–31, 34, 37–39,
Minnesota: ClearWay Minnesota, ix, 168, 233–37; 77, 153–54, 176–81, 217; 501(j), 36,
Bangsa Suku, ix, 167–69, 233–37 53n1, 77n1, 183n1, 204; Pemberi
Hibah untuk Organisasi yang Efektif
Mohan, Rakesh, 190 (GEO), 132–33; organisasi non-
pemantauan: pemantauan anggaran, pemerintah (LSM), 38–39, 147, 223;
53; pemberi dana, 188; Pemantauan Organisasi Sukarela untuk Evaluasi
dan Evaluasi (M&E), 134, 225; Profesional (VOPE), 211–12. Lihat
Pemantauan, Evaluasi, dan Pembelajaran juga
(MEL), 67–68, 84–85, 109; kinerja, 89, organisasi nirlaba
96, 109–12; usulan kebijakan, 123; meneliti pengorganisasian, komunitas, 42–44, 46, 48, 53,
dan memantau kebijakan, 49–50, 59. 120, 130, 156–57, 162–63
Lihat juga pelacakan Dampak ORS, 119, 155, 161;
Teknologi Perubahan Paling Signifikan (MSC)- Layanan Penelitian Organisasi (ORS),
nique, 94, 124, 131–32, 143, 169, 170– 132–33
71, 203, 223 Ostrom, Elinor, 12
mengacaukan, 10 Kampanye Pedalaman Australia, 230–31
Model Beberapa Aliran (MS), 13 hasil, 11, 80, 82, 97–150, 136–43tabel,
159–64, 185; budidaya juara, 114, 118;
Jaringan Kebijakan Narasi (NPF), 14 melibatkan media, 114, 121–22; jangka
Komite Nasional Penanggung Jawab menengah/pendek, 122–
Filantropi, 128 24; jangka panjang, 124–33, 226; Panen
jaringan: koalisi advokasi, 129; evaluator dan Hasil, 113, 162; Pemetaan Hasil (OM),
peneliti, 211–12; jaringan penerbitan, 20, 113, 143, 203; kemitraan/jaringan/koalisi,
42, 44; Kebijakan Narasi 114, 115–17; kemauan politik, 53, 114,
Jaringan (NPF), 14; hasil, 114, 115–17; 118–19, 161; pembangunan dan keterlibatan
tempat kebijakan, 42; analisis jaringan masyarakat, 114, 119–20; Penilaian Hasil
sosial (SNA), 79, 116, 129–30, 133, 144, 155, CEPAT, 164; jangka pendek/interim, 114–
196; teori, 99–100 22, 218; istilah perdebatan, 114, 115, 160.
Arah Baru dalam Evaluasi, 211 Lihat juga mempengaruhi
serangan 9/11, 10, 40–41
organisasi non-pemerintah (LSM), 38–39, 147, 223. keluaran, 16–17, 101–14; taktik advokasi, 101–
Lihat juga Oxfam 14, 136–43tabel, 157–59; keuangan, 16–17,
organisasi nirlaba: advokasi 69, 123, 126; nonmateri, 16
kapasitas, 30–31, 38, 77, 177–81, 217; Lembaga Pembangunan Luar Negeri (ODI), 65,
ClearWay Minnesota, ix, 168, 233–37; 112, 164
sumbangan pemberi dana ke, 183n1 Burung Hantu RE, 230
Indeks 263
Oxfam, ix, 24, 54, 98, 144–49, 194–95, analisis dan penelitian kebijakan, fokus
227–30 evaluator, 53
arena kebijakan, 10–15, 19–29, 22tabel, 70–71, 105–

partisipasi, bentuk baru, 217–18 7, 129, 205; definisi advokat, 32–33; Protokol
Penelitian Tindakan Partisipatif (PAR), 87 Bellwether dan, 160; koalisi, 42; evaluator
evaluasi partisipatif, 74, 89, 95, 104, 167–68, 176, dalam, 190, 198–200; pemberi dana dan
236 penerima hibah dan, 184; pakar berpengaruh,
kemitraan, 71–75, 154, 179–80, 199– 217–18; kelompok kepentingan, 41; media,
200, 204, 219; advokat/lembaga pemerintah, 121; organisasi, 37–38, 186; tumpang tindih
38; advokat/advokat lainnya, 106; advokat/ antara masyarakat sipil dan, 135; pengusaha
pembuat kebijakan, 135, 161– kebijakan, 36; pejabat publik, 19, 35; taktik, 47;
62; studi kasus, 93, 149, 167–68, 199, transportasi, 95. Lihat juga lanskap kebijakan
224, 232; model kemitraan evaluasi, 73, 96;
evaluator/advokat, 26, 180, 203–4; evaluator/
advokat/dana, 71, 184, 186–89, 195–96; penilai/ juara kebijakan. Lihat juara, kebijakan
perubahan kebijakan, 123–24, 133–35,
ahli, 93, 149, 199, 203, 232; evaluator/ 136–43tabel, 185, 196–219; konteks, 124,
evaluator dan peneliti lainnya, 211–12; evaluator/ 151, 164, 196–97, 199, 205, 213, 215–16. Lihat
pemangku kepentingan, 67–68, 72–75, 79, 90, juga advokasi dan perubahan kebijakan (APC);
104, 167–68, 172, 175– desain; dampak; model perubahan kebijakan
95, 200; media, 121–22; hasil, 114, 115–17;
diperkuat, 109, 113–17, 172 model perubahan kebijakan, 10–15, 199–200;

serangan balik/zigzag, 10; siklus, 10; model
Patton, Michael Quinn, 73, 74, 76, 101, 126, 178 elit, 12; model inkrementalisme, 10, 11; tidak
ada perubahan, 11; jendela kebijakan, 13,

kinerja, pemantauan, 89, 96, 109–12 213–15; keseimbangan bersela, 10–11; pilihan
petisi, 120, 147, 229 rasional, 11–12. Lihat juga
Perwalian Amal Pew, ix, 144, 181, 194, 230–33. perubahan kebijakan; model tahap kebijakan
Lihat juga Tanah Internasional komunitas kebijakan, 42–43
Program Konservasi (1999–sekarang) direktur kebijakan, 34, 36
Buku Pedoman Advokasi Filantropi: Memanfaatkan pengusaha kebijakan, 13, 34, 36
Uang Anda, Alliance for Justice, 185– tahap evaluasi kebijakan, 8–15
86 tahap perumusan kebijakan, 7, 9, 13, 85
perencanaan: evaluasi, 74, 107, 110, 189, 200, keuntungan kebijakan, 24–26, 32–33, 41, 75, 96, 148,
212, 226, 235; strategis, 50, 86, 127, 190–91 207, 217, 236–37
tahap implementasi kebijakan, 7–9, 13, 19, 52, 71,

pluralisme, 12, 29–30 125–29, 189–92, 207
pengumpulan data pada waktu tertentu, 95, 148–49, lanskap kebijakan, 6, 11, 84. Lihat juga kebijakan
158, 202, 226–27 arena
Situs web Point K, Jaringan Inovasi, 164 legitimasi kebijakan, 7
adopsi/kekalahan kebijakan, 7, 125–26, 127 Tautan Kebijakan, 64
advokasi kebijakan, 52 Alat Pelacakan Juara Pembuat Kebijakan , Spark

analisis kebijakan, pengembangan, 123 Institut Kebijakan, 162
264 Indeks
pembuat kebijakan: advokat, 34–35; pendidikan, 53, cal akan, 53, 114, 118–19, 161; penjangkauan
189–92; memperluas kesadaran akan, 49, 58– pemilih, 53, 162, 217. Lihat juga kekuasaan
59; mempengaruhi dukungan dan pemahaman jajak pendapat, 202, 239; opini publik, 120, 143, 160, 165,
dengan, 49, 59, 114, 117–18, 160–62; 171, 203
peringkat, 119, 143, 161, 165, 171, 203; survei, 143– Pos, Lori, 119
44, 165, 171, 203. Lihat juga badan legislatif; kekuatan, 45; kubus listrik, 156–57, 157gbr.;
pembuatan kebijakan kekuasaan negara, 18; hubungan kekuasaan, 73,
156–57; berbicara kebenaran kepada penguasa, 197.
pembuatan kebijakan, 3–26; advokasi dan, 49, Lihat juga politik

50–53; model, 6–15, 50–52, 51meja; Powercheck: Pengorganisasian Komunitas
proses, 5–15, 25–26, 30, 40, 42–43, 50–53, Alat Penilaian Kapasitas, Aliansi untuk
216–17; tempat, 18–23, 42. Lihat Keadilan, 156–57, 163
juga pengambilan keputusan; pembuat kebijakan; Panduan Praktis untuk Mengevaluasi Sistem
model tahap kebijakan Perubahan Sistem Pelayanan Kemanusiaan
pemetaan kebijakan, 169, 170, 235 Konteks (Latham), 78
proposal kebijakan: pembangunan, 7, 189–92; latihan, xii–xiii, 10, 23–25, 192–219; menerapkan
pendidikan tentang, 49, 208; pemantauan, 123; teori pada, 212–18; komunitas praktik, xiii,
pembuat kebijakan dan, 7, 48, 50, 118; rincian 197, 205, 219; desain, 81–96, 98; individu, 58–59,
teknis, 42 198–205; metode, 98, 109, 135–49, 164–70; taktik,
penelitian kebijakan, 99, 105–6, 111, 214tabel 53–59
model tahap kebijakan, 6–15, 50–52, 51tabel;
tahap penetapan agenda, 7–9, 13, 52, 115; tingkat Keterampilan Pres, Hallie, 133
berikutnya, 213–15; tahap implementasi kebijakan, barang pribadi/privatisasi, 16
7–9, 13, 19, 52, 71, 125–29, 189–92, 207; tahap tahap identifikasi masalah, 8
pengenalan masalah, 6–7, 9, 208. Lihat juga tahap pengenalan masalah, 6–7, 9, 208
model perubahan kebijakan kebijakan prosedural, 16
proses: pemetaan, 99; pembuatan kebijakan, 5–15,
subpemerintah kebijakan, 20, 42, 44 25–26, 30, 40, 42–43, 50–53, 216–17;
Strategi perubahan Kebijakan, Sistem, dan Lingkungan penggunaan proses, 178; anggaran publik, 16–
(PSE), 189 17; Proses Penilaian Cepat
pendekatan sasaran kebijakan, 182 (RAP), 82, 87, 109, 111–12; pelacakan, 89, 130,
transfer kebijakan, 23 162
jenis kebijakan, 5, 15–17, 22–23 teori perubahan program, viii–ix, xii,
dunia kebijakan, 5, 23, 41–42, 70–71. Melihat 88, 150; studi kasus, 100–101, 144–
juga arena kebijakan 47, 168, 222–23, 225–26, 228; tingkat desain, 68,
ilmu politik, 12, 28–30, 47 93; berkembang, x, xiii, 6, 10, 13–15, 47, 68, 73, 98–
politik, 45; definisi ilmu politik klasik, 12; evaluator dan, 101; informasi bagi penyandang dana, 188;
88, 201–2; kelompok kepentingan, 29–30, 33–34, Analisis kontribusi Mayne, 130–31; metode dan,
41–42, 47, 216–17; pemain, 70–71; konteks politik, 97–98; Beberapa Aliran (MS)
30, 33, 70–71, 88, 100, 124, 129, 156–57, 190,

199; advokasi partai politik, 38; suara politik, 30; Model dan, 13; dan hasil, 82;
politik- Institut Pembangunan Luar Negeri
(ODI) dan, 65, 164; bermitra,

Indeks 265
200; perubahan sistem, 132–33; kegunaan, resesi, Resesi Hebat (2008), 10, 40–
143 41, 47, 217
Proyek Kesehatan Colorado (2011–2013), ix– kebijakan redistributif, 16

x, 23–26, 58–59, 152, 166–70, 182, 186, 194, umpan balik peraturan, 50, 53
202, 237–40 Reisman, Jane, 119
kampanye kesadaran masyarakat, fokus penelitian: evaluator fokus pada kebijakan
evaluator pada, 49, 53, 58–59 analisis dan penelitian, 53; hubungan
Institut Kesehatan Masyarakat (PHI), 221, 222– evaluator, 211–12; kebijakan, 105–6, 111,
23 214tabel; hubungan peneliti, 211–12; Evaluator
pejabat publik: advokat, 35, 37; lonceng- peneliti/teknisi, 178; meneliti dan memantau
cuaca, 37; penganggaran, 16–17; birokrasi, kebijakan, 49–50, 59

19. Lihat juga pemerintah
opini publik, jajak pendapat, 120, 143, 160, 165, 171, sumber daya, 105–9, 241–43. Lihat juga
203 instrumen; peralatan
kebijakan publik, atribut, 5 Program Pemberian Hibah yang Responsif,

kemauan publik, 202; pembangunan dan Yayasan Kesehatan California, 185
pertunangan, ix, 23, 26, 58, 83, 114, 119–20, 237 Analisis Pengembalian Investasi (ROI), 127–
keseimbangan bersela, 10–11 28, 180
ketelitian, mengatasi masalah, 79–86, 96, 169–

Q-metodologi, 117, 155 70, 202–7
Bank Soal, 184 Yayasan Robert Wood Johnson, 79
kuesioner, 143, 161, 226 Yayasan Rockefeller, ix, 182, 224, 225
pertanyaan, empat jenis, 68–70 Rogers, Everett M., 23

Roma, Sarah, 118
Raile, Amber, 119 Kasar, Jim, 85–86
Raile, Eric, 119
Rand Perusahaan, 39, 217 Sabatier, Paul A., 9

uji coba kontrol acak (RCT), 80, 83 pengambilan sampel, 84, 160
Rangeli, Lisa, 128 Menyelamatkan Nyawa Bayi Baru Lahir (SNL), Selamatkan
penilaian cepat: Penilaian Cepat Anak-anak, 118, 162

Proses (RAP), 82, 87, 109, 111– Schlangen, Rhonda, 134
12; Penilaian Cepat, Penelitian, dan Schmitt, Markus, 76, 80
Evaluasi (RARE), 87; Cepat Scott Consulting Mitra LLC, 237

Metode Evaluasi (RE), 87, 108, data sekunder, 85, 226
133, 149; Penilaian Hasil CEPAT, elit bayangan, 208, 217
164; evaluasi waktu nyata dan, 89 Klub Sierra, 183n1
Raynor, Jared, 181 kebijakan bebas rokok, Inisiatif TTEP, ix, x, 23–25,
Jangkau Peta, 170 54, 152, 166–70, 194, 233–37
evaluasi realis, 79, 99, 206 advokasi keadilan sosial, 49, 134, 210, 219.
evaluasi waktu nyata dan penilaian cepat, Lihat juga Aliansi untuk Keadilan; advokasi
89 hak asasi manusia
Kerangka Evaluasi Dunia Nyata, 85–86 media sosial, 75, 121, 144, 147, 148, 188, 201,
Recchia, Cheri, 102 218, 237
266 Indeks
gerakan sosial, 43, 129, 167, 168, 182, Keputusan Mahkamah Agung, 16, 76, 126
217 survei, 143, 163, 215–16; Kolaborasi/
analisis jaringan sosial (SNA), 79, 116, 129–30, Survei Penilaian Koalisi/Jaringan/
133, 144, 155, 196 Kemitraan, 115–16; pembuat
pendekatan pemasaran norma sosial, 134 kebijakan, 143–44, 165, 171, 203; Survei
pengembalian investasi sosial (SOI), 181 dengan Placebo (SwP), 83, 203; Inisiatif
pemetaan perangkat lunak, 201 Transportasi, 226. Lihat juga
Terus? Panduan Mingguan Anda untuk Dampak Survei Evaluasi APC Aspen/UCSF (2014)
Advokasi, Aspen Institute, 164, 210
Institut Kebijakan Spark, 116, 162, 164, 210, perubahan sistem, viii, ix, 27, 67, 132–33, 166,
240 168, 188, 201, 207, 216, 234
Berbicara untuk Diri Sendiri (2008), Jaringan Inovasi, dinamika sistem, 100, 108
187 pemetaan sistem, 108, 133, 143, 203
diagram laba-laba, 107, 109–10, 116; teori sistem, 6, 107–8
Dukungan, 168–70, 235 pemikiran sistem, 68, 78, 89–90, 133, 170, 196,
Stachowiak, Sarah, 119 204, 206
pendekatan panggung. Lihat model tahapan kebijakan
pemangku kepentingan, 69; kemitraan penilai taktik, 44–60, 55–57 meja, 66, 74–89, 102–
dengan, 67–68, 72–75, 79, 90, 104, 167– 50; kerangka strategi advokasi, 99, 157–58,
68, 172, 175–95, 200; kebutuhan informasi, 159gbr.; studi kasus, 169, 222, 225, 228, 231,
14–15, 75, 150, 172, 181–89, 195; teori 234, 237; konteks, 46, 47, 104, 215–16;
pemangku kepentingan, 100. Lihat juga temuan evaluasi menginformasikan, 192–93;

pendukung; pemberi dana evaluator maju, 199–200, 201, 204; dan hasil,
kumpulan cerita, 58, 111, 143, 203, 223 185; keluaran, 101–14, 136–43tabel,
mendongeng, 169, 193, 237, 239, 240;
Kisah Perubahan Komunitas, 169, 235, 236 157–59; alam semesta, 20, 28, 44, 46, 47. Lihat
juga strategi
Stratcom, 233 Taiwan, protes mahasiswa (2014), 33
strategi, xi–xii; advokasi, xi-xii, 11, 16, 24, 27–60, manfaat nyata (atau materi), 16
74–89, 99, 130, 157–62, 193–97; kerangka Grup TCC, 227; Kapasitas Inti Advokasi
strategi advokasi, 99, 157–58, 159gbr.; studi Alat Penilaian, 154
kasus, 222, 225, 228, 231, 234, 237; desain, Bantuan & Pelatihan Teknis (TAT)
viii, xii, 63–96; evaluasi, viii, xii, xiii, 64–68, 76– Survei, 235
89, 176; pemberi dana, viii, ix, 120, 181– teknologi, 120, 201, 217–18
Teles, Steven, 76, 80
89; perencanaan, 50, 86, 127, 190–91. Melihat Theodoulou, Stella, 14

juga taktik teori: APC, vii–viii, xi–xii, 4, 10; menerapkan praktik
birokrasi tingkat jalanan, 19 evaluasi pada, 212–18; tentang determinan
Kuat, Debra A., 79 internal, 23; teori pemangku kepentingan, 100;
observasi terstruktur, 143–44 sistem, 6, 107–8. Lihat juga
Struktur Pelaporan Penerima Hibah, 184 teori perubahan program
sub-pemerintah, 20, 42, 44 lembaga think tank, 39
Super PAC, 217 tembakau. Lihat kebijakan bebas rokok

Indeks 267
Survei Inventarisasi Pengalaman Tembakau (TEI), 94, 221, 222; Resolusi A69237, 210;
170, 235 UNICEF, 212
Tocqueville, Alexis de, 33 Amerika Serikat: Kongres, 11, 133, 162; konteks,
alat, 97, 105–9, 118, 143, 151–72, 185, xiv; perawatan kesehatan, 9, 10, 11,
212, 235, 241–43. Lihat juga instrumen; metode 16, 20, 21, 24, 25, 218; Melobi
Undang-Undang Pengungkapan (LDA), 42; Nasional
pelacakan: Sistem Pelacakan Konstituen, Asosiasi Gubernur, 40; Tertinggi

116; pelacakan proses, 89, 130, 162 Keputusan pengadilan, 16, 76, 126; KAMU BILANG
asosiasi perdagangan, 41 Indeks Advokasi, 153–54

transportasi: RUU Otorisasi Ulang evaluasi yang berfokus pada pemanfaatan, 68,
Transportasi Permukaan Federal (2009), ix, 167, 176, 234

24, 25, 90–96, 182, 225. Lihat
juga Inisiatif untuk Mempromosikan validitas: Konsep Campbellian, 81. Lihat

Transportasi yang Adil dan Berkelanjutan (2008– juga ketelitian
2013) Kerangka Visual Strategi Kebijakan Publik,

Pendidikan dan Kebijakan Tembakau Suku 185
(TTEP) Inisiatif (2008–2013), ix, x, 23–25, 54, Organisasi Sukarela untuk Profesional
152, 166–70, 194, 233–37 Evaluasi (VOPE), 211–12
Kisah Suku Tembakau (TTS), 235 penjangkauan pemilih, 53, 162, 217
Turner, Nanette, 100
Weiss, Carol, 8, 63, 191
UCSF. Lihat Survei Evaluasi APC Aspen/UCSF (2014) Proyek Energi Barat (WEP), 163–64
masalah jahat, 21, 79
ketidakpastian, xii, 78–79, 84, 112, 200 diagram alur kerja, 99
serikat pekerja, 41–42 Bank Dunia, ix, 24, 25, 54, 58–59, 144–49, 227–30
PBB: deklarasi tahun 2015 sebagai
Tahun Evaluasi Internasional
(Tahun Evaluasi), 210; Yayasan (UNF), ix, Video YouTube, 210

Brindis, Claire D. - Gardner, Annette L - Advocacy and Policy Change Evaluation - Theory and Practice-Stanford Business Books (2017) Terjemahan

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Brindis, Claire D. - Gardner, Annette L - Advocacy and Policy Change Evaluation - Theory and Practice-Stanford Business Books (2017) Terjemahan

Diunggah oleh

Hak Cipta:

Format Tersedia

Machine Translated by Google

Machine Translated by Google

EVALUASI ADVOKASI DAN PERUBAHAN KEBIJAKAN

Halaman ini sengaja dikosongkan

BUKU BISNIS STANFORD

SEBUAH CETAK DARI STANFORD UNIVERSIT Y PRESS

Pers Universitas Stanford

© 2017 oleh Dewan Pengawas Leland Stanford Junior University.

Data Katalogisasi-dalam-Publikasi Perpustakaan Kongres

Nama: Gardner, Annette L., penulis. | Brindis, Claire D., penulis.

Kata pengantar vii

Ucapan Terima Kasih xv

Daftar Ilustrasi xix

BAGIAN 1 Teori Berguna dan Model Konseptual

1 Kebijakan dan Pembuatan Kebijakan: Membuat Perbedaan 3

2 Advokasi: Mempengaruhi Pengambilan Keputusan 27

BAGIAN 2 Desain, Hasil, dan Metode yang Tepat

3 Merancang Evaluasi Advokasi dan Perubahan Kebijakan 63

4 Hasil dan Metode Advokasi dan

5 Instrumen Unik untuk Advokasi dan Kebijakan

BAGIAN 3 Memanfaatkan Kearifan dari Lapangan

6 Peran Evaluator dan Hubungannya dengan Stakeholder 175

7 Meningkatkan Advokasi dan Perubahan Kebijakan

Lampiran A: Enam Kasus Evaluasi 221

Lampiran B: Advokasi dan Perubahan Kebijakan

Halaman ini sengaja dikosongkan

menandatangani evaluasi yang sesuai untuk memenuhi beragam kebutuhan

beragam pilihan khusus untuk mengevaluasi inisiatif advokasi dan perubahan

viii Kata pengantar

efektivitas mereka dalam merancang advokasi dan evaluasi perubahan kebijakan

kendala sumber dan konteks yang berkembang pesat. Bagaimana evaluator

(Lihat Lampiran A untuk penjelasan rinci mengenai enam kasus ini.)

peran evaluator, dan penggunaan temuan evaluasi.

khususnya temuan dari Aspen/

evaluasi perubahan kebijakan.

yang masuk akal.

evaluasi perubahan kebijakan.

BAGIAN 1: TEORI USEF UL DAN

komponen-komponen mendasar dalam praktik evaluasi mereka berisiko mengabaikan aspek-

digunakan para advokat untuk membangun konstituen

xii Kata pengantar

dan lokal, serta kebijakan—kesehatan, transportasi, penggunaan lahan, ketahanan pangan,

hak asasi manusia, dan kesetaraan gender.

BAGIAN 2: DESAIN, HASIL,

dan evaluasi perubahan kebijakan. Kami menggunakan pendekatan makro-mikro, dimulai

ketelitian, dan kerja sama dengan pemangku kepentingan.

desain perubahan kebijakan, beberapa di antaranya bersifat kontekstual (seperti kurangnya

transparansi) dan beberapa di antaranya bersifat metodologis (seperti kompleksitas inisiatif

BAGIAN 3: MEMANFAATKAN KEBIJAKSANAAN DARI LAPANGAN

xiv Kata pengantar

melayani masyarakat, pemahaman kita tentang kebijakan, pembuatan kebijakan, dan

UCAPAN TERIMA KASIH

PADA saat bidang evaluasi advokasi dan perubahan kebijakan (APC)

xvi Ucapan Terima Kasih

sebelumnya atas dukungan dan bantuan mereka dalam penyelenggaraan Aspen/

Ucapan Terima Kasih xvii

Halaman ini sengaja dikosongkan

Halaman ini sengaja dikosongkan

Teori dan Model Konseptual yang Berguna

Halaman ini sengaja dikosongkan

KEBIJAKAN DAN PENGAMBILAN KEBIJAKAN

4 Teori dan Model Konseptual yang Berguna

Kebijakan dan Pembuatan Kebijakan 5