Machine Translated by Google

Evaluasi
Hak Cipta © 2002
Publikasi SAGE (London,
Thousand Oaks dan New Delhi)
[1356–3890 (200207)8:3; 340–358; 027745]
Jilid 8(3): 340–358

Kebijakan Berbasis Bukti: Janji

'Sintesis Realis'
RAY PAWSON
Universitas Queen Mary London, Inggris

Penelitian evaluasi tersiksa oleh keterbatasan waktu. Siklus kebijakan berputar lebih
cepat dibandingkan siklus penelitian, sehingga evaluasi 'real time' seringkali
hanya mempunyai pengaruh yang kecil terhadap pembuatan kebijakan. Akibatnya,
upaya untuk menerapkan kebijakan berbasis bukti (EBP) semakin beralih ke
tinjauan sistematis terhadap hasil penyelidikan sebelumnya dalam bidang kebijakan yang relevan.
Namun, pergeseran kerangka waktu evaluasi ini sendiri tidak menjamin
keberhasilan. Bukti, baik baru atau lama, tidak pernah berbicara sendiri.
Oleh karena itu, terdapat perdebatan mengenai strategi terbaik untuk memasukkan
hasil-hasil penelitian ke dalam proses kebijakan. Pada bagian pertama dari artikel
ini (diterbitkan pada edisi sebelumnya dari Evaluasi) dilakukan tinjauan kritis terhadap
strategi EBP yang ada. Artikel pendamping ini membahas manfaat metodologi baru
untuk tinjauan sistematis, yaitu 'sintesis realis'.

KATA KUNCI: kebijakan berbasis bukti; insentif; realisme; tinjauan sistematis

Perkenalan
Tujuan artikel ini adalah untuk membuat sketsa pendekatan baru terhadap kebijakan berbasis bukti
(EBP), yang saya sebut sebagai 'sintesis realis'. Meskipun penyelidikan realis memiliki silsilah yang
panjang dalam ilmu sosial (Keat dan Urry, 1975) dan filsafat (Bhaskar, 1979), ini merupakan strategi
yang relatif baru dalam penelitian evaluasi, yang baru-baru ini mendapatkan pijakan di kedua sisi
Atlantik (Pawson dan Tilley, 1997;Henry dkk., 1998). Pendekatan realis bukanlah sebuah teknik
evaluasi, namun sebuah kerangka kerja untuk keseluruhan usaha. Hal ini sedang dikembangkan
untuk mencakup semua jenis program (lokal hingga transnasional) dan tugas evaluasi dari semua
cara (perkembangan hingga penilaian dampak). Artikel ini memperluas jaringan ini dengan
memasukkan domain 'meta-analisis', 'tinjauan sistematis', dan 'sintesis penelitian', yang darinya
saya dapat mengambil label potensial dari yang terakhir karena hal ini menunjukkan munculnya
teori-teori program yang, seperti yang akan kita lihat, merupakan inti dari ambisi realis.

Tugas pertama saya adalah memperkenalkan beberapa tema dari artikel pertama, yang
mempertimbangkan metode umum yang ada untuk melakukan tinjauan penelitian sistematis; ini
adalah 'meta-analisis numerik' dan 'tinjauan naratif'. Pada artikel pertama, saya berpendapat bahwa
hal ini berbeda, tidak hanya dalam hal teknis tetapi juga dalam hal

340
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

sehubungan dengan pemahaman 'logika' dasar proses EBP. Logika itu mengandung tiga elemen penting
berikut.

• Penyebab Tinjauan sistematis berupaya membedakan intervensi yang berpengaruh dan inisiatif
yang tidak berdaya. Untuk melakukan hal ini diperlukan pemahaman tentang 'kekuatan sebab-
akibat' dari suatu program. Oleh karena itu, metodologi tinjauan selalu membawa model
bagaimana program mencapai dampaknya. • Ontologi Konsepsi
tentang bagaimana program sebenarnya bekerja memberikan ontologi untuk proses peninjauan –
sebuah daftar 'bahan' penting yang harus dicari dan diambil dari setiap studi awal. • Generalisasi
Terakhir, metodologi tinjauan akan mengambil pandangan
tentang sifat transfer pengetahuan. Bagaimana kita bisa menggeneralisasi berdasarkan bukti?

Bagaimana kita dapat menangkap pelajaran yang diperoleh dengan cara yang dapat menjadi masukan bagi
kebijakan dan praktik di masa depan?

Faktor-faktor ini mewujudkan asumsi metodologi domain EBP dan

mereka memungkinkan kita untuk membedakan pendekatan ortodoks sebagai berikut.

Meta-analisis Hal ini mengasumsikan konsepsi kausalitas 'suksesi' ; program-program itu sendiri
dianggap mempunyai kekuatan sebab-akibat. Metode ini telah berevolusi dari pengobatan berbasis bukti
yang berasumsi bahwa 'pengobatan' yang berbeda mempunyai potensi perubahan. Jadi dalam kaitannya
dengan tinjauan ontologi, meta-analisis memerlukan dua hal: klasifikasi yang cermat terhadap program
yang ditinjau dan peta yang jelas mengenai dampaknya. Hal ini digabungkan dalam mencari ukuran yang
dapat diandalkan mengenai dampak bersih dari berbagai jenis program dan meta-analisis sehingga lebih
memilih studi dasar yang menggunakan uji coba terkontrol secara acak. Dalam hal generalisasi, tujuannya
adalah 'replikasi heterogen'. Kajian ini akan mencari sub-jenis program yang telah memberikan dampak
maksimal pada skala seluas-luasnya. Transfer pengetahuan adalah masalah mengidentifikasi dan meniru
kelas program yang paling ampuh (atau menghilangkan yang paling berbahaya).

Tinjauan naratif Pendekatan ini menggunakan pendekatan 'konfigurasi' terhadap kausalitas, yang mana
hasil dianggap mengikuti penyelarasan kombinasi atribut yang bermanfaat. Program berhasil karena
kesesuaian kelompok sasaran, pengaturan, strategi program, isi program, rincian pelaksanaan, aliansi
pemangku kepentingan, dan sebagainya. Faktor-faktor tersebut, bersama dengan informasi mengenai
hasil dan metodologi yang digunakan dalam evaluasi awal merupakan ontologi tinjauan naratif. Dalam
hal generalisasi, tujuannya adalah 'kesamaan proksimal'. Idenya adalah untuk belajar dari review dengan
mengikuti program yang sukses. Apa yang membuat mereka sukses adalah penjajaran fitur-fitur di atas
sehingga setiap rancangan program di masa depan harus berupaya meniru program secara keseluruhan
atau setidaknya mencoba mengumpulkan sebanyak mungkin kesamaan.

Terdapat kesenjangan yang cukup besar antara kedua perspektif ini dan artikel ini berargumen bahwa
mengembangkan model ketiga berdasarkan garis realis dapat mengisi kesenjangan tersebut, dan terlebih
lagi, dengan cara yang memberikan keuntungan bagi pembuat kebijakan. Bagian berikut ini akan
menjabarkan logika sintesis realis secara rinci tetapi saya dapat mengantisipasi argumen utama bagi
pembaca dengan latihan singkat menggunakan template di atas.

341
Machine Translated by Google

Evaluasi 8(3)

Sintesis realis Pendekatan ini menggunakan pendekatan 'generatif' terhadap sebab-akibat.

Menurut perspektif ini, bukan 'program' yang berhasil: melainkan alasan atau sumber daya
yang mendasari program tersebut yang dapat menghasilkan perubahan. Sebab-akibat juga
dianggap bersifat kontingen. Apakah pilihan-pilihan atau kapasitas-kapasitas yang ditawarkan
dalam suatu inisiatif akan ditindaklanjuti tergantung pada sifat subyeknya dan keadaan
inisiatif tersebut. Unsur penting ontologi program adalah 'mekanisme generatifnya' dan
'konteksnya yang berdekatan'. Ekstraksi data dalam sintesis realis mengambil bentuk
interogasi terhadap pertanyaan dasar untuk mendapatkan informasi tentang 'apa yang
berhasil untuk siapa dan dalam kondisi apa'. Pendekatan generalisasi juga berbeda.
Komunitas pembuat kebijakan tidak ditawari 'pembelian terbaik' (pendekatan 'x' atau kasus
'y' tampaknya yang paling berhasil) namun sebuah 'teori yang dapat dialihkan' yang
disesuaikan (teori program ini berhasil dalam hal ini, untuk sub-sub bidang ini). -jects, dalam
situasi seperti ini).
Bagian 'Insentif' merupakan sketsa kecil dari sintesis realis dalam tindakan. Laporan ini
memberikan gambaran mengenai sejumlah kecil intervensi yang sangat berbeda yang
didasarkan pada gagasan kebijakan tertua, yaitu 'insentif'. Laporan ini diakhiri dengan
mengumpulkan beberapa pelajaran mendasar yang dapat ditransfer ke setiap pembuat
kebijakan di masa depan yang berani atau cukup bodoh untuk mempertimbangkan tawaran
'hibah', 'pemberian' atau 'subsidi'.

Logika Sintesis Realis

Secara formal (Pawson dan Tilley, 1997), interpretasi realis terhadap efektivitas program
diungkapkan sebagai berikut. Kekuatan kausal suatu inisiatif terletak pada mekanisme yang
mendasarinya (M), yaitu teori dasar tentang bagaimana sumber daya program akan
mempengaruhi tindakan subjek. Terpicunya mekanisme ini tergantung pada konteks (C),
karakteristik subjek dan lokalitas program. Oleh karena itu, program-program, terutama
setelah sejumlah uji coba, akan mempunyai dampak yang beragam dalam berbagai dampak,
suatu ciri yang dikenal sebagai pola hasil (O). Ansambel penjelasan ini digambarkan di bagian
atas Gambar 1.

Mengikuti logika ini memberi kita fokus berbeda pada proses peninjauan. Titik masuk
mungkin merupakan titik tolak yang paling signifikan. Realisme mengadopsi pemahaman
'generatif' tentang sebab akibat. Apa yang coba dihilangkan dari hal ini adalah kebiasaan
malas berbahasa yang mendasarkan evaluasi pada pertanyaan apakah 'program berhasil'.
Faktanya, bukan program yang berhasil, melainkan sumber daya yang mereka tawarkan
agar subjek dapat membuat program tersebut berhasil. Proses bagaimana subjek
menafsirkan strategi intervensi dikenal sebagai 'mekanisme' program dan merupakan poros
evaluasi realis. Jadi, untuk mengambil contoh yang akan menahan kita di kemudian hari,
mari kita pertimbangkan kekuatan sebab akibat dari program yang menawarkan 'pembayaran
transisi' kepada narapidana setelah dibebaskan dengan tujuan mencegah perlunya kembali
melakukan kejahatan dengan cepat. Dalam kasus seperti ini, bukan program yang
menyebabkan 'rehabilitasi'. Ia hanya memberikan pembayaran, yang mana subjek memilih
untuk menggunakannya dengan cara yang berbeda, salah satunya mungkin untuk menghindari kejahatan.
Alasan seperti itu memberikan hasil penting bagi EBP. Karena yang memicu perubahan
adalah 'mekanisme program', bukan 'program', maka hal ini jauh lebih penting

342
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

Program awal

C
M

HAI

Contoh negatif Contoh positif

C– C+
M M

HAI- HAI+

Program kedua dan selanjutnya

Contoh negatif Contoh positif

C– C+
M M

HAI- HAI+

Contoh negatif Contoh positif

C– C+

M M

HAI- HAI+

Gambar 1. Sintesis Realis

343
Machine Translated by Google

Evaluasi 8(3)

lebih masuk akal untuk mendasarkan tinjauan sistematis pada 'kelompok mekanisme'
dibandingkan pada 'kelompok program'. Hal ini memberikan sintesis realis lokus perbandingan
yang sama sekali berbeda dari metode tinjauan sistematis lainnya. Titik awalnya adalah
menahan diri untuk tidak menangani evaluasi asli yang termasuk dalam 'kelompok intervensi'
tertentu (misalnya 'n' yang berarti menangani rehabilitasi pelaku – 'insentif', 'masa percobaan',
'pelatihan keterampilan kognitif', 'manajemen amarah). ' dan seterusnya). Sebaliknya, sintesis
realis mengambil 'keluarga mekanisme' (misalnya teori program yang sama, misalnya
'insentivisasi', yang diterapkan di seluruh bidang kesehatan, pendidikan, kejahatan,
kesejahteraan, lapangan kerja, dan sebagainya).
Pentingnya strategi seperti ini adalah bahwa strategi ini memecahkan salah satu dilema
utama dalam tinjauan sistematik, yaitu dalam mencapai perbandingan yang tepat antara 'yang
serupa dengan yang serupa'. Saya telah berargumen di bagian pertama artikel ini bahwa
menggunakan 'domain administratif' sebagai unit analisis akan menghasilkan beberapa hal
yang tidak terduga. Meta-analisis Durlak dan Wells (1997) mengenai program Pencegahan
Kesehatan Mental Primer (PPMH) mencakup keseluruhan spektrum mulai dari 'dorongan teman
sebaya selama krisis kehidupan' hingga 'mengubah kurikulum sekolah'. Tinjauan Towner dkk.
(1996) mengenai pengurangan kecelakaan pada masa kanak-kanak mencakup segala hal mulai
dari penyediaan 'alarm asap gratis' hingga 'inisiatif pendidikan keselamatan jalan berbasis
sekolah'. Poin krusial bagi kaum realis adalah bahwa semua varian tersebut diharapkan dapat
'berhasil' melalui penggunaan mekanisme program yang sangat berbeda.
Saya telah membahas secara rinci betapa sulitnya mencoba menerapkan tolak ukur yang
sama pada teori program PPMH yang cukup beragam. Sebagai penekanan, izinkan saya
mengulangi argumen 'kapur dan keju' sehubungan dengan program keselamatan tersebut.
Alarm asap gratis jelas merupakan sebuah 'hadiah'. Mekanisme yang dimaksud hanyalah
menyediakan sumber daya yang tidak dimiliki oleh subjek dan akan berhasil jika subjek dibujuk
untuk menerima, memasang, memelihara, dan bertindak berdasarkan sumber daya tersebut.
Pendidikan keselamatan jalan di sekolah, seperti halnya kegiatan kelas lainnya, bergantung
pada mekanisme 'penerusan kebijaksanaan' – dalam hal ini dalam bentuk kode etik tentang
perilaku dalam lalu lintas. Hal ini berhasil jika anak-anak mampu mengingat dan menerapkan
aturan-aturan umum di tengah hiruk pikuk situasi jalanan tertentu.
Sangat sulit untuk menyatakan bahwa ada perbandingan yang berarti dalam menempatkan
'pemberian insentif' bersama dengan 'mengikuti aturan'. Yang pasti mereka berdua akhirnya
bisa menyelamatkan nyawa anak-anak. Dan kemungkinan besar perhitungan aktuaria yang
kasar dan siap pakai dapat dilakukan mengenai biaya dan manfaat masing-masing skema
dalam kaitannya dengan hasil ini. Namun hal-hal tersebut bukanlah alternatif kebijakan yang
sesungguhnya. Tidak ada dasar empiris untuk mengalihkan sumber daya dari satu sumber ke
sumber daya lainnya. Jadi bagi kaum realis, penjajaran yang lebih bermakna diperoleh jika kita
mengambil mekanisme program sebagai lokus perbandingan. Dalam pengertian yang masuk
akal, hal ini berarti kita dapat mengambil pelajaran yang lebih penting jika kita mencoba menguji
gagasan kebijakan yang sama dengan melihat bagaimana gagasan tersebut dapat diterapkan
dalam berbagai situasi. Program mulai hidup di kepala para pembuat kebijakan; Ide-ide inilah
yang ingin dipertajam oleh tinjauan penelitian dan hanya masuk akal, oleh karena itu ide-ide ini
harus menjadi sumber perbandingan. Oleh karena itu, dalam kaitannya dengan beberapa
langkah yang diidentifikasi di atas, titik awalnya adalah mencatat bahwa, misalnya 'pendidikan
sebaya' adalah ide yang menjanjikan yang digunakan dalam program kesehatan mental,
kejahatan dan, tentu saja, pendidikan, dan kemudian mencobanya. untuk menemukan manfaatnya yang paling be

344
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

aplikasi. Pemberian hadiah juga telah diterapkan pada hampir semua bidang kebijakan dan
pada banyak masalah selain deteksi asap, dan upaya EBP lainnya yang bermakna adalah
menemukan kondisi optimal agar 'insentif' dapat dimanfaatkan dengan baik.

Setelah menetapkan ruang lingkup dasar sintesis realis, mari kita beralih ke isu perdebatan
metodologis berikutnya, yang menyangkut sifat perbandingan yang akan dipengaruhi. Di sini,
saya mencari alternatif terhadap perbandingan efek bersih meta-analisis dan upaya tinjauan
naratif untuk membuat perbandingan holistik.
Bahan-bahan apa yang disajikan untuk perbandingan dalam sintesis realis?
Strategi dasar digambarkan pada bagian utama Gambar 1 dan didasarkan pada mekanisme
dominan (M), yang melaluinya diasumsikan bahwa suatu program berhasil. Realisme
berasumsi bahwa setiap kali mekanisme program dijalankan, maka akan menemui
keberhasilan dan kegagalan.
Program A kemudian ditinjau dengan tujuan untuk mencoba membedakan mata pelajaran
mana dan dalam keadaan apa program tersebut berhasil dan tidak berhasil.
'Sukses' digambarkan di seluruh gambar dengan garis padat dan 'kegagalan', cukup tepat,
ditandai dengan garis putus-putus. Tugas dasar pengkaji adalah menyaring berbagai manfaat
program (baik garis padat maupun putus-putus) untuk mencoba menemukan konteks (C+)
yang telah menghasilkan hasil yang solid dan sukses (O+) dari konteks tersebut (C–) yang
mendorong kegagalan (O–).
Proses peninjauan ini kemudian diulangi pada inisiatif-inisiatif lain yang memiliki mekanisme
mendasar yang sama dengan tujuan mengumpulkan berbagai permutasi keberhasilan dan
kegagalan. Dalam jargon realis, tujuannya adalah untuk membedakan dan mengumpulkan
bukti mengenai konfigurasi CMO positif dan negatif. Jika semua berjalan sesuai rencana,
saran kebijakan berikutnya adalah memilih pilihan kedua dan menghindari pilihan pertama.
Strategi yang terlibat dalam pengumpulan dan sintesis informasi ini juga memiliki beberapa
karakteristik penting dan khas. Dalam artikel pertama disebutkan bahwa, dengan cara yang
berbeda, baik meta-analisis dan tinjauan naratif berfokus pada 'pembelian terbaik'. Sebaliknya,
dalam sintesis realis, contoh negatif dan positif sama pentingnya. Proposisi seperti itu
mempunyai tempat dalam akal sehat dan metafisika. Nasihat ibu yang baik hati, 'sudahlah
sayang, kamu masih bisa belajar dari kesalahanmu', juga merupakan pepatah yang baik untuk
EBP – jika diadaptasi dengan kalimat bahwa keberhasilan kebijakan sangat bergantung pada
menghindari kesalahan sebelumnya dan juga dengan meniru keberhasilan. Dalam filsafat
sains, benih dari gagasan yang sama terletak pada dasar teori 'falsifikasi' Popper (1959).
Dalam metodologi ilmu sosial, contoh negatif juga mendapat tempat dalam strategi penelitian
yang dikenal sebagai 'induksi analitis' (Lindesmith, 1968).

Bagi Popper, mustahil untuk memverifikasi secara empiris proposisi kausal bahwa 'X selalu
diikuti oleh Y', karena menunggu saja mungkin merupakan kasus negatif yang belum
ditemukan. Sebaliknya, sangat mungkin untuk memalsukan hipotesis ini dengan benar-benar
menemukan contoh negatif tersebut. Oleh karena itu, agak bertentangan dengan hal ini,
bahwa kemajuan dalam ilmu pengetahuan bersifat falsifikasionis. Ciri khas sains, dalam
pandangan ini, adalah upaya terus-menerus untuk menguji teori-teori yang sudah diterima
dengan mencoba membuktikan bahwa teori-teori tersebut salah. Induksi analitis adalah
pengerjaan ulang gagasan, yang berpendapat bahwa cara terbaik untuk mempertajam suatu
teori adalah melalui pencarian contoh-contoh negatif. Misalnya, jika suatu teori telah dikembangkan, tampaknya d

345
Machine Translated by Google

Evaluasi 8(3)

mampu menjelaskan suatu kelas fenomena, hal ini dapat diperkuat lebih lanjut dengan memeriksa kasus-
kasus di 'margin' kelas tersebut. Konfrontasi dengan kasus negatif memaksa salah satu dari dua langkah.
Kita dapat melakukan penyesuaian terhadap teori asli yang memperluas cakupannya, atau kita dapat
mengatakan bahwa kasus negatif berada di luar cakupan teori awal dan beberapa hipotesis baru harus
dikembangkan untuk mencakup kasus yang tidak sesuai. Di sini kita menemukan landasan lain dalam
praktik ilmiah, yaitu menghindari pernyataan berlebihan dengan memberikan perhatian cermat pada
batasan penjelasan.

Walaupun manuver seperti ini mungkin terdengar sangat abstrak, namun persoalan ruang lingkup dan
batasan penjelasan ini sangatlah penting dalam metodologi evaluasi. Penelitian evaluasi di masa lalu
telah berubah dari optimisme yang berlebihan (dan pencarian obat mujarab universal) menjadi keputusasaan
(dan ratapan 'tidak ada yang berhasil').
Di tengah-tengahnya terdapat tujuan realistis. Program bekerja dalam keadaan terbatas dan bagi kaum
realis, penemuan kondisi ruang lingkup ini adalah tugas utama peninjauan dan sintesis. Keinginan ini
sangat penting mengingat pembuat kebijakan sering kali merupakan pengikut setia fesyen. Ide-ide kebijakan
memang cenderung bergerak secara bergelombang. Berita keberhasilan 'naming and shaming' di A, disusul
dengan peluncuran 'naming and shaming' di B, C dan D. 'Nol toleransi' terhadap E melahirkan nol toleransi
terhadap F, G, dan H. Berhasil ' multi-agensi yang bekerja di I mempunyai agen yang berlipat ganda di J,
K, L. Dengan latar belakang ini, penemuan kasus kegagalan program sama pentingnya dengan menemukan
hasil yang berhasil. Jika kita dapat menemukan di mana dan mengapa ide cemerlang tersebut gagal, kita
mempunyai petunjuk penting mengenai kapan dan bagaimana ide tersebut dapat berhasil. Strategi seperti
ini mungkin dapat meredam beberapa tren yang lebih keras dalam penerapan dan pelaksanaan inisiatif.

Menariknya, ide Popper mendapat banyak penolakan karena gambaran tentang cara para ilmuwan
menjalankan bisnisnya. Para penentang falsifikasionisme berpendapat bahwa tidak mungkin para peneliti
melakukan eksperimen yang bertujuan menemukan kasus-kasus negatif untuk membunuh anak-anak
mereka sendiri. Peneliti sejati, menurut argumen tandingan, adalah ahli verifikasi dan lebih memilih untuk
dibuktikan benar! Namun kebenaran kecil ini tidak berarti akhir dari 'semangat falsifikasionis'. Kesalahannya
adalah menganggapnya sebagai 'psikologi' penelitian. Hal ini tidak dimaksudkan sebagai aturan emas bagi
masing-masing peneliti: 'miliki ide cemerlang dan buktikan bahwa ide tersebut salah'. Melainkan tentang
bagaimana kumulasi pemahaman terjadi di seluruh bagian penelitian sehingga terjadi secara kolektif ketika
peneliti kedua mencoba memperbaiki kesalahan peneliti pertama, peneliti ketiga memperbaiki gagasan
peneliti kedua, dan seterusnya. Dengan kata lain falsifikasi merupakan metode resolusi pengetahuan
jangka panjang (Campbell, 1974). Dengan demikian, prinsip ini menempati domain yang sama dengan
meta-analisis, tinjauan dan sintesis dan sudah saatnya prinsip ini diformalkan dalam kanon.

Ciri khas berikutnya dari pendekatan tinjauan realis berkaitan dengan cara bukti dikumpulkan untuk
mengungkap pembelajaran kebijakan. Sekali lagi, izinkan saya membuat kontrasnya secara tajam.

1. Meta-analisis melakukan perhitungan untuk mengungkap 'pembelian terbaik'.

2. Tinjauan naratif menyampaikan teks untuk memahami 'kasus-kasus yang patut dicontoh'.
3. Sintesis realis menggali inkonsistensi untuk membangun 'teori program'.

346
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

Ide dasar dari tinjauan sistematis adalah untuk menarik pembelajaran yang dapat ditransfer dari
program dan inisiatif yang ada. Sintesis realis berasumsi bahwa penyampaian pelajaran terjadi
melalui proses pembangunan teori, bukan melalui penyusunan generalisasi empiris. Ada kesamaan
yang jelas di sini dengan pendekatan evaluasi yang 'didorong oleh teori' (Bickman, 1987; Chen dan
Rossi, 1992, Connell dkk., 1995; Pawson dan Tilley, 1997). Masing-masing dimulai dengan gagasan
bahwa program adalah dugaan yang mengambil bentuk, 'jika kita menerapkan program X, hal ini
akan melepaskan proses Y, yang akan menghasilkan Z'. Tugas evaluasi berdasarkan pandangan ini
adalah mengumpulkan bukti untuk melihat apakah proses tersebut terjadi sesuai rencana dan, jika
tidak, maka mengubah teori untuk memperhitungkan hasil yang berbeda.

Sintesis realis mempercepat proses ini melalui banyak sekali siklus dengan tinjauan sistematis
terhadap serangkaian program berbeda yang dimaksudkan untuk menggunakan mekanisme dasar
yang sama. Resolusi pengetahuan terjadi sebagai berikut. Prosesnya dimulai dengan program A,
yang kami temukan berfungsi dengan cara tertentu yang diharapkan untuk mata pelajaran tertentu.
Kami menerima temuan ini bukan hanya karena kami mampu menunjukkan korelasi yang tepat
namun juga karena kami mampu menghasilkan teori tentang cara kerjanya. Kami kemudian
membawa penjelasan ini ke program kedua B, yang bekerja seolah-olah menggunakan teori program
yang sama. Jika kinerja B persis seperti yang diperkirakan, maka kita telah mencapai perluasan
cakupan teori. Jika B memberikan hasil yang beragam (yang akan terjadi), kita perlu memperbesar,
mengubah, dan menetapkan ulang teorinya. Prosesnya berlangsung melalui ujian program C, D, E
dll.
Proses transfer kontingen teori ini (Shadish dkk., 1991) digambarkan pada Gambar 1 dengan panah
melengkung ke kiri dan ke kanan yang menghubungkan berbagai inisiatif.
Izinkan saya menghidupkan deskripsi abstrak ini dengan menggunakan contoh primitif. Mari kita
ambil contoh tema kebijakan modern yaitu 'pengungkapan informasi kinerja kepada publik' – yang
lebih dikenal sebagai 'naming and shaming'. Tujuan kebijakan ini adalah untuk mengidentifikasi
orang-orang yang bandel terhadap rekan/komunitasnya untuk mempermalukan mereka agar patuh.
Gagasan ini menyebar ke seluruh bidang peradilan pidana melalui skema yang mencakup:
penangkapan wajib terhadap laki-laki yang terlibat dalam kekerasan dalam rumah tangga; penerbitan
daftar non-pembayar pajak pemungutan suara di surat kabar; memasang nama-nama orang yang
dilarang masuk ke penduduk setempat dalam kampanye 'pub-watch'; mengidentifikasi produsen
kendaraan bermotor yang mobilnya paling mudah dicuri, dan sebagainya. Tujuan yang sama yaitu
rasa malu melalui keterbukaan informasi kepada publik kemudian diterapkan pada sektor kebijakan,
terutama melalui gagasan untuk menyebutkan sekolah-sekolah yang gagal untuk mempermalukan
mereka agar melakukan perbaikan diri. Modifikasi lebih lanjut terjadi dengan diterbitkannya 'tabel liga'
untuk mempermalukan sekolah-sekolah yang kinerjanya buruk agar menarik perhatian mereka, yang
kemudian diikuti dengan pemeringkatan rumah sakit untuk menarik perwalian agar membatalkan
daftar tunggu. Potensi ide ini tidak terbatas dan rencana sedang dibuat untuk mempublikasikan para
pencemar, pencemaran nama baik para perokok, penyiksaan terhadap para penganiaya dan sebagainya.
Bahkan tanpa adanya tinjauan formal terhadap bukti-bukti yang ada, jelas bahwa inisiatif-inisiatif
tersebut akan membuahkan hasil yang beragam. Di salah satu ujung kontinum ini adalah Ford yang
telah mengubah keamanan kendaraan mengikuti sendok kayu mereka dalam publikasi tabel liga
'twoking times' (pengambilan tanpa persetujuan pemilik) untuk semua merek mobil. Di sisi lain
terdapat banyak pengunjuk rasa radikal mengenai pajak yang sangat gembira ketika, setelah tidak
dibayar, nama mereka muncul di surat kabar lokal. Alasan atas hasil yang tidak konstan ini cukup
jelas. Itu

347
Machine Translated by Google

Evaluasi 8(3)

publikasi Indeks Kejahatan Mobil (www.homeoffice.gov.uk/carcrime/cti99.pdf), bersama dengan

kenaikan premi asuransi untuk model tertentu, memberikan kesan buruk bagi organisasi yang mata
pencahariannya bergantung pada sisi kanan harga diri publik. Sebaliknya, para pengunjuk rasa
pemungutan pajak, memiliki kredibilitas anti-kemapanan yang dibumbui oleh momen singkat mereka di
hadapan publik.

Sekarang, 'Rasa malu termasuk dalam kumpulan “emosi sadar diri”: rasa malu, malu, bersalah,
bangga, dan sombong' (Elster, 1999). Saya berpendapat, apa yang terjadi dalam beberapa kasus
negatif adalah bahwa mekanisme mempermalukan telah diterapkan pada subjek yang tidak sesuai
dalam situasi yang tidak tepat, sehingga menghasilkan hasil yang tidak terduga. Banyak pengunjuk
rasa pajak yang merasa termarginalkan dalam masyarakat sehingga disebutkan namanya hanya
merupakan sumber dari salah satu emosi sadar diri lainnya, yaitu 'kebanggaan'. Apa yang kita temukan
di sini adalah contoh spesifik dari ilmu sosial yang dikenal sebagai teori kelompok referensi (Merton,
1968). Teori Merton membandingkan 'kemapanan dalam kelompok' dengan 'marginal di luar kelompok',
dan ia mampu menjelaskan serangkaian perilaku di berbagai institusi dalam kaitannya dengan afiliasi
ini.

Kita dapat terlibat dalam membangun hipotesis Mertonian dengan memperluas teori embrionik kita
tentang keterbukaan publik. Tampaknya 'anggota yang bukan anggota yang bersifat antagonis' sangat
sulit untuk dipermalukan, sedangkan 'anggota yang aspirasional' sangat sensitif jika disebutkan
namanya. Hipotesis ini dapat diperdalam dengan meninjaunya kembali pada program selanjutnya. Teori
rasa malu muncul lagi dalam program lain, yang banyak dipromosikan pada tahun 1990an, dalam
bentuk penangkapan wajib jika ada kemungkinan kasus kekerasan dalam rumah tangga. Dalam
menindaklanjuti pengaduan tersebut, gagasan barunya adalah bahwa diskresi polisi untuk menangkap
tersangka harus dihilangkan. Selain menyeimbangkan kembali skala keadilan terhadap korban,
siasatnya adalah bahwa tersangka pelaku harus menghadapi cobaan berat dalam penangkapan dan
rasa malu publik yang diakibatkannya, yang diwakili oleh gosip lingkungan tentang wajah merah di
bawah lampu biru sebagai tersangka dimasukkan ke dalam mobil patroli.

Berdasarkan evaluasi skema tersebut (Sherman, 1992), dampak bersih dari penangkapan wajib
ternyata mendekati nol dan ditakdirkan untuk menjadi aib meta-analitik. Namun hasil agregat ini
menyamarkan dua efek penyeimbang. Pemeriksaan lebih dekat terhadap data menunjukkan bahwa
penangkapan di depan umum menimbulkan rasa malu (dan berkurangnya kekerasan dalam rumah
tangga) di komunitas 'terhormat', namun memicu kemarahan (dan bahkan meningkatkan kekerasan
dalam rumah tangga) di komunitas 'marginal'. Saya akan menyerahkan kepada pembaca untuk
menggunakan proses pemikiran Thomas Toff dan Gary Grunge, seiring dengan penerapan hukum yang
panjang terhadap mereka.
Implikasi kebijakannya adalah bahwa penangkapan yang bersifat diskresi mungkin merupakan ide yang
bagus, asalkan didasarkan pada teori yang benar (yakni, bahwa orang dalam yang secara lahiriah baik
takut akan kekuasaan yang dipermalukan, namun pihak luar yang antagonis tidak suka dipermalukan
karena memperlihatkan lebih banyak hal yang sama. ).
Karena ini hanyalah sebuah contoh hipotetis, saya akan membahas komplikasi lebih lanjut dari
skema penangkapan wajib agar dapat kembali ke poin metodologis. Apa yang saya coba tunjukkan
adalah proses di mana pengujian mekanisme intervensi yang sama hanya dalam dua atau tiga konteks
kebijakan yang kontras dapat membantu mendorong pengujian ulang dan pemfokusan kembali teori
program. Pemeriksaan lebih lanjut bagaimana caranya

348
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

(dan jika) rasa malu menimpa para dokter, pedofil, pembuat polusi, dan pegawai negeri, tidak
diragukan lagi, akan menambah kehalusan teori yang muncul.
Hal terakhir dan krusial yang perlu ditekankan kembali mengenai penjelasan ini adalah persepsi
yang tampaknya tidak lazim mengenai apa yang dimaksud dengan 'generalisasi' berdasarkan bukti.
Realisme menghindari gagasan untuk meniru pembelian terbaik dan kasus-kasus yang patut dicontoh.
Intervensi sosial sangatlah rumit sehingga kecil kemungkinannya untuk melakukan intervensi tersebut
secara lock, stock and barel, dan bahkan jika bisa dilakukan, intervensi tersebut sangat sensitif
terhadap konteks sehingga intervensi yang 'sama' bisa saja gagal. Namun, apa yang dapat dilakukan
dengan melakukan perencanaan dalam sistem terbuka adalah dengan mengumpulkan pengalaman
luas mengenai pilihan-pilihan dan kemungkinan-kemungkinan serta mencari tahu hal-hal apa yang
dapat diterapkan pada subjek-subjek tertentu dan dalam situasi-situasi apa. Kita dapat melipatgandakan
pengalaman tersebut dengan melihat lebih jauh dari kategori administratif dan melihat ide-ide
kebijakan yang penting. Proses seperti ini akan memberikan kesempatan yang lebih baik bagi
pembuat kebijakan untuk memperbaiki kesalahan yang telah dilakukan di masa lalu – dan tentunya
tidak menghindari kesalahan yang baru. Pengetahuan kumulatif tentang siapa, di mana dan mengapa
keberhasilan program tidak terikat pada perlengkapan setiap inisiatif tetapi terjadi melalui proses
abstraksi. Sintesis realis berakhir dengan teori.
Pemikiran seperti ini mungkin akan menimbulkan teror di benak para pendukung setia EBP, yang
biasanya mempunyai misi empiris untuk menghindari kecenderungan teori normatif yang serba tahu
atau aspirasi teori sosiologi post-modern yang tidak tahu apa-apa. Oleh karena itu, saya harus
menekankan bahwa sintesis realis menginginkan 'teori' hanya dalam kedoknya yang paling berguna:
'teori jarak menengah'.
Teori-teori yang terletak di antara hipotesis-hipotesis kecil namun penting yang berkembang pesat
selama penelitian sehari-hari dan upaya-upaya sistematik yang mencakup semua untuk
mengembangkan sebuah teori terpadu yang akan menjelaskan semua keseragaman perilaku sosial,
organisasi sosial, dan keseragaman sosial yang teramati. mengubah. (Merton, 1968:39)

Insentif
Bagian ini menyajikan sketsa sintesis realis dalam praktiknya.
Perlu diperhatikan terlebih dahulu bahwa metode ini memiliki banyak perlengkapan teknis yang sama
dengan pendekatan arus utama. Hal ini dimulai dengan latihan besar-besaran dalam menyusun
database, dicari dan diekstraksi secara sistematis dari penyelidikan sebelumnya. Setelah itu 'logika
realis' muncul, yang mendorong proses EBP ke arah yang agak berbeda dan inilah yang saya
konsentrasikan di sini.
Sebagai contoh, saya mengambil contoh program tertua dan mungkin paling sederhana yang
pernah ada dalam daftar pembuat kebijakan: 'give-away' atau 'hibah' atau 'subsidi' atau 'pinjaman'
atau 'premium' atau 'reward'. Insentif semacam ini mendapat tempat di setiap bidang kebijakan dan
mungkin juga dimasukkan ke dalam tinjauan program terpisah di bidang kesehatan, keselamatan,
transportasi, koreksi, perumahan, pendidikan, dan sebagainya. Sintesis realis bersifat lintas sektoral,
jadi saya akan meninjau studi kasus dari semua bidang ini.
Tempat perbandingan dalam sintesis realis adalah mekanisme program, jadi saya mulai dengan
mengidentifikasi teori program yang mendasari di balik serangkaian besar insentif. Jarang sekali ada
gagasan untuk menawarkan uang atau barang demi kepentingan mereka sendiri; hampir selalu ada
motif tersembunyi untuk mengubah perilaku. Secara umum, mekanisme generatif yang diantisipasi
adalah bahwa insentif menawarkan kepada masyarakat yang kurang mampu

349
Machine Translated by Google

Evaluasi 8(3)

mempunyai kemampuan untuk mengambil bagian dalam aktivitas di luar kemampuan normalnya atau di luar
lingkup minat normalnya, yang kemudian mendorong aktivitas tersebut berlanjut dan dengan demikian
memberikan manfaat jangka panjang bagi dirinya atau komunitasnya.
Pada bagian ini saya akan menelusuri nasib proposisi tersebut melalui serangkaian penerapan, mengikuti
rumus sintesis realis. Semua aplikasi yang sedang dibahas menemui kesuksesan yang beragam. Untuk setiap
kasus, saya akan mengidentifikasi pemenang dan pecundang, dan mencoba mendeteksi perbedaan
kontekstual yang menghasilkan perpecahan seperti itu.
Dalam membuat perbandingan di berbagai bidang kebijakan, saya akan mencoba melihat beberapa pola
yang mendasari keberhasilan dan kegagalan. Tujuannya adalah untuk mencoba mengekstraksi teori jangka
menengah mengenai kondisi optimal untuk pemberian insentif. Saya tekankan lagi bahwa berikut ini adalah
sketsa embrionik. Sayangnya, penelitian ini hanya akan menggunakan sedikit penelitian orisinal dan kedalaman
analisis masing-masing penelitian akan sangat minim, dan dalam banyak kasus hanya bergantung pada
firasat dan desas-desus yang saya terima. Salah satu pencapaian besar meta-evaluasi, apa pun kodenya,
adalah menghasilkan tinjauan yang mendalam dan sistematis. Upaya saya sangat mendalam dan tidak
sistematis; tujuannya adalah untuk menunjukkan potensi suatu metode daripada memberikan dasar bukti
yang kuat.

Enam Penerapan Insentif

1) Kesehatan Penerapan pertama kami pada 'penghentian merokok' dapat ditemukan sebagai upaya yang
berdiri sendiri atau sebagai bagian dari paket yang lebih komprehensif berupa 'larangan di tempat kerja',
'kampanye informasi', 'terapi', 'tindakan penetapan harga' dan sebagainya. pada. Yang terakhir ini juga
merupakan bagian dari perusahaan yang biasanya disimpan dalam tinjauan penelitian. Yang saya maksud di
sini adalah Terapi Penggantian Nikotin (NRT) dan khususnya, tentu saja, inisiatif yang menawarkan terapi ini
secara gratis kepada subjek sebagai insentif untuk memulai proses berhenti merokok. Operasi ini sering
dikenal dengan sebutan skema 'gratis satu minggu' dan biasanya ditargetkan pada perokok miskin
(www.haznet.org.uk).
Teori program yang mendasarinya adalah bahwa NRT merupakan barang yang cukup mahal sehingga
dengan memperkenalkannya secara gratis, penghematan yang diperoleh dari tagihan rokok akan cukup besar
sehingga pembelian NRT berikutnya dapat disesuaikan dengan anggaran yang terbatas.

Hasil dari program-program tersebut tidak merata. Beberapa perokok mengambil langkah pertama untuk
menjadi mantan perokok dengan terus membeli produk mereka sendiri. Bagi yang lain, donasi tunggal adalah
satu-satunya pertemuan nyata dengan NRT. Tentu saja terdapat berbagai alasan yang menyebabkan
perbedaan ini, namun satu kondisi kontekstual yang menentukan tampaknya adalah keseimbangan anggaran
itu sendiri. Teori program berasumsi bahwa keuangan rumah tangga akan ketat, namun tidak terlilit utang dan
berpotensi kacau. Mekanisme program yang dimaksudkan adalah perhitungan rasional awal yang kemudian
dibangun menjadi perilaku jangka panjang – dengan adanya awal minggu bebas rokok, penghematan
sebesar £X seminggu untuk pembelian rokok, sebenarnya akan melebihi pengeluaran minggu depan sebesar
£Y seminggu pada patch, sehingga cadangan disimpan sebelum pengeluaran. Logika aktuaria seperti itu
hancur ketika dihadapkan pada utang yang sangat besar sebesar £Z per minggu, ketersediaan 'rokok-euro' di
pasar gelap dengan harga £U per minggu, dan teknik bertahan hidup dalam melakukan pembayaran kepada
siapa pun yang paling menderita pada minggu tersebut.

Para pembuat kebijakan dan praktisi cenderung tidak mengambil keputusan dalam hal ini

350
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

penemuan dan merenungkan kegunaan 'gratis dua minggu' atau 'resep NHS gratis'. Namun sintesis
realis mungkin akan mundur setelah mencapai sedikit pembelajaran dan mengembangkan teori tyro
tentang kendala kontekstual dari anggaran insentif yang kacau dan berhutang tinggi (C1) . Kami
sekarang bergerak lintas sektor untuk menyelidiki masalah ini lebih lanjut.

2) Keamanan Survei menunjukkan bahwa keluarga-keluarga miskin cenderung mengalami sebagian

besar kebakaran rumah tangga dan tempat tinggal mereka cenderung kurang terlindungi oleh alarm
asap (Macdonald dan Roberts, 1995). Menggabungkan keduanya akan mendorong inisiatif dalam
bentuk distribusi gratis dari alarm tersebut. Mekanisme standar kami diterapkan. Sumbangan suatu
barang yang biasanya bukan merupakan bagian dari prioritas pengeluaran rumah tangga, jika diterima,
ditetapkan, dan dipelihara akan memberikan perbedaan jangka panjang terhadap keamanan rumah.
Kebakaran rumah tangga jarang terjadi, sehingga terbukti sulit mendapatkan data pasti mengenai
insiden, cedera, dan kematian untuk mengevaluasi klaim tersebut.
Namun, data proses beragam dan seringkali mengecewakan, menunjukkan bahwa alarm sering kali
tidak dipelihara dengan baik dalam jangka menengah hingga panjang – dengan baterai yang hilang,
mati, dan tidak dapat diganti.
Kita mempunyai teori siap pakai untuk menjelaskan nasib yang campur aduk tersebut. Dalam banyak
hal, kita tampaknya mengulangi kasus pertama – alarm tidak dijaga dengan baik karena alarm bukan
merupakan prioritas mendesak dalam konteks anggaran yang kacau dan berhutang banyak. Namun ini
bukanlah keseluruhan cerita mengenai kasus-kasus negatif. Baterai, ternyata, sering kali hilang pada
model awal karena baterai menemukan tempat yang sangat berguna sebagai pengganti remote TV atau
Walkman. Mereka sering kali mati dan tidak diketahui dalam sistem tanpa peringatan daya rendah.
Seringkali mereka tidak dapat diganti jika ada peringatan seperti itu, tetapi pemasangannya canggung
dan jika tidak ada cadangan. Oleh karena itu, masalah mendasarnya adalah kecerdasan dan
kebijaksanaan serta sarana yang diperlukan.

Dengan mengabstraksikan hal-hal khusus dari contoh tersebut, sekarang kita mempunyai tiga contoh
konteks tandingan yang mengancam kemanjuran program insentif jangka panjang.

• (C1) Kendala anggaran. • (C2)

Penggunaan alternatif (utilitas pertukaran). • (C3) Batasan
teknis penggunaan (daya tahan dll).

Tugas selanjutnya adalah menerapkan teori kecil primitif ini dengan mempertimbangkan contoh-
contoh lebih lanjut. Sebelum kita melakukannya, ada baiknya kita mengambil satu langkah mundur,
untuk melihat apakah kasus-kasus negatif dan dua konteks tambahan, memberikan nuansa lebih lanjut
untuk memahami contoh NRT. Patch NRT tidak berguna untuk hal lain (sejauh yang saya tahu!) Jadi
pertukaran (C2) tidak ada gunanya. Namun, ketahanan dan kendala teknis (C3) merupakan
permasalahan nyata dalam penggantian nikotin. Rezim penarikan tidak akan berhasil kecuali jika
dilakukan secara bertahap dan dosis patch diatur secara hati-hati ke bawah. Dan, pada versi permen
karet, bahkan teknik pengunyahan (mengunyah dan parkir) perlu disempurnakan (Thompson dan
Hunter, 1998).

3) Koreksi Contoh saya berikutnya adalah 'bantuan transisi untuk mantan pelanggar'. Saya
mengandalkan sumber materi di sini pada Money, Work and Crime (1980) karya Rossi dkk. Itu

351
Machine Translated by Google

Evaluasi 8(3)

Gagasan dasar yang diteliti adalah bahwa dengan memberikan sejumlah tunjangan pendapatan
minimum selama periode segera setelah pembebasan dari penjara, keseimbangan insentif akan
diubah untuk mendukung lapangan kerja dan melawan kejahatan. Latar belakang inisiatif ini adalah
pengetahuan bahwa mendapatkan pekerjaan adalah salah satu perlindungan terbaik terhadap
residivisme dan fakta bahwa pada saat itu, di negara-negara bagian yang terlibat, mantan
narapidana tidak memenuhi syarat untuk menerima pembayaran pengangguran. Untuk bertahan
hidup, mereka harus bergantung pada keluarga dan teman, yang sering kali berada di pinggiran
masyarakat.
Penelitian Rossi menghasilkan salah satu temuan klasik penelitian evaluasi yang beragam.
Eksperimen Bantuan Transisi (TA) 'gagal' karena kelompok eksperimen yang menerima hibah
kembali mengalami pelanggaran dengan tingkat yang sama seperti kelompok kontrol yang tidak
disubsidi. Pada dasarnya, penulis berpendapat bahwa ada penjelasan 'penyeimbang' terhadap
dampak buruk ini, dimana TA memang mempunyai 'efek insentif' yang mengurangi kebutuhan
untuk menghasilkan pendapatan dari kejahatan, namun juga memiliki 'efek disin-sentif' yang
mengurangi kebutuhan untuk mencari pekerjaan untuk bertahan hidup. Sintesis realis berupaya
mencari konteks yang membedakan kedua hasil tersebut: jenis mantan pelaku kejahatan apa dan
situasi apa yang terkait dengan penggunaan insentif secara positif atau negatif?

Dua gagasan dari contoh kita sebelumnya berguna dalam menjelaskan konsekuensi negatif
proyek TA. Mantan pelaku kejahatan mempunyai anggaran yang paling kacau (C1) dan pembayaran
tunai mempunyai utilitas pertukaran 'total' (C2). 'Kegagalan' pembayaran bantuan dapat dengan
mudah dijelaskan – dana hibah dapat dengan mudah digunakan untuk 'menghindari pekerjaan'
atau 'meningkatkan kecanduan narkoba' atau dalam hal ini 'merencanakan kejahatan yang lebih
baik' sesuai dengan hasil yang diharapkan. Namun yang juga kita perlukan dari sumber penelitian
adalah beberapa ceruk kontekstual yang bisa mengatasi konsekuensi suram ini.
Penelitian Rossi et al. memberikan beberapa petunjuk seperti itu. Di antara sub-kelompok
mantan narapidana yang lebih sukses adalah mereka yang kembali ke keluarga mereka setelah
dipenjara. Skenario seperti ini meningkatkan jumlah orang yang terlibat dalam pengambilan
keputusan sehari-hari mengenai apakah TA akan digunakan untuk 'bekerja', 'istirahat' atau 'bermain'.
Tampaknya demokrasi dalam negeri dalam dosis kecil saja telah memberikan konteks yang
kondusif untuk menekankan dampak positif dari program ini. Kita juga tahu bahwa dukungan yang
diberikan oleh rumah tangga yang tidak merokok sangat membantu dalam berbagai inisiatif berhenti
merokok. Kita dapat mencoba hipotesis yang lebih abstrak dan dapat dialihkan dengan
mengembangkan gagasan bahwa 'memperluas kepemilikan' (C4) dari pemberian, hibah, atau
subsidi akan meningkatkan konsekuensi positifnya.
Kemajuan lain dari kasus Pemasyarakatan bahkan lebih jelas lagi.
Inisiatif yang dilakukan sebelum investigasi yang dilakukan oleh Rossi dkk., yang mengecualikan
narapidana yang memiliki riwayat penyalahgunaan narkoba atau alkohol, secara umum menunjukkan
hasil yang lebih positif dibandingkan dengan penyelidikan TA yang dilakukannya. Hal ini
mengundang kita untuk merenungkan gagasan yang muncul bahwa penutupan pasar alternatif (C5)
untuk insentif mungkin merupakan konteks kunci keberhasilan penerapannya.
Untuk memudahkan pemaparan, izinkan saya menambahkan ke dalam daftar dua batasan
kontekstual tambahan mengenai insentif.

• (C4) Demokratisasi kepemilikan. • (C5)

Intervensi dari pasar pesaing.

352
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

4) Transportasi Studi kasus kami berikutnya memberikan kontras domain yang brutal untuk
menyempurnakan lebih jauh pengetahuan kita tentang beberapa konteks penting yang sudah
muncul. Mekanisme insentif juga muncul untuk tujuan komunal seperti mengurangi kemacetan
dan polusi. Hal ini juga cenderung membuahkan hasil yang beragam dan skema 'pinjaman sepeda
gratis di pusat kota' memberikan contoh lain dari inisiatif penderita skizofrenia. Sepeda-sepeda ini
sangat populer namun tidak berumur panjang, dengan kerusakan dan hilangnya sepeda sebagai
batu sandungan utama (www.ibike.org/freebike.htm). Terlepas dari kenyataan bahwa kita
berurusan dengan 'pinjaman' yang ditargetkan secara publik dan bukan pada individu tertentu,
banyak kendala kontekstual yang sama juga berlaku.
Jadi sepeda, meskipun dicat secara khusus, memiliki kegunaan pertukaran (C2) jika dicuri atau
'diperintahkan' untuk penggunaan pribadi. Sayangnya, barang gratis tidak dicintai dan dihargai
sebagaimana barang milik pribadi sehingga biaya perbaikan dan kerusakan sering kali melebihi
perkiraan anggaran (C3). Mungkin yang paling mengejutkan adalah saran (komunikasi pribadi
dari 'inspektur X') bahwa, di beberapa lokasi wisata, perusahaan penyewaan sepeda swasta
yang sudah ada di pasar (C5) bertanggung jawab atas beberapa 'kesulitan' yang didapat dalam
pemeliharaan armada di skema publik.
Namun perbandingan yang paling menarik terletak pada soal kepemilikan. Dari kasus
sebelumnya disimpulkan bahwa perluasan kepemilikan (C4) dapat menghasilkan penggunaan
bantuan transisi yang lebih bijaksana. Bahkan dalam contoh tersebut, hipotesisnya adalah
hipotesis yang memenuhi syarat, dan mengasumsikan bahwa lingkaran yang meluas adalah
lingkaran yang berbudi luhur (keluarga) dan bukan lingkaran setan (geng). Skema yang ada saat
ini, tentu saja, sudah menjadi milik publik, sehingga memerlukan kualifikasi untuk diterapkan dalam arah yang berlawa
Seberapa 'terbuka' seharusnya akses terbuka? Skema 'Gratis pada saat penggunaan' memberikan
kita variasi pada C4, yaitu 'ambiguitas kepemilikan'. Kita tidak tahu apakah orang yang membawa
sepeda akan memarkirnya di salah satu titik pertukaran yang ditentukan, membawanya pergi
untuk perjalanan pulang, atau berangkat menuju matahari terbenam. Oleh karena itu, skema-
skema tertentu telah mengikuti jalur menuju bentuk penjatahan atau penargetan (C6), yaitu suatu
bentuk akses terbatas terhadap 'pengguna yang ditunjuk'. Alternatifnya adalah dengan
menggunakan konteks lain yang agak ganjil dalam skema ini, yaitu 'pengawasan' dengan kata
lain menggunakan sesuatu seperti 'skema sipir' atau istilah modern yang setara dengan 'tempat
parkir cerdas' dan 'sepeda dengan chip' ( C7 ). Yang ditambahkan ke dalam catatan adalah ini.

• (C6) Membatasi pengguna. •

(C7) Menjaga insentif.

5) Perumahan Salah satu bentuk subsidi publik yang paling awal adalah 'hibah perbaikan
properti'. Sekali lagi mekanisme dasar berlaku. Perumahan, tentu saja, mengambil bagian yang
cukup besar dari sebagian besar anggaran rumah tangga dan idenya adalah untuk memberikan
subsidi (misalnya isolasi, atap atau anti lembab) yang akan 'membayar sendiri' dalam jangka
panjang, sehingga memungkinkan penerima yang lebih miskin untuk mendapatkan subsidi.
kesempatan untuk meningkatkan kualitas hidup dalam hal lain. Dan, sekali lagi, kita mempunyai
kebijakan populer yang agak terhambat oleh hasil yang beragam (Leather, 2000).
Skema seperti ini mengalami sebagian besar kendala kontekstual standar kami. Kita kembali
lagi dengan (C1) dan upaya untuk menerapkan insentif ke dalam anggaran yang kacau balau.
Sebagian besar skema perumahan berbentuk subsidi dan bukan give-away sehingga melibatkan
perhitungan 'penghematan di masa depan' yang mengacaukan contoh pertama kami. Ada

353
Machine Translated by Google

Evaluasi 8(3)

kemungkinan adanya pertukaran utilitas (C2) dengan kecenderungan beberapa bahan bangunan
'berjalan' dari pemakaian pada hunian yang diperuntukkan. Daya tahan (C3) dan kegagalan untuk
melindungi dari pasar pesaing (C5) juga merupakan masalah, dengan skema yang menarik upaya
suram dari para pembangun 'koboi', yang menawarkan untuk mengurus dokumen dan menjaga
biaya tambahan tetap rendah. Dan hal ini diikuti, seperti yang sering terjadi, dengan peningkatan
pengawasan (C7) pada skema tersebut.
Namun permasalahan utama dalam skema ini adalah penyerapan dan penargetan (C6). Skema
ini ditujukan untuk rumah tangga termiskin dan perumahan yang paling tidak layak huni, namun hal
tersebut tidak selalu berakhir dengan baik. Pada titik ini kita dapat memperkenalkan kesulitan
kontekstual klasik lainnya, yaitu 'hambatan birokrasi' dalam menargetkan dan membatasi
permintaan. Ini sebenarnya adalah sub-aspek konteks (C6) tetapi saya akan membuat nomenklaturnya
tetap sederhana dengan menyebutnya (C8). Dana bantuan untuk perbaikan biasanya ditentukan
berdasarkan kemampuan, namun mereka yang tidak memiliki kemampuan finansial sering kali juga
merupakan mereka yang tidak mempunyai niat dan kemauan untuk mewujudkannya. Namun, para
pengisi formulir yang lazim, meskipun berada pada batas atas kualifikasi pendapatan, sering kali
berakhir dengan loteng berisi busa. Kami menambahkan ini ke daftar periksa.

• (C8) Kendala birokrasi dalam mengakses insentif.

Salah satu tanggapan terhadap hasil yang beragam dari hibah perbaikan properti datang dalam
bentuk perbaikan kelompok. Hal ini dikenal dalam perdagangan perumahan sebagai 'menyelubungi'
dan dalam perdagangan sintesis realis sebagai 'pelebaran kepemilikan' (C4). Ketimbang menargetkan
hunian individu, keseluruhan teras, jalan, atau kawasan dipilih untuk perbaikan kolektif. Dan dalam
kasus-kasus ini, teori program juga diperluas, melampaui gagasan untuk membebaskan sumber
daya rumah tangga dan diperluas hingga mencakup penurunan perpindahan penduduk dan
memperkuat kebanggaan masyarakat.
Tentu saja, membungkus telah menemui kesuksesan yang beragam. Para koboi dikumpulkan dan
muatan tetap berada di truk, pada umumnya, dengan izin kontrak pusat.
Namun perbaikan yang dilakukan secara berkelompok membutuhkan biaya yang mahal, terkadang
menyebabkan duplikasi pekerjaan yang sudah dilakukan, dan dapat menimbulkan rasa iri di daerah
sekitar. Perbedaan-perbedaan ini mungkin disebabkan oleh perubahan kecil dalam konteks program.
Selain 'memperluas' kepemilikan suatu skema, hal ini juga 'mengeksternalisasi' kendali insentif
kepada otoritas lokal atau asosiasi perumahan (C9).

• (C9) Kontrol eksternal terhadap kepemilikan insentif.

6) Pendidikan Contoh terakhir saya adalah skema yang bertujuan untuk 'memperluas partisipasi'
(WP) dalam pendidikan tinggi. Mekanisme yang lazim muncul kembali dalam bentuk lain.
Insentif dalam bentuk hibah yang ditingkatkan untuk siswa yang kurang beruntung akan
memungkinkan mereka untuk menikmati (pada akhirnya) manfaat karena memiliki kualifikasi yang
baik untuk karir yang bermanfaat. Saat ini ketentuan tersebut kemungkinan besar berbentuk
pembebasan pembayaran biaya dibandingkan dengan pemberian cek hibah, namun alasan yang
sama juga berlaku, begitu pula dengan batasan kontekstual. Seperti biasa, konfigurasi batasan
sebenarnya sedikit berbeda. Hal ini khususnya terjadi karena kebijakan WP di Inggris telah
mengalihkan perhatian selama bertahun-tahun dari fokus individu (insentif yang diberikan kepada
mahasiswa miskin) ke fokus kelembagaan (insentif bagi universitas untuk merekrut dan
mempertahankan mahasiswa 'non-standar') . Daripada memberitahu

354
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

cerita secara kronologis atau dengan memprioritaskan kendala kontekstual utama, saya akan menggunakan
kasus ini sebagai 'ringkasan' dan hanya mengikuti berbagai C secara mekanis seperti yang muncul dalam
perjalanan lintas domain kami.
(C1) Anggaran yang kacau Seperti yang telah kita lihat, kendala klasik dalam pemberian insentif terjadi
ketika pendanaan ditawarkan dalam anggaran yang 'tidak dapat diprediksi' untuk mengimbangi biaya
'sebagian' atas nama manfaat 'yang tidak dapat ditentukan' di masa depan. Semua ini dicontohkan dalam
menawarkan dana hibah siswa untuk mata pelajaran berpenghasilan rendah (Archer dan Hutchings, 2000).
(C2) Utilitas pertukaran Ungkapan populer saat ini untuk 'siswa' adalah 'penghindar pajak'. Kebenaran
di balik stereotip ini adalah bahwa pinjaman atau hibah disertai dengan keuntungan pajak, memiliki utilitas
pertukaran yang tinggi dan dengan demikian dapat mendanai elemen gaya hidup siswa yang lebih
berkaitan dengan Saturnalia dibandingkan dengan beasiswa. Siswa non-standar memiliki angka putus
sekolah di atas rata-rata. Meskipun hal ini mungkin lebih berkaitan dengan sikap 'bersikap dingin'
dibandingkan dengan sikap 'berlutut', faktanya tetap bahwa insentif tunai sering kali digunakan untuk
tujuan lain selain yang dimaksudkan.
(C3) Masalah teknis dan daya tahan Ini adalah masalah yang lebih kecil untuk insentif WP – kecuali
jika seseorang berada di ujung kekacauan birokrasi (misalnya orang tua tunggal yang menerima
keterlambatan pembayaran pinjaman yang sangat dibutuhkan pada semester ini).

(C4) Memperluas kepemilikan Banyak universitas gagal menindaklanjuti inisiatif WP dalam penerimaan
mahasiswa baru dengan melakukan modifikasi pada praktik pengajaran dan pembelajaran 'lepas tangan'
yang klasik. Kita telah menghadapi masalah ini beberapa kali sebelumnya – insentif terhadap subjek ini
tidak dapat mengatasi kelambanan masyarakat yang lebih luas. Kita juga telah menghadapi respons
tersebut sebelumnya – jika kepemilikan atas kebijakan dapat disebarluaskan, maka tujuan kebijakan
tersebut akan lebih mungkin tercapai. Oleh karena itu, lembaga-lembaga seperti Dewan Pendanaan
Pendidikan Tinggi di Inggris baru-baru ini merumuskan serangkaian inisiatif WP yang ditujukan untuk
institusi maupun individu, di antaranya adalah bentuk insentif lain yang dikenal sebagai 'pelebaran premi
partisipasi'.
(C5) Pasar saingan Insentif WP yang ada di Inggris saat ini ditawarkan dengan latar belakang pesatnya
ekspansi sektor Pendidikan Tinggi (PT) dan iklim ekonomi yang secara umum membaik. Dalam kondisi
seperti ini, dampak ekonomi dari menjadi 'lulusan' menjadi teredam, begitu pula daya tarik insentifnya.

(C6) Membatasi pengguna Premi WP untuk universitas ditargetkan pada kelompok yang 'kurang
terwakili'. Pendapatan yang diperoleh dari jumlah siswa meningkat untuk setiap siswa yang diterima dari
daerah tertinggal (kode pos yang relevan diidentifikasi dari analisis GIS sebelumnya, lihat www.hefce.ac.uk/
perfind.2000). Secara bijaksana, ada harapan bahwa sistem subsidi yang ditingkatkan masih belum dapat
diterapkan pada seluruh spektrum pendidikan tinggi. Tanggapan universitas terhadap insentif ini dapat
bervariasi, mulai dari penggunaan dana tambahan untuk reformasi 'dukungan mahasiswa' hingga sekadar
'pengejaran premi' dengan memastikan bahwa petugas penerimaan dilengkapi dengan informasi kode
pos yang relevan.

(C7) Pengawasan insentif Contoh saya sebelumnya menunjukkan bahwa insentif yang mudah
dipantau adalah yang terbaik. Membedakan pengejaran premium WP dari peningkatan kapasitas WP sulit
untuk dikatakan.
(C8) Kendala Birokrasi Sistem Inggris (untuk individu berpendapatan rendah) untuk memperoleh
dukungan keuangan merupakan bagian dari aparat yang sama yang mengelola pinjaman mahasiswa dan
dibentuk pada saat yang sama dengan diperkenalkannya secara luas

355
Machine Translated by Google

Evaluasi 8(3)

Biaya kuliah DIA. Di tengah ketidakjelasan administratif ini, persepsi (yang salah) bahwa pembayaran
iuran adalah wajib dikatakan memiliki tanggung jawab yang besar terhadap rendahnya penyerapan
insentif WP.
(C9) Eksternalisasi kontrol Menyebarkan poin untuk menerima insentif WP mungkin, menurut teori tyro
kami, adalah pedang bermata dua. Di Inggris, juri masih belum mengetahui apakah berbagai premi yang
ditawarkan telah menciptakan WP atau hanya 'industri WP'.

Saya berharap contoh-contoh yang terpotong ini mulai memberikan contoh sintesis realis. Jika peneliti
terapan siap bekerja pada abstraksi tingkat menengah ini, maka manfaat pasti akan mengalir. Tahap
pertama dari kasus ini cukup jelas dari tinjauan mini ini: tidak hanya program-program tersebut memiliki
mekanisme perubahan yang sama, namun hambatan-hambatan yang menghambat keberhasilan program-
program tersebut juga berulang di berbagai bidang kebijakan, dan banyak hal yang dapat dipelajari
dengan memetakan dampaknya. hambatan bersama. Saya yakin, tahap kedua juga mulai terlihat:
kesuksesan bergantung pada konfigurasi subjek dan keadaan yang tepat.

Memberikan subsidi kepada mereka yang anggarannya kacau akan memerlukan 'penyempurnaan' inisiatif
lebih lanjut, dan penggabungan aspek program lainnya seperti 'memperluas kepemilikan' atau 'penargetan'
atau 'pengawasan'. Kombinasi yang tepat akan selalu bergantung pada konteks, namun penelitian harus
mampu mengidentifikasi serangkaian konfigurasi jangka menengah yang positif. Tahap ketiga sintesis
realis terletak secara laten dalam contoh ini. Kepercayaan yang diberikan peneliti terhadap berbagai
proposisi yang muncul dari tinjauan tersebut tidak hanya terletak pada bukti dari kasus yang ditinjau. Kami
menerima beberapa teori ini karena teori tersebut sudah familiar dalam jenis penelitian lain di disiplin ilmu
lain. Beberapa penjelasan di atas memerlukan gagasan-gagasan jangka menengah dari teori pilihan
rasional, teori kelompok referensi, dan seterusnya (Pawson, 2000). Sintesis yang tepat akan membuat
teori-teori yang masih ada ini terlihat lebih jelas. Tinjauan penelitian tidak disampaikan ke tabula rasa.

Teori dan bukti akan bekerja paling baik jika keduanya bertemu di tengah-tengah.

Kesimpulan

Ringkasnya, proses tinjauan sistematis, sintesis penelitian, meta-analisis, atau apa pun sebutannya,
sangatlah penting dalam pengembangan kebijakan berbasis bukti. Hal ini mewujudkan prinsip utama
membangun inisiatif dengan belajar dari keberhasilan dan kegagalan masa lalu. Hal ini tidak melibatkan
pertarungan dengan penjaga gerbang, tidak ada pengambilan sampel pemangku kepentingan, tidak ada
kelompok kontrol yang menganggur, tidak ada observasi terhadap subjek, tidak ada tindak lanjut jangka
panjang, dan tentu saja tidak ada program yang harus dijalankan dan dipelihara (sehingga biayanya
sangat murah!). Perpaduan yang hati-hati antara yang lama dan yang baru (proyek percontohan dan
tinjauan sistematis) harus menjadi keharusan sebagai dasar bagi semua pengembangan kebijakan dan
program. Namun harus diakui bahwa permasalahan dalam menemukan kriteria yang tepat untuk membuat
penilaian meta-evaluatif masih belum terselesaikan. Sepasang artikel ini telah memperingatkan terhadap
dua kutub ekstraksi aritmatika yang kejam yaitu 'kesuksesan bersih' dan ekstraksi intuitif 'contoh' sebagai
panduan praktik terbaik dan diharapkan memberikan beberapa petunjuk menuju 'cara ketiga' yang
berpotensi lebih menguntungkan.

Jika argumen di sini benar, bahkan kurang lebih, maka yang diperlukan adalah melakukan hal tersebut

356
Machine Translated by Google

Pawson: Kebijakan Berbasis Bukti: Janji 'Sintesis Realis'

bergerak melampaui contoh janji yang dikembangkan di sini. Sebuah studi berkelanjutan
mengenai insentif dapat dengan mudah mengikuti arahan yang disarankan. Dan, setelah itu,
langkah sampingan ke dalam beberapa mekanisme kebijakan utama lainnya tidaklah sulit untuk dibayangkan.
Kebijakan dan program ditujukan untuk mewujudkan perubahan individu dan sosial dengan cara
apa pun yang sah, sopan, jujur, dan jujur. Namun sebenarnya, para pembuat kebijakan dan
praktisi hanya mampu menawarkan sedikit cara untuk mendorong perubahan (pernyataan di sini
tidak dimaksudkan untuk mencerminkan kurangnya imajinasi para perancang program, namun
terbatasnya sifat insentif yang dapat mereka manfaatkan) . Hasilnya adalah teori program yang
sama berulang dari satu inisiatif ke inisiatif lainnya dan berpindah dari satu domain ke domain
lainnya. Sintesis realis mempunyai banyak ruang untuk menyelidiki 'toleransi nol', 'pengakuan
dan mempermalukan', 'kerja sama', 'penargetan kinerja', 'kemitraan swasta-publik' dan seterusnya.

Setelah kita melakukan beberapa studi sintesis realis, maka, tidak diragukan lagi, kesulitan
teknis yang menghadang metode apa pun akan mulai muncul. Dua hal segera terlintas dalam
pikiran. Menurut perhitungan saya, bukti kuncinya adalah ketika sumber penelitian mampu
menunjukkan keadaan yang menumpulkan efektivitas mekanisme kebijakan tertentu. Sudah
menjadi rahasia umum bahwa konvensi jurnal dapat menghalangi peninjauan yang efektif dan
dua kebiasaan yang paling terkenal adalah mengecualikan laporan kegagalan program dan
menghemat ruang dengan meminimalkan informasi kontekstual secara umum. Kita harus
menunggu dan melihat seberapa besar dampak buruk dari faktor-faktor tersebut, meskipun
Petrosino (2000) memberikan indikasi yang baik mengenai betapa beratnya tugas yang harus
dilakukan. Persoalan kedua adalah pertanyaan bernilai enam puluh empat ribu dolar tentang
penerimaan basis bukti yang diilhami realis dalam lingkaran kebijakan. Tawaran tersebut akan
menjadi kisah kehati-hatian yang disampaikan pada tingkat abstraksi yang sederhana. Meskipun
saya telah mencoba untuk menunjukkan bahwa pernyataan seperti itu lebih realistis daripada
menyebutkan pembelian terbaik dan contohnya, pengaruh apa yang akan dihasilkan dalam arena
kebijakan adalah masalah lain. Kita harus menunggu dan melihat.

Referensi
Archer, L. dan M. Hutchings (2000) 'Memperbaiki Diri Sendiri?' Jurnal Sosiologi Pendidikan Inggris 21(4):
555–74.
Bhaskar, R. (1979) Kemungkinan Naturalisme. Brighton: Pers Pemanen.
Bickman, L. (ed.) (1987) 'Menggunakan Teori Program dalam Evaluasi', Arah Baru untuk
Evaluasi Program 33. San Francisco: Jossey-Bass.
Campbell, D (1974) 'Epistemologi Evolusioner', dalam P. Schilpp (ed.) Filsafat Karl Popper. La Salle, IL:
Pengadilan Terbuka.
Chen, H. dan P. Rossi (1992) Menggunakan Teori untuk Meningkatkan Evaluasi Kebijakan dan Program.
Westport, CT: Pers Greenwood.
Connell, J., A. Kubish, L. Schorr dan C. Weiss (1995) Pendekatan Baru untuk Mengevaluasi
Inisiatif Komunitas. New York: Institut Aspen.
Durlak, J. dan A. Wells (1997) 'Program Kesehatan Mental Pencegahan Utama untuk Anak-anak dan
Remaja: Tinjauan Meta-Analitik', American Journal of Community Psychol-ogy 25(2): 115–52.

Elster, J. (1999) Alkimia Pikiran. Cambridge: Pers Universitas Cambridge.

Henry, G., M. Mark dan G. Julnes (1998) 'Evaluasi Realis: Teori yang Muncul dalam Mendukung Praktek',
Arah Baru untuk Evaluasi 78. San Francisco: Jossey-Bass.

357
Machine Translated by Google

Evaluasi 8(3)
Keat, R. dan J. Urry (1975) Teori Sosial sebagai Ilmu. London: Routledge.
Leather, P. (2000) 'Hibah kepada Pemilik Rumah: Kebijakan dalam Mencari Tujuan', Perumahan
Pelajaran 15: 149–68.
Lindesmith, A. (1968) Pecandu dan Opiat. Chicago: Aldine.
Macdonald, G. dan H. Roberts (1995) Apa yang Berhasil di Tahun-Tahun Awal? sisi gonggongan:
milik Barnardo.
Merton, R. (1968) Teori Sosial dan Struktur Sosial, edisi ke-3. New York: Pers Bebas.
Pawson, R. (2000) 'Realisme Kelas Menengah', Arsip Européenes de Sociologie XLI:
283–325.
Pawson, R. dan N. Tilley (1997) Evaluasi Realistis. London: Bijaksana.
Petrosino, A. (2000) 'Mediator dan Moderator dalam Evaluasi Program untuk Anak', Tinjauan Evaluasi 24:
47–72.
Popper, K. (1959) Logika Penemuan Ilmiah. London: Hutchinson.
Rossi, P., R. Berk dan K. Lenihan (1980) Uang, Pekerjaan dan Kejahatan. New York: Akademik
Tekan.
Shadish, W., T. Cook dan L. Levison (1991) Landasan Evaluasi Program. Newbury
Taman, CA: Sage.
Sherman, L. (1992) Pengawasan Kekerasan Dalam Rumah Tangga. New York: Pers Bebas.
Thompson, G. dan D. Hunter (1998) 'Terapi Penggantian Nikotin', The Annals of
Farmakoterapi 32: 1067–75.
Towner, E., T. Dowswell dan S. Jarvis (1996) Mengurangi Kecelakaan Anak – Efektivitas Intervensi
Promosi Kesehatan: Tinjauan Literatur. London: Otoritas Pendidikan Kesehatan.

RAY PAWSON adalah penulis (bersama N. Tilley) Evaluasi Realistis. Saat ini ia menjadi
peneliti tamu di Pusat Kebijakan dan Praktik Berbasis Bukti ESRC Inggris
(www.evidencenetwork.org). Silakan kirimkan korespondensi ke: Pusat Kebijakan dan
Praktik Berbasis Bukti Inggris, Universitas Queen Mary London. [email:
rdpawson@leeds.ac.uk]

358