UNIVERSITAS INDONESIA

3. Fostering Intended Use by Intended Users: The Personal Factor

Tugas Kelompok Teori Evaluasi Program Pembangunan Sosial

Review Buku Utilization-Focused Evaluation
By Michael Quinn Patton

Lucia Resty Wijayanti (1506702971)

Mira Azzasyofia (1506702984)
Mohammad Soko Marhendi (1506702990)
Prita Lasaliesanti (1506703002)
Qorihani (1506703015)
Renny Nurlita (1506703021)

FAKULTAS ILMU SOSIAL DAN ILMU POLITIK

PROGRAM STUDI ILMU KESEJAHTERAAN SOSIAL
DEPOK
DESEMBER, 2015
Membantu Perkembangan Penggunaan Oleh Pengguna Yang Diharapkan: Faktor
Personal

Terdapat observasi yang ditindak lanjuti dengan diskusi dari berbagai sudut pandang
yang diungkapkan berdasarkan pengalaman yang sama dan spekulasi terhadap apa yang akan
digunakan untuk membentuk lebih banyak fokus terhadap kumpulan observasi dan evaluasi.
Pendapat tersebut termasuk menetapkan tujuan yang jelas; menentukan kriteria evaluasi;
mencari tahu apa yang seharusnya diobservasi sebelumnya, sehingga setiap orang dapat
mengobservasinya; memberikan arahan yang jelas tentang apa yang akan dilakukan; memulai
dengan tujuan evaluasi; dan melatih observer evaluasi jadi mereka dapat mencatat hal yang
sama.
Sebelum sebuah evaluasi selesai, ada sebuah langkah yang terlebih dahulu dibutuhkan
yaitu menentukan siapa pengguna utama yang diharapkan untuk menggunakan evaluasi.
Tugas ini merupakan langkah awal pada UFE.
Langkah Awal dalam UFE
Banyak keputusan yang harus dibuat dalam sebuah evaluasi. Tujuan dari evaluasi
harus ditentukan. Kriteria evaluasi yang konkrit untuk menilai keberhasilan program yang
biasanya harus dibentuk. Metode yang akan digunakan dan jadwal yang telah disepakati.
Semuanya merupakan isu penting dalam evaluasi. Dalam UFE menjawab orang yang harus
memutuskan isu penting dalam evaluasi adalah pengguna utama yang diharapkan
memanfaatkan evaluasi.
Secara jelas dan eksplisit mengidentifikasi orang yang mendapat manfaat dari
evaluasi sangatlah penting bahwa evaluator mengadopsi istilah khusus untuk pengguna
evaluasi yang berpotensi yaitu stakeholder. Stakeholder evaluasi adalah orang yang
mempertaruhkan

kepentingannya

dalam

temuan

evaluasi.

Untuk sebuah

evaluasi

memungkinkan terdapat berbagai stakeholder: penyandang dana program, staf, administrasi,

dan klien atau partisipan program. Pihak-pihak lain yang memiliki kepentingan baik secara
langsung maupun tidak dengan efektifitas program mungkin dipertimbangkan sebagai
stakeholder, termasuk jurnalis, anggota publik umum, atau lebih spesifik pembayar pajak,
apabila dalam kasus program publik. Stakeholder meliputi siapa saja yang membuat
keputusan atau yang menginginkan informasi mengenai program. Bagaimanapun tipikal
stakeholder bermacam-macam dan sering memiliki konflik kepentingan. Tidak ada evaluasi
yang mampu menjawab semua potensi pertanyaan dengan sama baiknya. Ini berarti beberapa
proses diperlukan untuk menyempitkan kemungkinan pertanyaan untuk memfokuskan

evaluasi. Dalam UFE proses dimulai dari menyempitkan daftar potensial stakeholder menjadi
lebih sedikit, lebih spesifik terhadap kelompok utama pengguna yang diharapkan.
Beyond Audience
Wacana sebelumnya tidak ditujukan untuk hanya membuat kesimpulan bahwa orang
yang berbeda melihat hal-hal yang berbeda dan memiliki berbagai kepentingan dan
kebutuhan. Intinya adalah bahwa pernyataan yang secara nyata benar ini secara teratur dan
konsisten diabaikan dalam desain studi evaluasi. Untuk menargetkan evaluasi pada kebutuhan
informasi dari orang tertentu atau kelompok yang diidentifikasi dan berinteraksi secara
personal sangat berbeda dari apa yang telah secara tradisional direkomendasikan sebagai
"mengidentifikasi penonton" untuk evaluasi. Audience tidak berbentuk dan merupakan entitas
anonim. Juga tidak cukup untuk mengidentifikasi suatu badan atau organisasi sebagai
penerima laporan evaluasi. Organisasi adalah kumpulan impersonal pada suatu posisi
hirarkis. Orang, bukanlah organisasi, yang menggunakan informasi evaluasi.
Studying Use: Identification of the Personal Factor
Ada dua faktor yang muncul secara konsisten menjelaskan pentingnya pemanfaatan:
(a) politik dan (b) faktor personal, merupakan munculnya individu yang diidentifikasi atau
sekelompok orang yang secara pribadi peduli tentang evaluasi dan temuan yang dihasilkan.
Dimana orang atau kelompok tersebut saat ini, menggunakan evaluasi yang ada; dimana
faktor personal hilang, sejalan ditandai dengan hilangnya dampak evaluasi.
Faktor personal meliputi kepemimpinan, kepentingan, antusiasme, determinasi,
komitmen, ketegasan dan kepedulian yang spesifik, terdapat orang yang aktif mencari
informasi untuk membuat keputusan dan mengurangi keputusan yang tidak pasti. Mereka
ingin meningkatkan kemampuan mereka untuk memprediksi hasil dari sebuah aktivitas
program dan dengan demikian meningkatkan keleluasaan mereka sebagai pengambil
keputusan, pembuat kebijakan, consumer, partisipan program, dan penyandang dana, atau
apapun peran yang mereka mainkan. Ini merupakan pengguna utama dari evaluasi.
Data on the Importance of the Personal Factor
Dalam sebuah penelitian yang menanyakan responden mengenai pentingnya 11 faktor
penggunaan yang telah ditentukan. Responden diminta untuk mengidentifikasi satu faktor
yang menjelaskan hal yang paling penting dalam menjelaskan dampak atau kurangnya
dampak terhadap suatu penelitian. Dari waktu ke waktu, faktor yang diidentifikasi tidak ada
2

pada daftar faktor yang disediakan, tetapi responden menjawab berdasarkan dengan
keuntungan terhadap orang secara individu. Faktor personal muncul secara dramatis dalam
interview dengan responden. Sementara pernyataan yang meperhatikan pentingnya individu
yang tertarik dan berkomitmen dalam penelitian yang benar-benar digunakan, penelitian yang
tidak digunakan biasanya diakibatkan oleh sering hilangnya faktor personal.
Evaluator lain yang sangat berpengalaman bersikeras dan mengartikulasikan pada
teori bahwa faktor utama yang mempengaruhi penggunaan adalah energi personal, minat atau
kepentingan, kemampuan, dan kontak dari individu-individu tertentu. Ketika diminta untuk
mengidentifikasi salah satu faktor yang paling penting dalam apakah sebuah penelitian akan
digunakan, ia menyatakan dengan sudut pandang sebagai berikut:
Saya pikir seluruh proses jauh lebih tergantung pada keterampilan orang-orang
yang menggunakannya daripada pada yang berada disekelilingnya seperti isu politik,
sumber daya,..
Pandangannya telah muncul di awal wawancara ketika ia menggambarkan bagaimana
evaluasi yang digunakan di U.S Office of Economic Opportunity (OEO). Tema yang sama
muncul dalam pernyataannya tentang setiap kemungkinan faktor-faktor yang ada. Ketika
ditanya tentang efek pada penggunaan kualitas metodologi, temuan positif atau negatif, dan
sejauh mana temuan diharapkan, dia selalu kembali kepada pentingnya kepentingan
manajerial, kompetensi, dan kepercayaan. Orang lah yang membuat perbedaan.
Suatu penelitian dilakukan terhadap evaluasi program percontohan yang melibatkan
empat proyek-proyek besar dilakukan atas dorongan administrator program. Dengan upaya
khusus untuk memastikan bahwa pertanyaannya (mengenai, apakah proyek percontohan
mampu diperpanjang dan digeneralisasi?) dijawab. Administrator telah diuntungkan program
pada prinsipnya, harapannya bahwa program ini akan terbukti efektif. Temuan evaluasi, pada
kenyataannya, negatif. Program ini kemudian berakhir, dengan evaluasi berdampak "cukup
berat" dalam keputusan tersebut. Akhirnya dia membuat pernyataan sebagai berikut:
Kepala instansi dan saya sendiri memiliki tanggung jawab yang luas untuk ini, kami
menginginkan hasil studi evaluasi, dan kami mengharapkan untuk dapat
menggunakannya. Oleh karena itu, mereka digunakan. Itu kesimpulan saya
Terdapat sebuah kasus di mana pembuat keputusan menggunakan evaluasi untuk mengetahui
informasi apa yang dibutuhkan; evaluator melakukannya untuk menjawab pertanyaan
pembuat keputusan; dan pembuat keputusan berkomitmen untuk menggunakan temuan dari
evaluator. Hasilnya digunakan dalam membuat keputusan tingkat tinggi tetapi bertentangan
dengan harapan awal secara pribadi dari direktur. Evaluator menjelaskan, faktor utama yang
3

menjelaskan penggunaan adalah bahwa "orang yang akan membuat keputusan sadar dan
tertarik pada temuan penelitian dan memiliki kemampuan untuk membingkai pertanyaan
yang harus dijawab, merupakan hal yang sangat penting."
Faktor Pribadi yang Mendukung Penelitian
James Burry (1984) dari UCLA pusat kajian evaluasi melakukan evaluasi menyeluruh
dan produktif pada evaluasi pemanfaatan. Tinjauan tersebut menjadi dasar bagi sebuah
rumusan yang mempengaruhi penggunaan evaluasi (Alkin et al.1985). Sintesis bertumbuh
dari penelitian empiris pada evaluasi pemanfaatan (Alkin, Daillak and White 1979) dan
mengkategorisasi berbagai macam faktor menjadi tiga kategori, yaitu faktor manusia, faktor
konteks, dan faktor evaluasi.
Faktor manusia mencerminkan karakteristik evaluator dan user dengan pengaruh kuat
terhadap kegunaan. Termasuk faktor arah sikap seseorang dan ketertarikan pada program dan
evaluasi, latar belakang mereka dan posisi pada organisasi, dan tingkat pengalaman
profesional. Faktor konteks terdiri dari persyaratan dan keterbatasan keuangan yang dihadapi
oleh evaluasi, dan hubungan antara program yang dievaluasi dengan segmen-segmen lain
yang lebih luas serta organisasi masyarakat sekitar.
Faktor evaluasi mengacu pada pelaksanaan evaluasi sebenarnya, penggunaan
prosedur dalam pelaksanaan evaluasi, dan kualitas informasi (Burry 1984:1). Lester and
Wilds (1990) melakukan review komprehensif pada penggunaan analisis kebijakan publik.
Berdasarkan review tersebut, mereka mengembangkan kerangka konseptual untuk
memprediksi kegunaan. Di antara hipotesis mereka menemukan dukungan berikut:

Semakin besar perhatian pada subjek oleh pengambil keputusan, semakin besar pula

kemungkinan pemanfaatan.
Semakin besar partisipasi pengambil keputusan pada subjek dan ruang lingkup dari
analisis kebijakan, semakin besar pula kemungkinan pemanfaatan. (hal 317)
Marvin Alkin (1985), pendiri dan mantan direktur dari Center for the Study of

Evaluation pada University of California, Los Angeles, membuat faktor personal untuk
Guide for Evaluation Decision-Makers. Jean King menyimpulkan dari tinjauan penelitian
(1988) dan studi kasus (1995) bahwa melibatkan orang yang benar sangat penting untuk
evaluasi kegunaan. Dalam sebuah analisa besar dari the Feasibility and Likely Usefulness of
Evaluation, Joseph Wholey (1994) memperlihatkan bahwa melibatkan pengguna yang
diinginkan sangat penting agar pengguna yang dimaksud sepakat atas hasil evaluasi
bagaimana mereka akan menggunakan informasi tersebut. Dan Carol Weiss (1990) salah satu
4

di antara para ilmuwan dari pengetahuan kegunaan, menyimpulkan catatan kunci pada
American Evaluation Association:
Pertama, tampaknya ada sebagian peserta dalam membuat kebijakan yang cenderung
menjadi pengguna evaluasi. Faktor personal, interest seseorang, komitmen,
antusisme, memainkan bagian dalam menentukan berapa banyak pengaruh dari
penelitian yang akan didapatkan. (hal 177)
Wargo (1995) menganalisis tiga kesuksesan luar biasa evaluasi federal dalam
pencarian karakteristik dalam kesuksesan program evaluasi; ia menemukan bahwa
keterlibatan aktif dari para stakeholders sangatlah penting pada setiap tahapan: selama
perencanaan, ketika melakukan evaluasi, dan penyebaran temuan (hal 77).
Kerangka kerja lain yang mendukung kepentingan dari faktor personal adalah
pendekatan Decisoin-Oriented Educational Research dari Cooley dan Biickel (1985).
Meskipun label dari pendekatan ini mengindikasikan fokus lebih kepada keputusan
dibandingkan orang, faktanya keputusan dibangun pada orientasi klien yang kuat. Orientasi
klien di sini adalah bahwa umumnya pengguna dari orientasi kebijakan penelitian pendidikan
yang dengan jelas diidentifikasi dan terlibat dalam semua tahap pekerjaan melalui
berlangsungnya dialog antara peneliti dan klien. Cooley dan Bickel menyajikan bukti kasus
untuk dokumen pentingnya menjadi berorientasi pada klien.
Dalam peninjauan utama dari penggunaan evaluasi pada organisasi nonprofit, sektor
independen menyimpulkan bahwa mengikuti dari the human side of evaluation membuat
segala perbedaan. Sektor independen belajar bahwa evaluasi berarti tugas, proses, dan
orang-orang. Ini adalah sisi seseorang sumber daya manusia dalam organisasi, yang
menjadikan tugas formal dan proses bekerja dan akan membuat hasil kerja menjadi baik
(Moe 1993:19).
Dukungan untuk pentingnya faktor personal juga muncul dari Standford Evaluation
Consortium, salah satu dari tempat terkemuka dan reformasi pada evaluasi sekitar akhir tahun
1970 dan awal tahun 1980. Cronbach dan asosiasi pada Consortium mengidentifikasi
diperlukannya reformasi utama dalam evaluasi dengan mempublikasikan set provokatif dari
95 tesis, mengikuti pelajaran dari Martin Luther. Di antara tesis mereka teradapat observasi
pada faktor personal berikut: tidak ada yang membuat perbedaan besar dalam penggunaan
evaluasi dari faktor personal, kepentingan pejabat dalam belajar evaluasi dan keinginan dari
evaluator untuk mendapatkan perhatian untuk apa yang ia ketahui (Cronbach et al. 1980:6;
emphasis added).

Evaluations Premier Lesson

Faktor personal sangat penting dalam menjelaskan dan memprediksi penggunaan
hasil evaluasi yang menekankan pada UFE yang terjadi pada intended user untuk tujuan yang
spesifik. Faktor personal yang dimaksudkan adalah bagaimana dapat menghadirkan orangorang yang memahami, nilai, dan peduli tentang evaluasi dan selanjutnya dapat mengarahkan
kita untuk melihat kepentingan mereka.
Dari hasil survey yang dilakukan oleh Cousins dkk (1995) terhadap anggota asosiasi
evaluator professional di Amerika Serikat dan Kanada di dapatkan hasil bahwa Evaluator
harus merumuskan rekomendasi dari penelitian." Kemudian dicapai sebuah kesepakatan
"Fungsi utama evaluator adalah untuk memaksimalkan intended uses oleh intended user
terhadap data evaluasi". Ada beberapa implikasi dari kesepakatan-kesepakata tersebut.
Implikasi praktis dari Faktor Pribadi
Pertama, proses evaluasi harus muncul orang-orang yang memiliki rasa ingin tahu
terhadap sesuatu, hal ini berarti harus mencari orang-orang yang mampu dan mau
menggunakan informasi yang dihasilkan dari evaluasi. Keterwakilan dari setiap pihak atau
stakeholder sangat penting seperti staf program, klien, penyandang dana, administrator,
anggota dewan, perwakilan masyarakat, dan pejabat pembuat kebijakan. Menurut Cousins
dkk. (1995) keterwakilan dari enam stakeholders sebagai jumlah rata-rata yang biasanya
terlibat dalam proyek. Sudut pandang tiap stakeholder berbeda-beda terhadap beberapa isu,
harus dapat ditemukan orang-orang yang benar-benar tertarik pada dan mau berbagi
informasi, dan dengan niat yang tulus mau meluangkan waktu untuk bekerja lebih untuk
mendapatkan informasi yang mereka butuhkan. Tantangan pertama yang dihadapi dalam
evaluasi adalah menjawab pertanyaan Marvin Alkin (1975a): "Evaluasi: Siapa yang
membutuhkan evaluasi? Siapa yang peduli?" Menjawab pertanyaan ini, bukan hal yang
mudah.
Kedua, posisi formal dan kewenangan hanya panduan parsial dalam mengidentifikasi
pengguna utama. Evaluator harus menemukan orang-orang yang strategis dan antusias,
berkomitmen, kompeten, memiliki ketertarikan, dan tegas. Biasanya orang yang memiliki
posisi lebih tinggi kurang tertarik terlibat dalam evaluasi dibandingkan dengan yang lower
level yang biasanya memiliki karakteristik yang sudah disebutkan sebelumnya.
Ketiga, kuantitas, kualitas, dan waktu berinteraksi dengan intended user sangat
penting. Interaksi antara evaluator dan user dengan ketidakjelasan substansinya akan menjadi
bumerang dan menurunkan minat pemangku kepentingan. Evaluator harus strategis dan
6

sensitif dalam meminta waktu dan keterlibatan dari orang-orang sibuk, dan mereka harus
yakin mereka berinteraksi dengan orang yang tepat dengan isu-isu yang relevan. Intensitas
berinteraksi atau kontak dengan sendirinya akan membantu proses relasi ini. Pemilihan orang
yang tepat untuk terlibat mungkin akan mengurangi jumlah kontak langsung yang harus
dilakukan karena interaksi yang terjadi memiliki kualitas tinggi. Keputusan yang harus dibuat
dalam evaluasi harus kembali mengacu pada masalah kuantitas, kualitas, dan waktu interaksi
dengan pengguna dimaksudkan.
Keempat, evaluator harus membangun dan mempertahankan minat terkait
penggunaan evaluasi. Mengidentifikasi intended user merupakan bagian seleksi dan bagian
pendampingan. User yang memiliki minat yang rendah tidak akan memberikan kontribusi
yang banyak dalam evaluasi.
Kelima, evaluator perlu keterampilan dalam membangun relasi, memfasilitasi
kelompok, mengelola konflik, memahami politik, dan komunikasi interpersonal yang efektif
untuk memanfaatkan pentingnya faktor personal. Keterampilan teknis dan pengetahuan ilmu
sosial tidaklah cukup. Dalam organisasi modern pengambilan keputusan yang diambil
berkaitan dengan dinamika pribadi dan politik sehingga perlu menjadi perhatian evaluator
supaya pekerjaan evaluator tidak sia-sia.
Keenam, evaluasi tertentu melibatkan beberapa tingkatan stakeholder. Misalnya,
penyandang dana, kepala eksekutif, dan pejabat senior mungkin merupakan pengguna utama
untuk hasil yang efektif, sementara staf-tingkat yang lebih rendah dan kelompok pemangku
kepentingan mungkin terlibat dalam menggunakan implementasi dan monitoring data untuk
perbaikan program. Perbedaan tingkatan akan memiliki perbedaan tujuan. Contohnya ada
pada table berikut:
Stakeholder group
Donor
Review
(Executives
Officers

and

dari

Foundations

Evaluation Focus
Board Efektifitas
:
Program

kebijakan, keberlajutan

contributing
dan

Superintendent)
District Level

Nature of Involvement
implikasi Pertemuan 2 kali setahun
untuk mereview design dan
hasil evaluasi interim

School

Evaluation

Monitoring pelaksanaan di Full-day retret diawal dengan

Group (Representatives from

awal

participating schools, social

kabupaten

service agencies, community

berikutnya

organizations, and project

tahun;

hasil
di

tingkat 40

orang

dari

beragam

tahun kelompok;

retret

tahunan

untuk update, memfokuskan

kembali,

dan

menafsirkan
7

staff)
Partnership Level Evaluation

temuan interim
Mendokumentasikan kegiatan Rencana evaluasi tahunan;

Teams (Teachers, community

dan

representatives,

kemitraan lokal: satu sekolah, evaluasi

and

evaluation staff liaisons)

outcome

satu komunitas

di

tingkat menyelesaikan
untuk

kegiatan;
untuk

dokumen

review
melihat

setiap
kuartalan
progress

kemajuan dalam penggunaan

temuan untuk perbaikan
Tabel Struktur dan Proses Multilevel Stakeholder (Patton, hal. 53)

Diversions Away From Intended Users

Ada beberapa godaan evaluator dalam melakukan evaluasi.
Pertama, dan yang paling umum, evaluator tergoda untuk menjadi pembuat keputusan utama
dalam evaluasi. Hal ini dapat terjadi secara default (karena tidak ada orang lain yang bersedia
untuk melakukannya), adanya intimidasi (jelas, evaluator adalah ahli), atau tidak memikirkan
atau mencari intended user (mengapa membuat hidup sulit?). Evaluator telah menjadi
primary intended user yang menjawab pertanyaan mereka sendiri untuk menjawab kebutuhan
mereka sendiri. Evaluasi seperti ini disebut evaluasi dari evaluator, oleh evaluator, untuk
evaluator.
Menu 3.1.
Implikasi Faktor Personal dalam Perencanaan

Menemukan dan mendorong minat mereka yang mau belajar.

Posisi dan kewenangan formal adalah hanya panduan parsial dalam mengidentifikasi
pengguna utama. Cari orang strategis yang antusias, berkomitmen, kompeten, dan

tertarik.
Kuantitas, kualitas, dan waktu interaksi dengan pengguna adalah penting.
Evaluator biasanya akan harus bekerja untuk membangun dan mempertahankan minat
dalam penggunaan evaluasi. Membangun hubungan yang efektif dengan pengguna

dimaksudkan adalah bagian seleksi, bagian pemeliharaan, dan bagian pelatihan.

Evaluator perlu orang terampil dalam cara membangun hubungan, memfasilitasi
kelompok, mengelola konflik, berjalan tightropes politik, dan berkomunikasi secara
efektif.

Evaluasi tertentu mungkin memiliki beberapa tingkat pemangku kepentingan dan oleh
karena itu membutuhkan beberapa tingkat keterlibatan stakeholder. (Lihat tabel
Struktur dan Proses Multilevel Stakeholder, hal.8)
Godaan kedua yang mengalihkan evaluator dari tujuan spesifik pengguna adalah

pendekatan identifikasi audiences. Audiences beralih menjadi kelompok yang relatif pasif
menghadapi kelompok yang besar: federal, pegawai negeri, legislatif, pemberi dana, klien,
staf program, masyarakat luas, dan seterusnya. Jika individu tertentu tidak teridentifikasi dari
audiences tersebut dan diatur dalam keterlibatannya dalam proses evaluasi kemudian
menyebabkan kegagalan, evaluator menjadi pengambil keputusan yang sesungguhnya dan
mengemban kepemilikan dari stakeholder, dengan ancaman korespondensi kepada
pemanfaatannnya.
Evaluasi yang responsive adalah mengelola permasalahan audiences (Guba dan
Lincoln 1981:23); menekankan originalitas). Evaluator menginterview dan mengobservasi
stakeholder kemudian mendesain evaluasi yang responsif pada masalah yang dimiliki oleh
stakeholder. Stakeholder, bagaimanapun tidak lebih dari sumber data dan seorang audiences
untuk kepentingan evaluasi, bukan mitra yang riil pada proses evaluasi.
Revisi pada tahun 1994 dari Joint Committee Standards untuk evaluasi beralih untuk
membahasakan intended users dan stakeholders dari istilah yang awalnya mereferensi kepada
audiences. Kemudian, dalam versi baru, Utility Standards (Standar Penggunaan)
dimaksudkan untuk menyakinkan bahwa akan menyajikan informasi yang dibutuhkan
intended users, kebalikannya kepada given audiences pada versi asli 1981 (Joint Committee
1994, 1981; penekanan ditambahkan). Standard awal diubah menjadi Stakeholder
identification dari yang asli yaitu Audiences Identification. Perubahan istilah ini tidak
sekedarnya. Hal ini mengindikasikan bahwa dasar pengetahuan yang mendasari profesi telah
berkembang. Bahasa yang kita gunakan membentuk cara berpikir. Nuansa dan konotasi
terefleksi dalam bahasa-bahasa ini berubah dari fundamental kepada filosopi evaluasi yang
berfokus pada pemanfaatan.
Pengalihan/penyimpangan yang ketiga dari intended user terjadi ketika evaluator
menargetkan organisasi dibanding spesifik individu. Ini terlihat jadi lebih spesifik daripada
menargetkan audiences yang general, padahal tidak. Organisasi sebagai target evaluasi jadi
aneh tanpa adanya orang yang riil. Fokus akan beralih pada posisi dan peran dan kewenangan
yang melekat pada jabatan. Max Weber (1947) menyampaikan bahwa birokrasi melahirkan

studi kelembagaan, sosiologi yang melihat kemampuan saling mengubah orang-orang dalam
organisasi sebagaimana penanda dari institusional yang rasional dalam masyarakat modern.
Pada norma ideal birokrasi yang rasionalitas, tidak peduli siapa yang dalam posisi,
menggunakan kriteria universal. Weber berpendapat birokrasi yang dapat memaksimalkan
efisiensi karena organisasi menetapkan aturan yang spesifik pada hirarki posisi dan status
yang jelas serta tindakan dihitung dan rasional tanpa mempertimbangkan pribadi atau kriteria
partikularistik. Sepertinya mengabaikan faktor personal. Hal tersebut hanya pandangan
umum yang sepertinya meresap dalam pikiran evaluator ketika mereka mengatakan bahwa
evaluasi untuk pemerintahan federal, negara, agensi, atau entitas organisasi lainnya. Akan
tetapi organisasi tidak mengambil/menelan informasi; orang-orang yang mengambil
informasinya- sifatnya individual, istimewa, peduli, tidak pasti, mencari orang. Siapa pihak
yang dalam posisi membuat semua perbedaan untuk penggunaan evaluasi. Mengabaikan
faktor personal adalah untuk melemahkan potensi pemanfaatan di awal. Untuk menentukan
target evaluasi pada organisasi adalah tidak menargetkan personal secara partikular.
Pengalihan/penyimpangan keempat, intended users memfokuskan pada keputusan
dibandingkan pengambil keputusan. Pendekatan ini dicontohkan oleh Mark Thompson
(1975) yang mendefinisikan evaluasi sebagai penyusunan informasi untuk tujuan
memperbaiki keputusan (hal. 26) dan membuat langkah awal dalam evaluasi identifikasi
dari keputusan atau memutuskan informasi apa yang dibutuhkan" (hal. 38). Pertanyaan siapa
yang akan membuat keputusan harus implisit. Pendekatan berorientasi pada keputusan
berasal dari model ilmu pengetahuan sosial yang rasional pada bagaimana membuat
keputusan berlaku: Keputusan diharapkan harus jelas;
1. Informasi akan mengarahkan/menjadi petunjuk dalam membuat keputusan.
2. Kajian menyediakan informasi yang dibutuhkan.
3. Keputusan dibuat sesuai dengan temuan.
Fokus pada bagian ini adalah pada data dan keputusan-keputusan daripada orang.
Bagi orang yang membuat keputusan, ternyata, kebanyakan keputusan dibuat secara
akumulatif dan bertahap (berlarut-larut) daripada dibuat konkret dan diwaktu yang ditentukan
(Weiss 1990, 1977; Allison 1971; Lindblom 1965, 1959). Sangat membantu, bahkan penting
sekali untuk mengarahkan evaluasi pada keputusan di masa mendatang, dan dampak
keputusan, terbaik dalam rangkaian dengan intended users datang bersama-sama untuk
memutuskan apa data yang akan diperlukan untuk tujuan apa, termasuk, namun tidak terbatas
pada keputusan.

10

Ernest House (1980) menulis buku penting yang mengkategorikan berbagai macam
pendekatan dalam mengevaluasi, dia memasukan utilization-focused evaluation kedalam
"decision-making models". Karakter utama dalam decision-making model yaitu "evaluasi
dibentuk oleh keputusan aktual yang dibuat" (hal. 28).

Proses evaluasi penting untuk

mengarahkan dan memfokuskan tentang bagaimana orang berpikir tentang keputusankeputusan mendasar dalam sebuah program, pada yang disebut penggunaan konsep; evaluasi
dapat membantu implementasi secara tepat; proses desain evaluasi akan lebih jelas, spesifik,
dan mengarah pada tujuan, yang berarti evaluasi dapat menyediakan informasi sesuai
kebutuhan dan aset klien; yang dapat membantu menginformasikan diskusi yang sifatnya
umum tentang kebijakan publik.
Tujuh kategori dalam UFE (Utilization-Focused Evaluation) menurut House:
1. Analisis sistem, secara kuantitatif menekankan input dan outcome untuk melihat
efektivitas dan efisiensi;
2. Pendekatan kepemilikan yang objektif, penekankan pada kejelasan, tujuan yang
spesifik;
3. Evaluasi goal-free, yang meneliti perluasan kebutuhan aktual klien yang terkait
dengan program;
4. Pendekatan seni kritis, yang membuat keahlian evaluator diturunkan dalam standar
yang baik berhadapkan pada program yang ditetapkan/diputuskan;
5. Model akreditasi, tim akreditasi eksternal menentukan tingkat program dikaitkan
dengan standart profesi untuk menentukan tipe program;
6. Pendekatan lawan, dimana dua tim bersaing setelah pertanyaan sumatif apakah
program akan dilanjutkan;
7. Model transaksi, yang kocus pada proses program.
Yang hilang dari skema klasifikasi House adalah pendekatan evaluasi difokuskan pada
dan disesuaikan dengan kebutuhan informasi dari orang yang khusus akan menggunakan
proses dan temuan evaluasi. Hal ini yang menjadi fokus dari Marvin Alkin (1995), yaitu
berorientasi pada user. Evaluasi yang berfokus pada orientasi user/pengguna menjelaskan
proses evaluasi untuk membuat keputusan tentang isi sebuah evaluasi tetapi isinya tidak
spesifik.
Godaan kelima adalah mengasumsikan bahwa pemberi dana evaluasi adalah
pengguna utama yang paling punya kepentingan. Pemberi dana yang paling tertarik dalam
menggunakan evaluasi. Mereka yang mengontrol evaluasi mungkin tidak punya pertanyaan
evaluasi yang spesifik. Seringkali mereka menyakini bahwa evaluasi adalah cara yang baik
untuk membuat orang tetap berjalan di kaki nya. Mereka memandatkan proses namun tidak
substansi. Dalam situasi tertentu (situasi tidak biasa/khusus) ada pertimbangan untuk
11

mengidentifikasi kesempatan dan bekerja dengan stakeholder tambahan/lain untuk

memformulasikan pertanyaan evaluasi yang relevan dan terkait desain program.
Godaan keenam adalah menunda dan merencanakan untuk menggunakan yang awal.
Godaan ini untuk menunggu sampai temuan-temuan ada, intinya tidak merencakan untuk
menggunakan dengan menunggu apa yang terjadi. Eleanor Chelimsky (1983) berpendapat
bahwa yang paling penting dalam akuntabilitas evaluasi adalah penggunaan yang datang dari
"melihat proses pendesainan dan menindaklanjuti penggunaan yang telah ditentukan bagi
pengguna yang telah ditentukan"(hal. 160). Dia menyebutnya proses feedback dengan
lingkaran tertutup (close-looped feedback).
Godaan ketujuh, adalah untuk menyakinkan seseorang yang tidak yakin dan
mengambil resiko untuk terlibat dalam proses. Ada pendapat evaluator yang berasal dari
akademisi memaksa demi mempertanggujawabkan dengan meyakinkan kualitas data dan
desain yang kaku. Sikap akademisi yang menjustifikasi evaluator berada diantara kegaduhan
orang dan politik lebih sering untuk menghasilkan karya ilmiah daripada perbaikan program.
Menjaga dengan terlibat dalam membangun relasi dan memilah urusan politik program.
Dalam hal ini, evaluator terjerat dalam dinamika perubahan kekuasaan, terlibat dalam relasi
yang semakin buruk bahkan cenderung bias.
Dengan kata lain dapat disimpulkan dalam buku ini, tujuh godaan yang menjauhkan
Fokus-Pengguna, yaitu:
1. Evaluator menjadikan diri mereka sebagai pengambil kebijakan yang utama dan
pengguna utama;
2. Mengidetifikasi audiences yang tidak jelas, pasif sebagai pengguna, dibandingkan
3.
4.
5.
6.

orang riil;
Menargetkan organisasi sebagai pengguna daripada orang yang spesifik;
Fokus pada keputusan daripada pengambil keputusan;
Berasumsi bahwa pemberi dana evaluator otomatis adalah stakeholder utama;
Menunggu sampai ada temuan untuk mengidetifikasi intended users (pengguna yang

dimaksud) dan intended uses (kegunaan yang dimaksud);

7. Berada diatas kegaduhan orang dan politik.
Evaluasi pengguna-Fokus dalam Praktek
Menurut Profesor Lawrence Lynn Jr., professor kebijakan publik di Kennedy School
of Government, Harvard University, telah memberikan bukti tentang pentingnya carapengguna terfokus dalam analisis dan evaluasi kebijakan. Lynn diwawancarai oleh Michael
Kirst mengenai evaluasi pendidikan dan analisis kebijakan. Dia bertanya, "Apa yang akan
menjadi ujian dari 'analisis kebijakan yang baik'?"
12

Salah satu kondisi dari analisis kebijakan yang baik adalah membantu untuk
pembuat keputusan. Pembuat keputusan melihat hal itu dan dia mengerti masalah
lebih dalam, memahami pilihan yang lebih baik, atau memahami implikasi dari
pilihan yang lebih baik. Pengambil keputusan dapat mengatakan bahwa analisis ini
membantu saya. (Lynn1980a: 85)
Dapat dilihat bahwa penekanannya adalah pada menginformasikan pembuat
keputusan, bukan hasilnya. Lynn berpendapat (dalam buku teks-nya pada analisis kebijakan
(Lynn, 1980b)) bahwa keterampilan utama yang dibutuhkan oleh kebijakan dan evaluasi
analis adalah kemampuan untuk memahami dan membuat akomodasi spesifik dalam bentuk
kognitif pengambil keputusan dan karakteristik personal lainnya. Contoh yang diberikan
Lynn adalah lembaran dari pendekatan user-focused. Ia mencontohkan Elliot Richardson dan
MacNamara yang merupakan individu yang sangat mampu memahami masalah yang paling
kompleks dan menyerap kompleksitas sepenuhnya dalam pikiran mereka sendiri. Kecerdasan
mereka tidak terbatas dalam hal apa yang bisa mereka tangani. Namun, mereka tidak benarbenar ingin mendekati masalah intelektual dalam pengambilan keputusan, mereka dapat
mendekati masalah dengan berbagai prasangka, mereka mungkin tidak suka membaca,
mereka mungkin tidak seperti data, mereka mungkin tidak menyukai penampilan rasionalitas,
mereka mungkin ingin melihat hal-hal ditulis dalam pemerintah yang lebih jelas. Dan analis
juga telah dapat memperhitungkannya. Analis harus mencari tahu bagaimana ia berguna bisa
mendidik seseorang yang memiliki metode pendidikan yang berbeda.
Lynn juga menggunakan contoh Jerry Brown, mantan Gubernur California. Brown
menyukai analisis kebijakan yang dibingkai sebagai debat-tesis, antitesi karena ia telah dilatih
dengan gaya agumen bermuka dua. Tantangan untuk analisis kebijakan atau evaluator
berubah menjadi kearah yang lebih kognitif dan logis. Presiden Ronald Reagan, contohnya,
menyukai gaya bercerita Readers Digest dan menggunakan anekdot. Dalam perspektifnya,
Lynn mengatakan seorang analis harus mencari cara untuk berkomunikasi masalah kebijakan
dengan Reagan melalui cerita. Seorang analis dan evaluator harus memiliki Intellectual
effort agar outcome yang mereka hasilkan atau simpulkan bisa didengar, dihargai, dan
dipahami.
Lynn mencontohkan pentingnya faktor personal di tingkat tertinggi pemerintahan.
Alkin dkk. (1979), telah menunjukkan bagaimana faktor personal digunakan dalam evaluasi
di tingkat negara bagian dan lokal. Berfokus pada faktor personal yang memberikan arahan
tentang apa yang harus dicari dan bagaimana untuk menggunakannya dalam perencanaan.

13

Beyond Just Beginning

Sebagai pertimbangan penting dalam meningkatkan penggunaan evaluasi, faktor
personal menjelaskan mengapa evaluator dalam UFE memulai dengan mengidentifikasi dan
mengorganisir primary intended users dalam evaluasi. Mereka kemudian berinteraksi dengan
primary intended users mulai dari evaluasi sampai selesai dan mempertahankan komitmen
untuk menggunakan hasil evaluasi. Untuk itu, ada delapan godaan dalam evaluasi.
Tambahannya adalah mengidentifikasi primary intended users pada awal penelitian,
selanjutnya tidak melibatkan mereka sampai laporan akhir selesai.
Kehadiran primary intended users bukan hanya latihan akademis yang dilakukan
untuk kepentingan diri sendiri. Melibatkan orang-orang tertentu yang dapat dan akan
menggunakan informasi memungkinkan mereka untuk menetapkan arah, komitmen, dan
kepemilikan terhadap evaluasi dalam setiap langkah di sepanjang jalan, dari inisiasi
penelitian melalui tahapan pembacaan desain dan data sampai ke laporan akhir dan proses
diseminasi. Jika pembuat keputusan hanya menunjukkan sedikit minat dalam penelitian di
tahap awal, maka evaluasi tidak akan cukup siap untuk digunakan.

14