Anda di halaman 1dari 30

THEORY-DRIVEN EVALUATION

Constructing
Program Theory:
Values, Approaches,
and Strategies
Kelompok 4
Dwi Handayani
Erwan Sihombing
Intan
Secha Matitaputty

2
PROGRAM THEORY
Teori Program

Value-Laden

3
“ Ideas or
meanings of what
ought to be.

4
Pengaruh Nilai:
1. Tujuan atau hasil yang harus digunakan sebagai patokan
untuk menilai nilai dari suatu program
2. Proses kausal apa yang harus diselidiki/tinjau ulang
3. Bagaimana mengkonseptualisasii dan mengukur variabel
yang berkaitan

Dalam proses evaluasi teori dari stakeholders dapat berbeda dengan


teori dari evaluator.
5
Nilai Dasar dari
Evaluasi Program
Perkembangan Penetapan
Nilai Evaluasi:
Campbell & Stanley, Cook & Campbell, 1979 Cronbach, 1982; Cronbach, et.
1963 Al., 1980
Menambah subkategori:
Validitas Internal & Validitas Eksternal merupakan
- Structural Conclusion Validity
Validitas Eksternal nilai yang paling penting dalam
- Construct Validity suatu evaluasi

Stake (1975) dan Guba dan Kritik lainnya


Lincoln (1981) Objektivitas (Sriven, 1971)
Mengutamakan unsur Keadilan (House, 1976)
responsiveness.
Relevansi, ketepatan waktu, luas cakupan (Rossi
& Freeman, 1985, dll)
7
Skema Nilai
menurut Chen:

1 2 3 4

8
Responsiveness
(Responsif)
Cronbach Pendapat Evaluator Lain
Konsep tradisional evaluasi Hasil evaluasi seharusnya tidak hanya
tidak selaras dengan berguna bagi decision maker,
prinsip masyarakat melainkan juga stakeholder lain seperti
demokratis (pluralism) manajer program, staf program, dan
klien.
Tujuan Evaluasi Perspektif
Untuk memberikan Stakeholder: Evaluator memberikan
informasi yang berguna informasi yang berguna
bagi stakeholder program Evaluator: Evaluasi yang berguna dan
untuk mengembangkan baik yang berdampak pada perubahan
program serta masyarakat merupakan hal yang memuaskan 9
Timeliness/
Ketepatan
Waktu

Faktor-faktor
yang Broadness

berhubungan
/Luas
Cakupan
Responsiveness
dengan The

responsiveness Evenness
Approach

Relevance/
Relevansi

10
Ketepatan Waktu
Konsep
Memastikan bahwa stakeholder dapat
menerima informasi pada waktu yang
tepat (informasi tersebut masih bisa
digunakan).

Relevansi
Bagaimana suatu hasil evaluasi relevan
dengan proses pengambilan kebijakan

11
Luas Cakupan
Mushkin (1973)
Evaluasi yang berguna haruslah “luas” dan
fleksibel dalam mencakup segala
konsekuensi yang dapat terjadi pada
program

The Evenness Approach


(Cronbach, Lincoln & Guba)
Evaluasi membutuhkan dukungan dari kelompok yang berkuasa.
Evaluator bertugas untuk tidak mengabaikan kepentingan dari
kelompok yang “tertinggal” lewat kelompok-kelompok yang 12
berkuasa.
Objectivity (Objektivitas)
○ Makna objektivitas menurut Scriven yaitu dapat
dipercaya, nyata, dapat dibuktikan, dan sebagainya.
○ Dapat direplikasi oleh orang lain dengan
menggunakan prosedur dan teknik yang sama.
○ Seorang evaluator tidak berkepentingan terhadap
keberhasilan atau kegagalan sebuah program.

13
Trustworthiness
(Terpercaya)
○ Terpercaya dapat didefinisikan sebuah jaminan dari
evaluasi yang dilakukan dapat dipercaya oleh
pemangku kepentingan (stakeholder) atau pihak
lainnya yang akan memanfaatkan dalam pembuatan
kebijakan
○ Paradigma eksperimental memberikan kontribusi
terbesar, namun perlu dikaji ulang karena
trustworthiness dapat dicapai melalui berbagai
metode dan strategi
14
Generalizability
(Generalisasi)
○ Generalisasi mengacu pada hasil evaluasi yang dapat
diterapkan pada keadaan atau masalah yang dapat
menarik para pemangku kepentingan
○ Hasil evaluasi dapat digunakan pada program lainnya.

15
Pendekatan Pemangku
Kepentingan
vs
Pendekatan Ilmu Sosial
Dalam Merumuskan Teori
Program
Pendekatan Pemangku
Kepentingan
○ berdasarkan pada perspektif, pandangan, ide, dan
ekspektasi pemangku kepentingan
○ dalam perumusan teori program, pendekatan
pemangku kepentingan membutuhkan evaluator untuk
memperoleh informasi, baik melalui dokumen yang
relevan dan wawancara dengan banyak pemangku
kepentingan.
○ seorang evaluator tidak memasukkan pengetahuan
yang dimilikinya dalam merumuskan teori program.
17
Pendekatan Pemangku Kepentingan Pendekatan Ilmu Sosial
Berdasarkan kepada perspektif, Berdasarkan kepada pengetahuan atau
pandangan, ide, dan ekpektasi pemangku keahlian evaluator
kepentingan
Evaluator memperoleh informasi, baik Pemahaman saintifik bagaimana program
melalui telaah dokumen maupun seharusnya dijalankan dan ilmu
wawancara kepada pemangku kepentingan pengetahuan dan teori mengenai ilmu
sosial yang ada
Evaluator tidak memasukkan pengetahuan Evaluator memasukkan pengetahuan yang
yang dimilikinya dalam membangun teori dimilikinya dalam membangun teori
program program

18
Kekuatan dan Kelemahan dari
Kedua Pendekatan

Pendekatan Pemangku
Aspek Kepentingan
Pendekatan Ilmu Sosial

Kekuatan Bertujuan dalam mengklarifikasi Mensyaratkan evaluasi yang


teori program dari pemangku sistematik dan tidak memihak
kepentingan
Kelemahan Tidak dapat menggambarkan lebih dari satu nilai dasar:
trustworthyness dan generalizability

19
Pendekatan Integrasi
 Berusaha membangun dua atau lebih nilai ke
dalam pembentukan teori program suatu
evaluasi
 Pendekatan ilmu sosial untuk menangani dua
nilai dasar: trustworthiness dan
generalizability.
 Pendekatan integratif adalah sintesis teori yang
telah mencakup perspektif pemangku
kepentingan maupun evaluator.
20
Pembentukan teori program yang
sesuai dengan generalisasi
(Chen dan Rossi, 1987)
1. Spesifikasi variabel-variabel yang mempengaruhi
keadaan, interaksi dan intervensi.
2. Mengembangkan pemahaman pada program dalam
pertanyaan yang akan digunakan.
3. Mengembangkan strategi sampling dan administratif
untuk evaluasi

21
Masalah dalam
Pendekatan Integratif
dan Strategi untuk
Berhubungan dengan
Mereka
Terlepas dari kelebihannya, pendekatan


integratif bukan tanpa masalah.
Tentunya, penggunaan pendekatan
integratif membutuhkan lebih banyak
sumber daya dan waktu, selain itu ada
masalah yang sama pentingnya; dilema
fundamental mengejar empat nilai
evaluasi dasar secara bersamaan

23
Trade off between responsiveness and
objectivity
○ Nilai objektivitas membutuhkan evaluator untuk tidak memihak
○ Kredibilitas evaluasi rusak ketika evaluator mulai mengambil sisi
pemangku kepentingan atau membiarkan pemangku kepentingan
mempengaruhi fokus evaluasi dan prosedur
○ Untuk menjadi sangat responsif, rencana untuk melaksanakan
penyelidikan, cenderung ditentukan atau dipengaruhi oleh
kebutuhan dan kepentingan pemangku kepentingan
○ Evaluasi dapat dirancang dengan cara yang disesuaikan lebih
sesuai dengan realitas politik daripada mengejar kebenaran ilmiah.
○ Semakin tinggi responsemakin tinggi kemungkinan bahwa peran
evaluator sebagai pengamat obyektif diremehkan
24
The trade-off relationship between
trustworthiness and generalizability
○ untuk mencapai kepercayaan, evaluasi idealnya harus
memiliki kondisi penelitian yang terkontrol dengan baik
dan mudah dimanipulasi. Prosedur penelitian harus diikuti
tepat seperti yang direncanakan, tanpa perubahan
diperbolehkan
○ Tetapi fitur ini mirip dengan yang ada di laboratorium
pengaturan dan dimaksudkan untuk menangani
kepercayaan, tetapi membatasi generalisasi
○ Pengaturan struktural, ditetapkan untuk tujuan tertentu,
membuatnya sangat sulit untuk mempelajari program
dalam konteks yang berbeda untuk tujuan generalisasi 25
The trade-off relationship between trust
worthiness and responsiveness
○ Untuk menjamin kepercayaan, evaluasi sering
membutuhkan desain yang ketat, yang biasanya
membutuhkan jangka waktu yang panjang untuk
merencanakan dan mengimplementasikan di lapangan
○ Ini harus fokus pada beberapa masalah yang sangat
spesifik dan terukur, dengan prosedur penelitian yang
sangat tetap dan standar
○ Namun, persyaratan untuk kepercayaan dapat juga
mengurangi respons, yang membutuhkan faktor seperti
ketepatan waktu, fleksibilitas, dan pengalamatan masalah
umum dan luas 26
The Maximizing Strategy
○ strategi memaksimalkan mendesak para pemangku
kepentingan dan evaluator untuk menyetujui salah satu
nilai dasar sebagai kepentingan utama dan untuk
memaksimalkan nilai tertentu
○ Strategi ini dapat memberikan justifikasi untuk
menggunakan pendekatan yang kurang komprehensif
seperti pendekatan ilmu sosial atau pendekatan
pemangku kepentingan
○ tetapi ini bukan solusi yang memuaskan untuk
menangani beberapa nilai
27
The Sequential Strategy
○ Strategi ini menyarankan mengevaluasi teori yang berbeda
dalam suatu urutan waktu
○ contoh, evaluasi dapat dilakukan awalnya dengan
mengevaluasi teori yang dirumuskan oleh pendekatan
pemangku kepentingan untuk memaksimalkan nilai daya
tanggap. Setelah program telah disempurnakan,
pendekatan ilmu sosial dapat diterapkan dalam evaluasi
berikutnya untuk merumuskan teori yang mencoba untuk
menangani nilai-nilai lain seperti kepercayaan, objektivitas,
dan / atau generalisasi
○ Namun, untuk mereplikasi sebuah evaluasi dua kali atau
lebih sering dapat secara substansial meningkatkan biaya 28

dan lamanya waktu yang terlibat


The Balancing Strategy
○ Strategi ini lebih memungkinkan menghasilkan informasi
yang paling tidak memenuhi standar minimum baik ilmiah
maupun politik, persyaratan dalam evaluasi program dan
oleh karena itu, lebih berguna untuk tujuan pembuatan
keputusan yang pluralistik.
○ Keuntungan menggunakan strategi penyeimbangan adalah
mencegah penilai memiliki visi terowongan dan
mengabaikan isu-isu penting dalam menyusun teori
program
○ Strategi keseimbangan ini tidak akan menghasilkan
pencapaian maksimal pada nilai
29
Terima
Kasih!
30