Nama : Salma Humairo

NPM : 181102031014
Semester : 6
Mata Kuliah : Evaluasi Program
Rangkuman
Model Scriven dalam Evaluasi Program

 Pendekatan Berorientasi Konsumen Untuk Evaluasi Michael Scriven

Scriven telah mengidentifikasi metode utama evaluasi sebagai penilaian, peringkat, penilaian,
dan pembagian dan telah mencatat bahwa logika evaluasi melibatkan pengumpulan dan
meringkas fakta; mengumpulkan, mengklarifikasi, dan memverifikasi nilai dan standar yang
relevan; dan mensintesis bukti dan nilai menjadi kesimpulan evaluatif. Dia telah
mengembangkan dan terus menyempurnakan alat praktis untuk menerapkan pendekatan
evaluasinya yang diberi label Daftar Periksa Evaluasi Kunci.

 Latar Belakang Scriven

Michel Scriven lahir di Inggris dan dibesarkan di Australia. Orientasi Dasar Scriven
untuk Evaluasi Kami memilih untuk memberi label pendekatan Scriven sebagai "evaluasi
berorientasi konsumen" untuk mencirikan orientasi pragmatis dasarnya untuk memenuhi
kebutuhan konsumen. Dalam rekaman audio yang disiapkan untuk American Educational
Research Association (1969), ia menyatakan bahwa peran yang tepat dari evaluator adalah
sebagai "konsumen pengganti yang tercerahkan." Dalam peran ini, evaluator berfungsi
sebagai kesadaran sosial yang terinformasi. Pelayanan tersebut, kata dia, merupakan "batu
landasan etika profesi dalam evaluasi kerja". Menurut Scriven (1991a), "Evaluasi adalah
proses penentuan manfaat, nilai dan nilai sesuatu, dan evaluasi adalah produk dari proses itu"
(hal. 1). Dia telah menekankan bahwa evaluator harus dapat sampai pada penilaian nilai yang
dapat dipertahankan daripada hanya mengukur sesuatu atau menentukan apakah tujuan telah
tercapai. Alih-alih menerima tujuan pengembang seperti yang diberikan, seorang evaluator,
menurut Scriven, harus menilai apakah pencapaian tujuan akan berkontribusi pada
kesejahteraan konsumen. Terlepas dari tujuannya, evaluator harus mengidentifikasi hasil dan
menilai nilainya dari perspektif kebutuhan konsumen. Dia memajukan posisi ini ketika dia
memperkenalkan konsep evaluasi tanpa tujuan (1974). Pendekatan praktis Scriven terhadap
evaluasi secara umum memerlukan identifikasi dan peringkat program dan produk opsional
yang tersedia bagi konsumen, berdasarkan pada pilihan biaya dan efek relatif dan dengan
mempertimbangkan kebutuhan konsumen dan masyarakat yang lebih luas.

 Definisi Evaluasi dari Scriven

Dalam sebuah artikel klasik (1967), ia mendefinisikan evaluasi sebagai aktivitas

metodologis yang hanya terdiri dari pengumpulan dan penggabungan data kinerja dengan
serangkaian skala tujuan tertimbang untuk menghasilkan peringkat komparatif atau numerik,
dan dalam pembenaran (1 ) instrumen pengumpulan data, (2) pembobotan, dan (3) pemilihan
tujuan" (hal. 40). Sementara Scriven menugaskan evaluator untuk mengevaluasi nilai atau
manfaat sesuatu, baru-baru ini dia menambahkan signifikansi pada ini kriteria bottom-
line.Konsepnya tentang signifikansi terlihat jelas: "Salah satu pertanyaan terpenting yang
harus selalu dipertimbangkan oleh para evaluator profesional adalah sejauh mana evaluasi
telah memberikan kontribusi bagi kesejahteraan umat manusia, secara lebih umum, bagi
kesejahteraan masyarakat. planet yang kita huni" (2004, hlm. 183),

Menurut pandangan ini, evaluasi lebih disukai bersifat komparatif; implikasinya, ia

melihat pada biaya komparatif serta manfaat; itu menyangkut cara terbaik untuk memenuhi
kebutuhan konsumen; secara optimal merupakan kegiatan profesional yang melibatkan
prosedur yang sistematis; itu harus dilakukan seobjektif mungkin dan sering oleh evaluator
independen; dan itu harus berujung pada penghakiman. Namun, kami juga mencatat bahwa
Scriven melihat evaluasi sebagai aktivitas referensi diri di mana evaluator harus
mengevaluasi pekerjaan mereka sendiri serta memperoleh penilaian independen dari evaluasi
mereka.

 Evaluasi Formatif dan Sumatif

Dalam artikelnya tahun 1967, Scriven berpendapat bahwa tanggung jawab utama
evaluator adalah membuat penilaian yang tepat. Dengan pentingnya tujuan evaluasi yang
sudah mapan, Scriven melanjutkan untuk menganalisis peran evaluasi. Dia mengutip dua
peran utama: formatif, untuk membantu dalam mengembangkan program dan objek lain, dan
sumatif, untuk menilai nilai objek setelah dikembangkan.

Evaluasi dalam aplikasi formatifnya merupakan bagian integral dari proses

pembangunan. Ini memberikan umpan balik terus-menerus untuk membantu dalam
perencanaan, pengembangan, dan penyampaian program atau layanan. Dalam pengembangan
kurikulum, ia menjawab pertanyaan tentang validitas isi, tingkat kosa kata, kegunaan,
kesesuaian media, daya tahan bahan, efisiensi, staf, dan hal-hal lain. Di kelas, mungkin
memerlukan penilaian yang dekat dan berkelanjutan atas tindakan mengajar dan kemajuan
setiap siswa, dengan umpan balik yang digunakan untuk memperkuat pengajaran dan
pembelajaran Secara umum, evaluasi formatif dilakukan untuk membantu orang
meningkatkan apa pun yang mereka kembangkan, operasikan, atau berikan.

Dalam peran sumatif, evaluasi "dapat berfungsi untuk memungkinkan administrator

untuk memutuskan apakah seluruh kurikulum selesai, disempurnakan dengan menggunakan
proses evaluasi dalam peran pertama (formatif), mewakili kemajuan yang cukup signifikan
pada alternatif yang tersedia untuk membenarkan biaya. adopsi oleh sistem sekolah"
(Scriven, 1967, hlm. 41-42). Evaluasi sumatif memberikan penilaian tentang sejauh mana
tujuan secara valid mencerminkan kebutuhan yang dinilai. Secara keseluruhan, evaluasi
sumatif melayani konsumen dengan memberi mereka penilaian independen yang
membandingkan biaya, manfaat, nilai, dan signifikansi program atau produk yang bersaing.
Baru-baru ini Scriven (2004) menambahkan peran utama ketiga dari evaluasi, yang diberi
label sebagai evaluasi kriptif. Dia mengidentifikasi evaluasi seperti itu tidak terkait dengan
proses mental yang berkembang.

 Evaluasi Amatir Versus Profesional

 Pada tahap awal pengembangan, Scriven lebih memilih apa yang dia sebut sebagai
"evaluasi amatir" (evaluasi diri oleh orang-orang dengan keahlian evaluasi minimal) daripada
"evaluasi profesional". Pengembang, ketika mereka berfungsi sebagai evaluator mereka
sendiri, mungkin agak tidak sistematis dan subjektif; tetapi mereka juga mendukung, tidak
mengancam, berdedikasi untuk menghasilkan kesuksesan, dan toleran terhadap tujuan yang
tidak jelas dan prosedur pengembangan eksplorasi. Oleh karena itu, mereka tidak mungkin
menahan kreativitas pada tahap awal perkembangan. Evaluator profesional, jika terlibat
terlalu dini, dapat "meredam api kreatif dari kelompok produktif" (Scriven, 1967, hlm. 45),
memperlambat proses pengembangan dengan mendesak agar tujuan diperjelas, atau
kehilangan perspektif objektif mereka dengan menjadi terlalu selaras. dengan upaya produksi,
antara lain pertimbangan. Namun, evaluator profesional diperlukan untuk melakukan evaluasi
formatif dan sumatif selama tahap perkembangan selanjutnya. Kedua jenis evaluasi tersebut
memerlukan keterampilan teknis tingkat tinggi dan objektivitas yang jarang dimiliki oleh staf
pengembangan yang tidak terlatih secara khusus dalam teori dan metodologi evaluasi.
Scriven merekomendasikan agar evaluator profesional dimasukkan dalam staf pengembangan
untuk melakukan evaluasi formatif, dan dia sering menyarankan agar evaluator profesional
eksternal ditugaskan untuk melakukan dan melaporkan evaluasi sumatif.

 Evaluasi Intrinsik dan Hasil

Scriven membedakan antara evaluasi intrinsik dan hasil. Evaluasi intrinsik menilai
kualitas alat, terlepas dari efeknya pada klien, dengan menilai fitur seperti tujuan, struktur,
metodologi, kualifikasi dan sikap staf, fasilitas, kredibilitas publik, dan catatan masa lalu.
Evaluasi hasil tidak berkaitan dengan sifat program, buku teks, teori, atau objek lain
melainkan dengan efeknya pada klien. Efek tersebut mungkin termasuk nilai ujian, kinerja
pekerjaan, atau status kesehatan. Scriven mengakui pentingnya evaluasi intrinsik, tetapi
menekankan bahwa seseorang juga harus menentukan dan menilai hasil, karena hubungan
sebab akibat antara variabel proses dan hasil jarang, jika pernah, diketahui secara pasti. Dia
menjelaskan bahwa kedua jenis dapat berkontribusi baik peran formatif atau sumatif.

 Evaluasi Bebas Tujuan

Dalam langkah lain, Scriven memperkenalkan evaluasi bebas tujuan berlabel kontra-
proposal (Scriven, 1974). Menurut pendekatan ini, evaluator dengan sengaja tetap
mengabaikan tujuan tercetak program dan mencari semua efek program terlepas dari tujuan
pengembangnya. Tidak ada efek samping untuk diperiksa, karena data tentang semua efek,
apa pun tujuan program, sama-sama dapat diterima. Keuntungan dari evaluasi bebas tujuan,
menurut Scriven, adalah bahwa hal itu kurang mengganggu daripada evaluasi berbasis tujuan;
lebih mudah beradaptasi dengan pergeseran tujuan tengah; lebih baik dalam menemukan efek
samping; kurang rentan terhadap bias sosial, persepsi, dan kognitif; lebih menantang secara
profesional, dan lebih adil dalam mempertimbangkan berbagai nilai. Evaluasi tanpa tujuan
adalah pendekatan inovatif yang membantu dalam menerapkan pendekatan evaluasi yang
berorientasi pada konsumen. Dalam praktik evaluasi kami, kami telah menemukan bahwa
evaluasi bebas tujuan memberikan informasi tambahan yang penting, memperluas sumber
informasi evaluatif, sangat baik dalam memunculkan temuan tak terduga, adalah prosedur
yang relatif murah, dan disambut dan dihargai oleh klien .

 Penilaian, Peringkat, Penilaian, dan Pembagian

Scriven (1991a) telah mengidentifikasi empat metode utama yang berpotensi relevan
untuk semua jenis evaluasi: penilaian, peringkat, penilaian, dan pembagian Penilaian
melibatkan pemberian angka pada evaluasi dan beberapa aspek evaluasi. Angka-angka ini
mewakili jumlah poin kualitas, di mana poin biasanya dianggap sama dalam nilai dan aditif.
Rentang skor yang mungkin biasanya diambil untuk mewakili ukuran prestasi terendah ke
ukuran prestasi tertinggi. Namun, makna nilai dari setiap skor tunggal tidak jelas tanpa
informasi tambahan. Penilai dapat diberi peringkat berdasarkan skor mereka pada proes
evaluatif tertentu prosedur. Peringkat relatif kemudian menunjukkan manfaat dari evaluands
dibandingkan satu sama lain, tetapi tidak pada tingkat prestasi tertentu. Tergantung apakah
skala yang terlibat adalah ordinal, interval, atau rasio, jarak antara skor evaluands yang
berbeda mungkin atau mungkin tidak dianggap sama. Untuk mendapatkan penilaian mutlak
atas prestasi, nilai harus ditetapkan untuk setiap skor yang mungkin. Metode utama keempat,
pembagian, melibatkan sumber daya untuk evaluasi alternatif; ini biasanya melibatkan
penilaian, peringkat, dan penilaian, yang berkontribusi pada langkah sintesis akhir.

 Daftar Periksa Evaluasi Kunci

Sebagai sarana untuk merencanakan dan mengevaluasi evaluasi, Scriven

mengembangkan, dan terus menyempurnakan, Daftar periksa mencerminkan pandangan
Scriven bahwa evaluasi memiliki banyak dimensi, harus membahas nilai-nilai terkait harus
menggunakan berbagai perspektif, melibatkan berbagai tingkat pengukuran, harus
menggunakan banyak metode, dan biasanya harus berujung pada kesimpulan evaluasi garis
bawah. Dia kadang-kadang mengacu pada Daftar Periksa Evaluasi Kunci sebagai
multimodel evaluasi.

Daftar periksa dibagi menjadi empat bagian utama.

Bagian A: Pendahuluan berisi ringkasan eksekutif, kata pengantar (meneliti sumber dan sifat
permintaan atau kebutuhan untuk evaluasi), dan metodologi (misalnya, komparatif atau non-
komparatif; penilaian, peringkat, penilaian, atau pembagian; atau beberapa kombinasi dari
ini).

Bagian B: Yayasan memberikan latar belakang dan konteks, deskripsi dan definisi program
dan komponennya, konsumen program, sumber daya program, dan nilai (standar dan bobot
minimum).

Bagian C: Subevaluasi menawarkan evaluasi proses, hasil, biaya, perbandingan (alternatif),

dan generalisasi.

Bagian D: Kesimpulan terdiri dari evaluasi signifikansi keseluruhan, kemungkinan

rekomendasi dan penjelasan, tanggung jawab untuk evaluasi dan pembenaran, laporan untuk
distribusi, dukungan yang dibutuhkan, dan metaevaluasi. Bagian dari daftar periksa evaluasi
ini tidak perlu dilakukan dalam urutan tertentu, tetapi semua harus ditangani atau setidaknya
dipertimbangkan sebelum daftar periksa tersebut diterapkan dengan benar. Juga, seorang
evaluator dapat menggilir pemeriksaan mendaftar beberapa kali selama evaluasi suatu
program. Siklus awal adalah evaluasi formatif; siklus terakhir adalah apa yang Scriven
istilahkan evaluasi sumatif. Alasan dari Daftar Periksa Evaluasi Kunci adalah bahwa evaluasi
pada dasarnya adalah proses reduksi data, di mana sejumlah besar data diperoleh dan dinilai
dan kemudian disintesis menjadi penilaian nilai secara keseluruhan. Dalam merancang
proses reduksi data ini, Scriven menyarankan bahwa langkah awal membantu
mengkarakterisasi program atau produk dan langkah selanjutnya membantu menilai
validitasnya.

 The Final Synthesis

Scriven (1994b) menyajikan analisis filosofis, teoretis, dan metodologis yang

ekstensif dari langkah sintesis dalam evaluasi.

Langkah-langkah dalam prosesnya adalah mencari aturan keputusan yang tepat;

menurunkan kriteria yang dapat diterima dalam penilaian pembuktian; menurunkan kriteria
kebaikan yang melekat dalam definisi klasik objek evaluatif, menilai kebutuhan dan
preferensi klien dan penerima manfaat; memperoleh bukti status setiap objek berdasarkan
kriteria kelayakan, nilai, dan signifikansi; menimbang kriteria; profil hasil; memutuskan
apakah akan mencoba sintesis akhir; dan, jika diperlukan, menggabungkan hasil untuk
mencapai kesimpulan keseluruhan.

Untuk memutuskan apakah akan membuat sintesis akhir, Scriven menyarankan

evaluator untuk mempertimbangkan tiga faktor: - Tentukan apa yang dibutuhkan klien
evaluasi. - Pertimbangkan keterbatasan data yang tersedia. - Periksa konfigurasi fakta yang
tersedia.

Scriven merekomendasikan beberapa prosedur umum untuk mencapai sintesis akhir.

Salah satunya adalah apa yang dia sebut "inferensi pembuktian." Menurut Scriven (1994b),
"Inferensilah yang membuat kasus prima facie untuk sebuah kesimpulan: jenis inferensi yang
sangat kontekstual" (hal. 371). Ini melibatkan penurunan nilai dari fakta. Scriven (1994b)
mengacu pada klaim evaluatif sebagai fakta jika mereka adalah penilaian yang sangat dapat
diandalkan yang dibuat oleh hakim berpengalaman terhadap standar yang valid sederhana-
penilaian yang diteliti, sadar atau tidak sadar, oleh evaluator terlatih untuk kesalahan fakta,
standar, penilaian, atau kesimpulan. Langkah-langkah analisis fungsional ini memberikan
dasar untuk membandingkan objek evaluasi pada kriteria yang dipilih dan untuk menilai
setiap objek secara absolut terhadap standar apa yang seharusnya diharapkan dari objek.

Langkah lain yang sering dilakukan dalam proses sintesis melibatkan penilaian kebutuhan
dan keinginan penerima manfaat. Catatan Scriven (1994b):

Sebagai poin terakhir tentang langkah sintesis akhir, Scriven (1994b)

memperingatkan terhadap kekeliruan pendekatan bobot dan jumlah numerik (NWS) untuk
mencapai kesimpulan evaluatif. Pendekatan yang relatif umum ini melibatkan penghitungan
skor keseluruhan pada objek evaluasi dengan menjumlahkan semua kriteria produk dari
bobot masing-masing kriteria dikalikan skor objek pada kriteria. Prosedur ini dapat secara
keliru memberikan nilai kelulusan pada objek yang gagal atau berkinerja buruk pada kriteria
yang paling penting tetapi mendapat nilai tinggi pada kriteria yang kurang penting atau
bahkan sepele. Untuk menggantikan prosedur sintesis yang salah ini, Scriven (1994b)
menawarkan apa yang dia sebut pendekatan bobot dan jumlah kualitatif (QVWS).
Pendekatan ini dimulai dengan menilai kriteria evaluatif pada signifikansinya sebagai
esensial, sangat penting, penting, cukup signifikan, dan tidak signifikan. Kriteria tidak
signifikan dihilangkan. Kemudian evaluator segera turun dari pertimbangan lebih lanjut
objek apa pun yang gagal memenuhi kriteria esensial. Jika setiap objek dinilai, katakanlah,
pada skala tiga poin pada setiap kriteria (1: lulus; 2: lulus dengan perbedaan; dan 3: patut
dicontoh), maka skor kategori total dapat diperoleh untuk objek cache dengan menjumlahkan
peringkat dan dibagi dengan jumlah kriteria dalam kategori. Memisahkan setiap set skor
kategori akan mempertahankan tujuan Scriven untuk memastikan bahwa poin pada kriteria
berbobot lebih rendah tidak akan mengalahkan poin yang diperoleh dengan kriteria berbobot
lebih tinggi.

 Metaevaluasi

Item terakhir dalam Daftar Periksa Evaluasi Kunci memerlukan evaluasi evaluasi.
Scriven memperkenalkan konsep ini pada tahun 1968, Dia mencatat bahwa metaevaluasi
dapat menjadi formatif, dalam membantu evaluator untuk merancang dan melakukan
evaluasi yang baik, atau sumatif, dalam memberikan bukti independen kepada klien tentang
kompetensi teknis evaluator utama dan kebenaran laporannya Saran metodologis Scriven
untuk melakukan metaevaluasi termasuk penggunaan Evaluasi Kuncinya Daftar periksa
untuk menilai evaluasi sebagai produk, penggunaan beberapa daftar periksa lain, atau
penggunaan standar evaluasi profesional (Juga bagian Scriven, 1975, tentang bias evaluasi
dan kontrolnya.)

 Ideologi Evaluasi

Wawasan lebih lanjut dapat diperoleh tentang filosofi evaluasi Scriven secara umum
dan Daftar Periksa Evaluasi Utama secara khusus dengan mempertimbangkan analisisnya
tentang ideologi alternatif (Scriven, 1983). Oleh karena itu, kami selanjutnya menangkap
poin-poin terpentingnya mengenai masing-masing dari empat ideologi: ideologi separatis,
positivis, manajerial, dan relativis.

 Ideologi Separatis

Scriven melihat ideologi separatis berakar pada penolakan atau penolakan proposisi bahwa
evaluasi adalah aktivitas yang mengacu pada diri sendiri. Ideologi ini paling baik tercermin
dalam proposal evaluasi yang membutuhkan penunjukan evaluator yang sepenuhnya
independen dari apa yang akan dievaluasi.

Dalam evaluasi program, seseorang harus melihat secara realistis pada staf serta
aspek-aspek lain dari program karena keberhasilan dan kegagalan selalu tidak dapat
dipisahkan dari kerja staf dan akan ada sedikit prospek untuk perbaikan melalui evaluasi jika
pedoman untuk meningkatkan kinerja staf tidak disediakan.

 Ideologi Positivisme

Scriven melihat ideologi kedua, yaitu positivisme logis, sebagai reaksi berlebihan
lainnya terhadap fobia nilai. scriven menunjuk sejumlah kasus yang kontradiktif-misalnya,
psikolog pendidikan yang menyatakan bahwa tidak ada penilaian evaluatif dapat dibuat
dengan objektivitas namun dengan mudah menghasilkan penilaian evaluatif tentang kinerja
siswa mereka.Tanggapan Scriven terhadap kelemahan positivisme adalah dengan
memberikan kepentingan sentral pada praktik pemberian makna nilai pada temuan yang
diperoleh dalam studi evaluasi.

 Ideologi Manajerial

Dari sudut pandang manajer, ideologi manajerial ini jelas mencakup bias dalam
menghasilkan laporan yang menguntungkan. Menurut Scriven, banyak evaluator yang
bersedia memenuhi keinginan manajer untuk laporan yang menguntungkan dan dapat
diprediksi karena serangkaian alasan mementingkan diri sendiri. Dalam ideologi manajerial,
kemudian, kita dapat melihat kemungkinan pertemuan ideologi separatis, positivis, dan
manajerial-semuanya berdampak buruk. Dengan menghindari evaluasi manajer dan staf
(konsisten dengan ideologi separatis), menjaga evaluasi sebagai layanan teknis tanpa
penentuan nilai (pendekatan positivis), dan membantu manajer mendapatkan laporan yang
baik yang mereka butuhkan tentang pencapaian. tujuan mereka (ideologi manajerial),
evaluator telah secara efektif menjadikan evaluasi sebagai sesuatu yang merugikan dan bukan
kontribusi kepada masyarakat. Ini akan mencegah daripada membantu klien untuk memeriksa
tujuan dan layanan mereka secara kritis. Dengan berkonsentrasi pada tujuan pengembang, itu
akan gagal untuk memastikan bahwa layanan memiliki nilai untuk memenuhi kebutuhan
konsumen. Scriven, kepatuhan yang terlihat luas pada ideologi manajerial dan hubungannya
dengan praktik evaluasi buruk lainnya adalah parodi bagi masyarakat dan profesi evaluasi.
Dia telah menggunakan analisis kritisnya terhadap pendirian ini sebagai platform untuk
mengadvokasi serangkaian reformasi, yang terlihat dalam Daftar Periksa Evaluasi Kuncinya:

• Melakukan penilaian kebutuhan sebagai dasar untuk menilai apakah suatu program telah
menghasilkan hasil yang bermanfaat

• Mengevaluasi "bebas tujuan" agar tidak disibukkan dengan tujuan pengembang dan dengan
demikian kehilangan hasil penting tetapi tidak terduga, baik dan buruk

• Membandingkan apa yang sedang dievaluasi dengan alternatif yang layak

• Memeriksa layanan untuk efektivitas biaya

• Menggabungkan personel dan evaluasi program

 Ideologi relativis
 Ideologi lain yang dilihat Scriven sebagai cacat dan melemahkan pengaruhnya pada
pekerjaan evaluasi adalah ideologi relativis. Scriven melihatnya sebagai reaksi berlebihan
terhadap masalah yang terkait dengan ideologi positivis. Sedangkan kaum positivis sering
mengemukakan pandangan bahwa ada realitas objektif yang dapat diketahui oleh siapa saja
yang dapat dan akan menggunakan prosedur penilaian yang tidak bias, kaum relativis
menuduh bahwa konstruksi ini terlalu sederhana dan hanya dapat menyebabkan penilaian
sempit yang memberi penonjolan eksklusif dan tidak semestinya terhadap perspektif
beberapa kelompok yang berkuasa di bawah pandangan keliru bahwa perspektif dan
penilaian mereka adalah objektif. Menanggapi bahaya positivisme, kaum relativis
menyatakan bahwa semuanya relatif, bahwa tidak ada kebenaran objektif. Oleh karena itu,
mereka menyerukan berbagai perspektif, kriteria, ukuran, dan jawaban.

 Evaluasi Produk

Pada tahun 1994, Scriven (1994a) mempresentasikan apa yang dianggapnya sebagai
state of the art dalam evaluasi produk. Pada dasarnya, artikel ini merangkum atau
menyinggung beberapa konsep penting yang telah dikembangkan Scriven selama bertahun-
tahun dan yang telah dilaporkan dalam bab ini: penilaian kebutuhan, evaluasi bebas tujuan,
standar dari berbagai jenis (terutama yang mengacu pada etika, pertimbangan hukum, atau
politik), metaevaluasi, dan ideologi manajerial (khususnya yang berkaitan dengan aspek
Daftar Periksa Evaluasi Kunci). Kami telah mengekstrak dan merangkum aspek-aspek kunci
dari artikel Scriven (1994a) tentang evaluasi produk.

 Tempat dan Pentingnya Evaluasi Produk

Scriven memulai artikelnya (1994a) sebagai berikut: Evaluasi produk penting karena
beberapa alasan. Yang jelas, yang terkadang menjadi masalah yang menyelamatkan nyawa
bagi konsumen, muncul karena hidup kita, dan kualitas hidup itu, bergantung pada evaluasi
produk oleh lembaga eksternal-misalnya, pada evaluasi obat-obatan dan mobil. sistem
keamanan. Yang kedua, hal yang menyelamatkan jiwa (secara metaforis) bagi penemu,
produsen, dan penyedia layanan, adalah peran evaluasi produk dalam peningkatan produk
dan layanan, peran yang, misalnya, telah mendorong bidang komputer ke tingkat yang tak
tertandingi. perbaikan, meskipun kualitas evaluasi produknya menyisakan banyak ruang
untuk perbaikan lebih lanjut. Alasan ketiga pentingnya adalah keterlibatannya dalam bidang
evaluasi terapan lainnya, khususnya dalam evaluasi program.

 Metodologi Dasar

Untuk menjawab pertanyaan tentang bagaimana evaluasi produk harus dilakukan,

Scriven menyarankan agar formula umum yang sama harus diikuti seperti untuk semua
evaluasi lainnya. Rincian spesifik dari evaluasi produk akan bervariasi sesuai dengan bidang
produk yang diuji dan pengetahuan yang tepat tentang kebutuhan konsumen tertentu. Scriven
menyatakan bahwa sebagai suatu metodologi, evaluasi adalah suatu transdisiplin, dan
pengembangan metodologi ini menimbulkan dilema yang dihadapi oleh pengejaran logika
(transdisiplin lain) selama dua milenium. Seseorang dapat mencoba memberikan model
umum, tetapi ini sering kali menjadi terlalu sulit untuk diterapkan secara andal pada kasus
lain. Atau seseorang dapat memusatkan perhatian pada kelemahan, atau "jebakan", yang
dalam logika dikenal sebagai "pendekatan lallacies". Scriven melihat pendekatan fallacy
mungkin yang paling meyakinkan untuk digunakan dalam menetapkan metodologi untuk
evaluasi produk. Ini membentuk kerangka kerja dan fokus dari apa yang harus diikuti.

Consumers Union

Scriven (1994a, hlm. 48) mencatat pentingnya Consumer Reparts, organ resmi Serikat
Konsumen (CU), dan mengakui statusnya sebagai pembawa standar meskipun secara de
facto, untuk evaluasi produk.