PENELITIAN EVALUASI

A. PENGERTIAN EVALUASI
Menurut Suharsimi Arikunto (2007) menyebutkan bahwa evaluasi
merupakan kegiatan untuk mengumpulkan informasi tentang bekerjanya sesuatu,
yang selanjutnya informasi tersebut digunakan untuk menentukan alternatif yang
tepat dalam mengambil keputusan. Fungsi utama evaluasi dalam hal ini adalah
menyediakan informasi-informasi yang berguna bagi pihak pembuat keputusan
untuk menentukan kebijakan yang akan diambil berdasarkan evaluasi yang telah
dilakukan. Penelitian evaluasi merupakan suatu desain atau prosedur dalam
mengumpulkan dan menganalisis data secara sistematik untuk menentukan
manfaat dari suatu praktik pendidikan. Jadi dapat disimpulkan bahwa penelitian
evaluasi merupakan prosedur ilmiah yang sistematis yang dilakukan untuk
mengukur hasil program (efektivitas suatu program) sesuai dengan tujuan yang
direncanakan, dengan cara mengumpulkan, menganalisis, dan mengkaji
pelaksanaan program yang dilakukan secara objektif.

B. LANGKAH-LANGKAH PENELITIAN EVALUASI

Dalam Evaluasi Penelitian ada beberapa langkah yang harus ditempuh.
langkah-langkah tersebut adalah sebagai berikut:
1. Menjelaskan alasan untuk melakukan evaluasi
Studi evaluasi dapat diprakarsai oleh ketertarikan personal evaluator atau
pesanan dari seseorang atau agen tertentu, atau kedua-duanya. Bila evaluasi
atas prakarsa pribadi, Anda hanya memerlukan pada diri Anda mengapa
evaluasi itu dilakukan. Jika bersifat pesanan, seorang evaluator harus
mempertimbangkan penyelidikan untuk menentukan semua alasan bagi
evaluasi yang dipesan tersebut. Evaluasi bisa diminta karena hal itu
diperlukan oleh suatu badan akreditasi atau penyandang dana. Evaluasi ini
biasanya terligitimasi. Terkadang evaluasi juga diminta untuk alasan yang
lebih meragukan. Misalkan untuk memantau perilaku staff suatu program.
Atau untuk memperoleh bukti yang dapat digunakan sebagai alasan pembenar
bagi dihentikannya suatu program atau pengurangan pendanaannya. Atau
untuk memperoleh informasi yang akan merefleksikan bahwa beberapa
anggota staf program tertentu tidak menguntungkan. Jika anggota staf tersebut
merasa bahwa tujuan hal ini yang merukan tujuan pokok suatu evalusi,
mereka dangat mungkin akan melakukan sabotase untuk terhadap pekerjaan
evaluator.
Untuk menetukan legitimasi sebuah evaluasi, evaluator perlu melakukan
wawancara terhadap personal kunci apakah evaluasi tersebut beralasan dan
etis. Para pakar evalusi merekomendasikan agar Anda meolak untuk
melakukan evaluasi jika sekiranya akan terjadi atau dimungkinkan terjadi
pelanggaran etik.
2. Mengidentifikasi Stakeholder
Identifikasi tingkat kepentingan stakeholder yang akan dipengaruhi oleh
studi evaluasi. Mengabaikan beberapa diantara mereka bisa mengakibatkan
konsekuensi politik yang serius.
3. Memutuskan apa yang akan dievaluasi
Gambarkan semua kemungkinan aspek program yang dapat dievaluasi
sebagai langkah dalam menentukan aspek-aspek tertentu yang akan menjadi
focus evaluasi. Aspek-aspek ini dapat dikelompokkan menjadi: tujuan (goal),
sumber daya, prosedur, dan manajemen.
a. ` Tujuan Program
Pertimbangan kelayakan tujuan program merupakan sentral dari
sebagian besar studi evaluasi. Ada tujuan umum (goal), ada tujuan tujuan
khusus (objective). Tujuan khusus terkadang dinyatakan dalam bentuk
perilaku, yang dapat diamati pada partisipan program. Hal ini diistilahkan
dengan behavioral objective. Biasanya memiliki 3 komponen: pernyataan
tujuan program yang teramati; kriteria kesuksesan performance dari
perilaku; dan konteks situasional dimana perilaku tersebut terbentuk.
b. Sumber daya
Sumberdaya adalah personel, peralatan, ruang, dan berbagai item
lainnya yang diperlukan untuk mengimplementsikan prosedur-prosedur
program.
Studi yang mendalami hubungan antar sumberdaya yang diperlukan
dengan keluaran yang dicapai oleh program kadang disebut cost-benefit
research atau input-output research.
Contoh pertanyaan: Apakah sumber daya kita sekarang cukup untuk
menjalankan program seperti yang diinginkan pengembangnya? Apakah
program ini terlalu mahal? Yang manakah dari dua program membaca ini
yang lebih baik dibeli?
c. Prosedur Program manajemen
Prosedur adalah teknik, strategi, dan proses lainnya yang berhubungan
dengan sumber daya untuk mencapai tujuan program.
Contoh pertanyaan: Berapa lama guru perlu menggunakan bahan ajar
sebelum siswa menguasai isinya? Apakah guru mempunyai kesulitan
dalam menerapkan pendekatan inkuiri pada pengajaran sains? Pada
tingkatan yang bagaimanakah guru menggunakan pendekatan inkuiri?
d. Menajemen program
Penelitian evaluasi dapat difokuskan pada system manajemen yang
berhubungan dengan pemanfaatan sumber daya dan prosedur program.
Atau pada dampak pengaruh system manajemen terhadap tujuan program
yang dicapai.
Contoh pertanyaan: Apakah system manajemen menjamin keefektifan
penggunaan sumber daya? Apakah system manajemen cukup efisien?
Apakah prosedur manajemen berjalan sesuai dengan yang diinginkan
pengembang program?
4. Mengidentifikasi pertanyaan
Mengidentifikasi Pertanyaan-pertanyaan Evaluasi. Lee Cronbach
membedakannya menjadi dua fase. (1) fase divergen dalam mengumpulkan
suatu daftar pertanyaan, isu, concern, dan informasi secara komprehensif,
melibatkan semua stakeholder. (2) fase konvergen dengan menyeleksi daftar
pertanyaan untuk memperoleh pertanyaan-pertanyaan paling penting yang
sekiranya dapat dijawab dengan sumber daya yang memungkinkan. Hal ini
dilakukan melalui kolaborasi dengan stakeholder signifikan
Beberapa pertanyaan penting yang bisa diajukan dalam penelitian
evaluasi:
a. Tujuan atau sasaran apa yang ingin dicapai oleh program pendidikan.
b. Strategi atau metode apa yang digunakan dalam program tersebut.
c. Bagaimana kondisi sumber daya pendidikan pendukung penelitian
evaluasi.
d. Bagaimana manajemen pelaksanaan program dan sumber daya
pendukung
5. Mengembangkan desain dan timeline
Banyak Studi Evaluasi yang memiliki keserupaan dengan studi penelitian
dalam hal desain, eksekusi, dan pelaporannya. Jadi, setiap prosedur penelitian
yang telah dijelaskan dalam bab-bab sebelumnya (kelompok-kelompok
sebelumnya) dapat dimasukkan ke dalam desain sebuah studi evaluasi.
Banyak studi evaluasi menggunakan suatu desain eksperimen atau kuasi-
eksperimen, karena seringkali pertanyaan utama studi ini menyangkut seberapa
baikkah sebuah program bekerja (program merupakan perlakuan
eksperimental).
Dalam studi evaluasi biasanya ada batas waktu tertentu bagi terselesaikannya
laporan akhir. Oleh karena itu diperlukan jadwal waktu yang ketat dalam
merencanakan kegiatan evaluasi. Hal ini akan sangat membantu untuk
 mengidentifikasi setiap tahapan, kegiatan, atau dokumen yang perlu
dikumpulkan dalam melengkapi studi ini.
6. Mengumpulkan dan menganalisis data
Pengumpulan dan analisis data, untuk pengumpulan data dibutuhkan
adanya instrumen evaluasi. Instrumen ini dapat berupa tes atau non tes yang
sudah diuji validitas dan reabilitasnya. Analisis data dapat berupa analisis
kuantitatif maupun analisis data kualitatif.
7. Melaporkan hasil
Hasil dilaporkan disesuaikan tingkat kepentingan stakeholder. Bagi
penulisan tesis atau disertasi, disesuaikan dengan teknik pelaporan baku
masing-masing universitas. Evaluator juga perlu menyiapkan artikel untuk
jurnal untuk menyebarkan temuan mereka dalam komunitas peneliti evaluasi
yang lebih luas..
C. PENELITIAN EVALUASI BERORIENTASI KUANTITATIF
Seperti penelitian pendidikan, evaluasi pendidikan menggunakan bentuk
yang beragam. Hal Ini karena evaluator dari waktu ke waktu telah
mengembangkan tujuan yang berbeda untuk melakukan evaluasi, filsafat yang
berbeda, dan metodologi yang berbeda. Perbedaan Ini secara bertahap
menyebabkan pengembangan model formal yang berbeda dalam melakukan
evaluasi. Penelitian evaluasi menekankan pada tujuan pengukuran, sampel yang
mewakili, kontrol eksperimental. dan penggunaan teknik statistik untuk
menganalisis data. Model menekankan pada masalah untuk menetapkan apa
yang benar dan secara umum bermanfaat tentang program yang sedang
dievaluasi daripada perhatian bagi kasus gejala individual.
Model Evaluasi berorientasi kuantitatif ini terdiri atas 5 model evaluasi.
Model-model evaluasi tersebut dijelaskan sebagai berikut:
1. Evaluasi Individu (Evaluation of the Individual)
Difokuskan pada pengukuran perbedaan individual, dan keputusan dibuat
dengan membandingkan individu dengan sejumlah norma atau criteria.
Evaluasi ini masih cukup banyak digunakan (di Amerika).

2.Evaluasi Berbasis Tujuan (Objectives-Based Evaluation)

Dipelopori oleh Ralph Tyler dalam melakukan evaluasi kurikulum sekitar
tahun 1940-an. Pandangan Tyler bahwa kurikulum harus diorganisir di
seputar tujuan (objectives) yang eksplisit dan letak kesuksesannya diukur dari
seberapa baik siswa dalam meraih tujuan tersebut.
Malcolm Provus mengembangkan model evaluasi ketaksesuaian
(discrepancy evaluation) yang mendukung model Tyler. Dalam model ini
dicari ketaksesuaian antara tujuan suatu program dengan pencapaian tujuan
actual siswa. Informasi yang dihasilkan dapat dijadikan panduan bagi
keputusan manajemen program.
Model lain yang menggunakan pendekatan berbasis tujuan adalah analisis
biaya. Digunakan untuk menentukan (1) hubungan antara biaya suatu program
dengan keuntungannya, (biasa disebut cost-benefit ratio), atau (2) hubungan
antara dari beberapa intervensi relative terhadap keefektifan terukur dari
intervensi tersebut dalam mencapai outcame yang diinginkan (biasa disebut
cost-effectiveness).
Dalam merencanakan studi mengenai pencapaian tujuan instraksional
siswa salah satu paling perlu mendapatkan perhatian adalah pengukuran
tujuannya. Adalah sangat berguna bila tujuan ini dinyatakan dalam bentuk
perilaku, yang berarti bahwa outcome program dinyatakan dalam bentuk
perilaku dimana setiap orang dapat mengamatinya pada partisipan program
tersebut. Tipe tujuan ini, yang biasanya disebut behavioral objective, biasanya
memiliki tiga komponen: pernyataan tujuan program sebagai sesuatu yang
teramati, bersifat perilaku; criteria kesuksesan performance prilaku; dan
konteks situasional perilaku tersebut dapat terbentuk.

2. Needs Assessment
Needs diartikan sebagai kesenjangan antara keadaan yang ada dengan
keadaan yang diharapkan. Nilai penting tipe penelitian ini adalah pada
penyediaan landasan bagi pengembangan sebuah program baru atau
perubahan terhadap program yang ada.
Contohnya disertasi yang dilakukan oleh Jamil Effarah (University of Oregon,
1977). Dia mengumpulkan informasi tentang tingkatan dimana Electronic
Data Processing (EDP) diperlukan dan harus diajarkan sebagai sebuah topic
dalam kurikulum sekolah tinggi program pendidikan bisnis. Penelitian ini
didesain sebagai questionnaire survey untuk mengumpulkan informasi dari
busu sekolah tinggi bisnis tentang status pengajaran EDP dalam program
mereka, dan mengumpulkan pendapat mereka tentang status pengajaran EDP.
2. Evaluasi Formatif Dan Sumatif
Media-media pendidikan seperti, textbook, film, soptwere
komputer, buku latihan dan lain-lain. Memainkan peran penting dalam
pembelajaran di kelas. Oleh karena itu, efektivitas dari produk ini adalah
keprihatinan beberapa pendidik. karena hasil bersaing beberapa mungkin
tidak tersedia untuk tujuan yang sama, informasi tentang efektivitas
relatif mereka yang dibutuhkan untuk membantu pendidik membuat
keputusan pembelian yang baik.
Michael Scriven mengembangkan model evaluasi yang berguna
untuk mengevaluasi produk pendidikan. Ia mengamati bahwa evaluasi
produk memiliki dua fungsi yang berbeda. Fungsi evaluasi formatif
adalah untuk mengumpulkan data tentang produk pendidikan saat masih
dikembangkan. Data evaluatif dapat digunakan oleh para pengembang
untuk merancang dan mengubah produk tersebut. dalam beberapa kasus
 penemuan evaluasi dapat mengakibatkan suatu keputusan untuk
membatalkan pengembangan lebih lanjut sehingga sumber daya tidak
disia-siakan pada produk yang memiliki sedikit kesempatan pada
akhirnya menjadi efektif.
Perbedaan antara fungsi evaluasi formatif dan sumatif ini penting
karena berpengaruh terhadap proses dimana evaluasi dilakukan. Evaluasi
formatif sering dilakukan oleh seorang "in-house 'penilai, yang tugasnya
adalah untuk membantu tim pengembang. Pada kenyataannya, selama
proses pengembangan program, beberapa anggota tim dapat melakukan
fungsi ganda, yang kedua pengembang dan evaluator. evaluasi sumatif,
biasanya dilakukan oleh evaluator eksternal orang ini tidak boleh
dikaitkan dengan tim pengembangan. untuk menghindari bias atau
dikooptasi oleh anggota tim. Evaluator sumatif harus responsif terhadap
kebutuhan dan persyaratan dari pengambil keputusan pendidikan, potensi
pemakai produk tersebut, dan lembaga yang mendanai pengembangan
produk tersebut.
Tujuan memainkan peran penting dalam evaluasi formatif dan sumatif.
evaluasi ini menyediakan kriteria untuk menilai manfaat dari produk
tersebut. tujuan biasanya meliputi tujuan perilaku dan hasil belajar yang
harus dicapai oleh siswa menggunakan produk tersebut. tujuan lain
mengacu pada kualitas produk yang diinginkan oleh pembeli atau
pengguna-misalnya, biaya rendah, tidak adanya gender atau bias etnis.
daya tahan, dan motivasi banding.
3. Evaluasi Untuk Mengarahkan Pengelolaan Program
Disebut juga model CIPP, dikembangkan oleh Daniel Stufflebeam dan
kolega. CIPP merupakan akronom dari 4 tipe evaluasi pendidikan yang
terlibat dalam model ini: context evaluation, input evaluation, process
evaluation, dan product evaluation.
 Context evaluation (evaluasi konteks) meliputi analisis masalah dan
kebutuhan dalam suatu pengaturan pendidikan tertentu. Kebutuhan diartikan
sebagai ketidaksesuaian antara kondisi yang ada dengan kondisi yang
diinginkan.
Input Evaluation (evaluasi input) menyangkut pertimbangan tentang sumber
daya dan strategi yang diperlukan dalam mencapai goal dan objective sebuah
program. Evaluasi input mensyaratkan agar evaluator memiliki pengetahuan
yang luas tentang sumber daya dan strategi yang memungkinkan, seperti
halnya pengetahuan tentang penelitian pada keefektifan dalam pencapaian tipe
yang berbeda dari outcome program.
Process Evaluation (evaluasi proses) mencakup pengumpulan data evaluasi
ketika sebuah program sudah dibuat dan dijalankan.
Product Evaluation (evaluasi produk) untuk menentukan tingkat dimana goal
program tercapai.
D. MODEL EVALUASI BERORIENTASI KUALITATIF
Model evaluasi yang dijelaskan di atas berguna, tetapi tidak memuaskan
dalam mengatasi sejumlah masalah penting dari evaluasi. Model berbasis tujuan,
misalnya, cenderung untuk mengambil tujuan program atau efek diamati sebagai
kodrat. Model ini, tidak memberikan banyak bimbingan jika Anda ingin
memahami mengapa tujuan tertentu yang dianggap berharga atau mengapa para
pemangku kepentingan setuju atau tidak setuju pada nilai tujuan.
Politik evaluasi juga tidak diberikan perhatian serius di dalam model
evaluasi berorientasi kuantitatif ini. Berbagai kelompok memiliki kepentingan
dalam hasil studi evaluasi, dan mereka mungkin mencoba untuk mempengaruhi
proses evaluasi. Haruskah pengaruh-pengaruh politik tersebut ditolak atau
memasukkan mereka ke dalam desain studi evaluasi? Masalah lain adalah bahwa
dalam kondisi tertentu melakukan evaluasi dapat lebih berbahaya ketimbang
berguna. Seperti yang telah dinyatakan di atas, orang umumnya tidak suka
dievaluasi, dan proses evluasi dapat menghambat kinerja yang sedang dinilai.
 Menurut pendapat beberapa evaluator, keterbatasan yang paling serius
dari model evaluasi yang dijelaskan di atas adalah ketergantungan pada
metodologi penelitian positivis. Asumsi positivisme menjadi dasar dan kritik
ditujukan pada mereka. kritik serupa telah diarahkan pada model evaluasi yang
kami cirikan sebagai berorientasi kuantitatif.
Model-model evauasi yang akan dijelaskan pada Bagian berikut ini
menggambarkan model evaluasi yang dikembangkan selama dekade terakhir.
model ini sangat bergantung pada metode kualitatif yang dijelaskan dalam bab
sebelumnya, yaitu tentang penelitian kuliatatif. Model-model evaluasi
beroirientasi kuliatatif menangani aspek-aspek evaluasi yang diabaikan atau
diberi perhatian yang sangat sedikit dalam model evaluasi berorientasi
kuantitatif.
Perbedaan yang paling kuat dari model ini dengan model evaluasi yang
berorientasi kuantitatif adalah, tidak mengasumsikan kriteria obyektif untuk
menilai suatu program pendidikan atau produk. Model berorientasi kualitatif
mengasumsikan bahwa nilai dari program pendidikan atau produk sangat
bergantung pada nilai-nilai dan perspektif dari mereka yang melakukan
penilaian. Oleh karena itu, pemilihan orang atau kelompok untuk terlibat dalam
evaluasi sangat penting. Berbeda dengan model-model evaluasi yang
beriorientasi kuantitatif yang cenderung untuk tidak mengeksplorasi perbedaan
persepsi dari layak.
Beberapa model penelitian evaluasi berorientasi kualitatif, antara lain:
1. Responsif Evaluasi
Responsive evaluation menekankan pada metode inkuiri subjektif
untuk meningkatkan pemahaman yang mendalam terhadap concern, issue
dan hal yang berhubungan lainnya.
Concern adalah segala sesuatu yang mana para stakeholder merasa tidak
nyaman atau terancam. Atau juga setiap klaim yang mana mereka ingin
untuk mendapatkan dukungan.
 Issue adalah setiap poin pernyataan tentang stakeholder
Ada 4 fase yang diidentifikasi pleh Egon Guba dan Yvonna Lincoln dalam
evaluasi responsive:
a. Inisiasi dan organisasi evaluasi. Dalam tahap ini stakeholder
diidentifkasi.
b. Identifikasi isu dan concern kunci, melalui wawancara dengan
stakeholder.
c. Pengumpulan informasi yang berguna, melalui berbagai cara seperti
observasi natural, interview, kuisioner, dan tes terstandar.
d. Melaporkan hasil secara efektif dan member rekomendasi. adversarial
2. Adversary Evaluation
Lebih terstruktur daripada model responsive evaluation. Memiliki 4 tahap
pokok:
a. Membangun isu
Contoh pertanyaan: “Apakah program ini harus dihentikan, dan diganti
dengan program alternative yang lain?”, “Apakah pendanaan program ini
harus ditambah 50%?”, “apakah siswa mengalami peningkatan
pembelajaran seperti yang kita harapkan?”
b. Mereduksi isu sehingga mengerucut pada hal-hal yang dapat
dikendalikan.
c. Membentuk dua tim evaluasi (yang berlawanan) dan keduanya
menyiapkan argument yang mendukung dan menentang program pada
masing-masing isu.
d. Langkah terakhir, kedua tim melakukan sesi prehearing dan formal
hearing. Kedua tim mengajukan argumennya.
3. Evaluasi berbasis keahlian (Expertise-Based Evaluation)
Menggunakan pakar untuk memberikan pertimbangan dan keputusan bagi
sebuah program pendidikan, contohnya dalam akreditasi periodic oleh badan
akreditasi yang terdiri dari para pakar.
 SUMBER
https://www.academia.edu/6659247/PENELITIAN_EVALUAS1