DESIGN

EVALUASI
SEDERHANA

M A T A K U L I A H E VA L U A S I P R O G R A M P R O M O S I
K E S E H ATA N
1. Y O L A R A H M AWAT I
2. D E W I P U S PA
3. Z A L FA A A Z I I Z A H
4. D E A P E R M ATA S A R I
5. AY U O K T AV I A
6. S AV I R A N U R C A H YA P U T R I
KELOMPOK 2
Sebagai contoh, kegiatan di sekolah berupa perayaan wisuda dengan minum minuman alkohol
yang harus dikurangi dengan alternatif aktivitas lain yang lebih bermanfaat bagi siswa-siswi.
Aspek negatif pada lingkungan fisik dan lokasi programnya harus memiliki efek jera untuk
program tersebut.

Meskipun tidak ada strategi yang lebih unggul dari yang lain, elemen yang dievaluasi akan sangat
mempengaruhi cara pemilihan strategi yang tepat.

Setiap strategi yang tercantum dalam Tabel 14.3 memiliki protokol khusus untuk memandu
penggunaannya. Evaluator harus memastikan bahwa strategi ini digunakan dengan tepat dan
bahwa data tidak diproyeksikan keluar fungsi alami atau fungsi yang tidak sesuai.

Dua strategi lainnya, pretest dan pilot test, keduanya diasosiasikan pada evaluasi formatif yang
diluncurkan untuk menilai kualitas komponen-komponen pada program tersebut dan juga untuk
menilai kualitas keseluruhan program tersebut sebelum diimplementasikan. Meskipun keduanya
sering digunakan secara berubah-ubah tetapi tetap saja dipergunakan sesuai situasi dan kondisi
yang ada.
PRETESTING

Pretest dapat didefinisikan ke dalam 2 hal:

(1) mengecek komponen-komponen program, seperti strategi dan materialnya, pelayanannya,
dan produk-produknya dengan populasi prioritas sebelumnya untuk diimplementasikan
(Grier & Bryan, 2005)
(2) Mengumpulkan baseline data sebelumnya untuk implementasi program yang akan
digabungkan dengan posttest data untuk memastikan keefektifan program.
Tipe pretest yang cocok untuk evaluasi formatif merajuk kepada definisi yang pertama. Tipe
pretest tersebut sering diasosiasikan dengan pemasaran sosial dan komunikasi kesehatan.
TABEL 14.3
• Kelompok Fokus : untuk mengajukan pertanyaan tentang program, produk, layanan, idola baru, atau
topik untuk menentukan sikap, pendapat, dan preferensi kelompok yang terdiri atas 6-12 individu.
• Surveys : Pengumpulan data, umumnya melalui kuesioner, dari sampel representatif dari populasi
prioritas yang memungkinkan evaluator untuk menarik kesimpulan umum tentang seluruh populasi
prioritas.
• Wawancara mendalam : wawancara formal dengan peserta program biasanya berlangsung setengah
jam atau lebih dengan menggunakan panduan wawancara dan penyelidikan terkait.
• Wawancara informal : wawancara singkat dengan peserta program biasanya percakapan.
• Informan Kunci wawancara : wawancara mendalam dengan individu yang memahami populasi
prioritas dan dapat mewakili sikap, nilai, dan pendapat mereka kepada evaluator.
• Observasi langsung : Suatu proses di mana evaluator membenamkan diri dalam program dan menilai
interaksi antara profesional dan peserta lain, reaksi umum dan perilaku peserta, dan setiap masalah
atau masalah terkait dengan konten dan pengiriman program.
TABEL 14.3
• Pengamatan Langsung : Suatu proses di mana sekelompok kecil profesional, tidak terkait dengan program tetapi yang memiliki
keahlian yang terkait dengan program, sukarela atau dikontrak untuk mengumpulkan data menganalisis program, menarik
kesimpulan tentang kekuatan dan kelemahannya, dan membuat rekomendasi.
• Tinjauan Panel Pakar : Pendekatan kualitatif di mana staf internal dari program atau bidang yang sama bertemu secara teratur
untuk membahas kekuatan dan kelemahan suatu produk, program, layanan, atau aktivitas dan membuat rekomendasi perbaikan
untuk peningkatan
• Penilai Lingkaran : Kualitas Daftar tugas atau prosedur linier atau berurutan yang memungkinkan evaluator untuk
membandingkan bagaimana suatu program sedang dilaksanakan dan dibandingkan dengan bagaimana awalnya program itu
dimaksudkan untuk dilaksanakan, atau dibandingkan dengan apa yang telah dilakukan di tempat lain dan dilaporkan dalam
studi atau laporan yang dipublikasikan.
• Daftar periksa protokol : Bila daftar periksa protokol atau model logika biasanya tidak bertahap waktu, bagan Gantt
menampilkan tanggal mulai dan selesai dari elemen program utama (mis., Tujuan program atau kegiatan dan tugas utama)
• Progran dan evaluasi formulir : Formulir program yang dikumpulkan sebelum pelaksanaan program dapat memberikan
informasi yang relevan kepada evaluator (mis., Faktor yang memotivasi partisipasi, identifikasi tujuan, partisipasi sebelumnya).
• Pretesting dapat diterapkan pada setiap komponen program. misalnya,
1. sesi spesifik dari kurikulum pendidikan
2. Peserta
3. Rancangan bahasa untuk undang-undang legislatif
4. kehadiran peserta
5. Tata letak digunakan dalam pameran kesehatan
Pretesting mengasumsikan bahwa komponen program telah ditinjau untuk bukti. Yaitu,
komponen mekanisme pelaporan, dan mengasumsikan menyiapkan komponen program dalam
bentuk awal-akhir.
Strategi yang paling umum melibatkan kelompok fokus yaitu wawancara mendalam, dan survei
(NCI, 2002).
Praktisi ini disarankan untuk menerima pelatihan dalam strategi ini sebelum mencoba untuk
melakukannya. Jika tidak, sebaiknya kontrak untuk layanan dengan profesional yang memiliki
pengalaman dan keahlian yang sesuai.
UJI COBA SEMENTARA (PILOT TESTING)
Berfokus pada komponen program tertentu, uji coba (juga disebut sebagai uji lapangan atau uji
alfa) umumnya menilai program di daerah terbatas dan / atau periode waktu (NCI, 2002).

Pengujian piłot umumnya menghadirkan seluruh program ke sejumlah anggota populasi prioritas
yang terbatas dan dapat dikelola sehingga modifikasi yang diperlukan dapat dilakukan sebelum
program diimplementasikan ke segmen yang lebih besar dari populasi prioritas.

Uji coba percontohan memungkinkan "jalan kering" untuk menilai dan mengukur kualitas
keseluruhan program. Hal ini dapat dikaitkan dengan durasi waktu yang lebih pendek
dibandingkan dengan waktu implementasi aktual, tetapi ini umumnya tidak disarankan.
Menerapkan seluruh program ke sejumlah orang dalam kerangka waktu aktual sangat membantu
bagi evaluator untuk menemukan masalah-masalah penting terkait waktu, jarak, dan durasi
intervensi. (Lihat Bab 12 untuk informasi lebih lanjut)

Uji coba percontohan menawarkan sudut pandang yang luas atau pandangan luas terhadap
program untuk menilai bagaimana keseluruhan program berdampak pada peserta.

Melakukan uji coba umumnya melibatkan pengumpulan data dari peserta. Dianjurkan untuk
menggunakan instrumen pengumpulan data yang sama yang akan digunakan dalam implementasi
program yang sebenarnya untuk melakukan penyesuaian instrumen dan komponen program
secara bersamaan.
EVALUASI SUMATIF

• Jika suatu program memperhitungkan unsur-unsur yang ditampilkan pada Tabel 14.1 dan
secara memadai memantau dan meningkatkan kualitas melalui evaluasi formatif, praktisi
dapat mengasumsikan bahwa upaya kolektif para pemangku kepentingan dalam merancang dan
menerapkan program berkualitas tinggi akan menghasilkan pencapaian tujuan program dan
tujuan yang berkaitan dengan perubahan dalam perilaku dan indikator penyakit.
• Hasil yang diharapkan ini adalah fokus dari evaluasi sumatif, yang merupakan kombinasi
pengukuran yang memungkinkan kesimpulan diambil tentang dampak, hasil, atau manfaat dari
suatu program. (Green and Lewis 1986)
EVALUASI SUMATIF

• evaluasi sumatif mencakup evaluasi dampak, yang berfokus pada indikator menengah seperti
kesadaran, pengetahuan, sikap, keterampilan, lingkungan, dan yang paling penting, perilaku.

• evaluasi hasil, yang berfokus pada langkah-langkah program jangka panjang seperti sebagai
kematian, morbiditas, atau cacat.

• Evaluasi hasil yang terkait dengan komunitas atau populasi besar sering melibatkan analisis statistik
vital dan data tren dengan evaluator yang mencoba menjelaskan perancu, ketika hubungan antara
faktor risiko atau faktor penentu lainnya dan hasilnya dimodifikasi oleh variabel tambahan, yang
disebut perancu.
MEMILIH DESAIN TERBAIK SETIAP SITUASI.

Pertanyaan-pertanyaan berikut dapat membantu dalam pemilihan desain untuk evaluasi sumatif :
• Berapa lama kamu harus melakukan evaluasi?
• Sumberdaya keuangan apa yang dapat dimasukkan dalam evaluasi?
• Apakah kamu lebih tertarik pada adata kualitatif dan kuantitatif?
• Apakah kamu memiliki kemampuan analisis atau persetujuan konsultan statistik?
• Dalam hal apa validasi dapat ditingkatkan?
• Apakah penting untuk menggeneralisasikan temuan kamu ke populasi lain?
• Apakah para pemangku kepentingan peduli dengan validitas dan reabilitas?
• Apakah kamu memiliki kemampuan untuk mengacak peserta ke dalam kelompok eksperimen dan kontrol?
• Apakah kamu memiliki akses ke grup perbandingan?
4 LANGKAH DALAM MEMILIH DESAIN
EVALUASI
1. Langkah pertama adalah mengarahkan diri pada situasi.

Sumberdaya, kendala,
Step 1 Orientasi pada situasi dan agenda
tersembunyi

Variabel tak terbatas

Mendefinisikan Variabel independent
Step 2 masalah Step 4 perancu
Variabel

Step 3 Kualitatif • Pengukuran

Keputusan • koleksi data
Kuantitatif
desain • Analisis data
dasar Kombinasi dari • Hasil pengukuran
kualitatif dan
kuantitatif
2. Langkah kedua adalah dengan mendefinisikan masalah menentukan apa yang harus
dievaluasi.
Dalam langkah ini, definisi diperlukan untuk
variabel independen (apa yang membuat sponsor berfikir berbeda)
variabel dependen (apa yang menjadi indikasi perbedaannya, misalnya, kesadaran,
pengetahuan, sikap, keterampilan, perubahan lingkungan, perilaku, prevalensi penyakit)
variabel rancu (apa yang dianggap evaluator dapat memengaruhi hasil program yang sedang
diselidiki)
3. Langkah ketiga melibatkan pengambilan keputusan untuk menentukan desain , apakah akan menggunakan metode
pengumpulan data kualitatif atau kuantitatif atau keduanya.

Metode kuantitatif bersifat deduktif

(menerapkan prinsip yang diterima secara umum untuk kasus individual), sehingga evaluasi menghasilkan data numerik
(rumit), seperti jumlah, peringkat, skor, atau klasifikasi.
Contoh data kuantitatif termasuk skor posttest pada tes pengetahuan gizi, penurunan persentase berat badan dari pretest ke
posttest, dan pengurangan tingkat kematian terkait kanker.
Metode ini cocok untuk program yang mudah didefinisikan dan membandingkan hasil program dengan kelompok lain atau
populasi umum. Ini adalah metode yang paling sering digunakan dalam desain evaluasi.

Metode kualitatif adalah metode induktif

(kasus individu dipelajari untuk merumuskan prinsip umum) dan menghasilkan data naratif, seperti kata-kata dan deskripsi.
Data kualitatif memberikan kedalaman pemahaman, motivasi belajar, memungkinkan penemuan, bersifat eksploratif dan
interpretatif, dan memungkinkan wawasan ke dalam perilaku dan tren. Sebaliknya, data kuantitatif mengukur tingkat
kejadian, memberikan bukti, dan mengukur tingkat tindakan dan tren (NCI, 2002).
• Patton (1988) membuat daftar periksa untuk menentukan apakah data kualitatif mungkin
sesuai dalam evaluasi program tertentu.
• Mengumpulkan data kualitatif dapat menjadi strategi yang baik jika ada kebutuhan untuk
menggambarkan hasil individu, untuk memahami dinamika dan proses program, untuk
mendapatkan informasi mendalam tentang klien atau situs tertentu, untuk fokus pada
keragaman program , atau untuk mengumpulkan informasi dengan tujuan
meningkatkan program selama proses evaluasi.
Steckler, McLeroy, dan rekan (1992) menggambarkan keuntungan dari menggabungkan metode
kualitatif dan kuantitatif, karena, sampai batas tertentu, kelemahan dari satu metode dikompensasi
oleh kekuatan yang lain.

Dalam Model 1, metode kualitatif digunakan untuk membantu mengembangkan metode dan
instrumen kuantitatif.
Misalnya, evaluator dapat menggunakan kelompok fokus dengan pemangku kepentingan untuk
menentukan jenis pertanyaan apa yang harus dimasukkan pada instrumen pengumpulan data.
Dengan Model 2, hasil kualitatif digunakan untuk membantu menafsirkan dan menjelaskan
temuan dari evaluasi kuantitatif.
Sebagai contoh, evaluator dapat mengumpulkan data kuantitatif dari sampel yang besar dan
mengumpulkan data kualitatif yang lebih mendalam dari beberapa sampel.
METODE KUALITATIF YANG DIGUNAKAN DALAM
EVALUASI

• 1. Studi kasus: Pemeriksaan mendalam terhadap unit sosial, seperti individu, keluarga, rumah tangga,
tempat kerja, komunitas, atau semua jenis institusi secara keseluruhan.
• 2. Analisis konten: Tinjauan sistematis yang mengidentifikasi karakteristik spesifik pesan.
• 3. Teknik Delphi: Suatu proses yang menghasilkan konsensus melalui serangkaian kuesioner.
• 4. Studi etnogrof: Berbagai teknik (mengamati partisipan, observasi, wawancara, dan interaksi lainnya
dengan orang-orang) yang digunakan untuk mempelajari individu atau kelompok.
• 5. Film, foto, dan rekaman video (etnografi film): Termasuk pengumpulan data dan studi gambar visual.
• 6. Wawancara kelompok terarah: Wawancara yang digunakan untuk memperoleh informasi tentang
perasaan, pendapat, persepsi, wawasan, kepercayaan, kesalah pahaman, sikap, dan penerimaan
sekelompok orang tentang ide atau masalah.
• 7. Analisis historis: Tinjauan akun historis yang dapat mencakup interpretasi dampak pada peristiwa terkini.
• 8. Wawancara mendalam: Wawancara formal dengan peserta program. Mengizinkan evaluator mengamati bahasa tubuh
dan ekspresi wajah saat diminta pertanyaan dan informasi tambahan.
• 9. Proses kelompok nominal: Suatu proses yang sangat terstruktur di mana beberapa perwakilan berpengetahuan dari
populasi prioritas diminta untuk memenuhi syarat dan mengukur spesifik kebutuhan.
• 10. Studi partisipan-pengamat: Studi di mana pengamat (evaluator) juga berpartisipasi dalam apa yang mereka amati.
• 11. Lingkaran Kualitas: Sekelompok orang program internal yang bertemu secara berkala untuk membahas masalah dan
untuk mengidentifikasi solusi yang mungkin.
• 12. Teknik tidak mengganggu: Teknik pengumpulan data yang tidak memerlukan langsung partisipasi atau kerja sama
dari subyek manusia dan termasuk hal-hal seperti pengamatan yang tidak mencolok, tinjauan data arsip, dan studi jejak
fisik.
• Hasil kuantitatif digunakan untuk membantu menginterpretasikan sebagian besar temuan
kualitatif. Misalnya., Setelah mengamati sekelompok orang untuk jangka waktu tertentu,
evaluator mungkin ingin melakukan survei terhadap kelompok tersebut.
• Dalam model terakhir, Model 4, data kualitatif dan kuantitatif digunakan secara sama dengan
validasi silang temuan. Langkah keempat dalam memilih desain evaluasi meliputi memilih
bagaimana mengukur variabel dependen, memutuskan bagaimana mengumpulkan data
(komponen-komponen ini berbeda).