TRANSLATING RESEARCH INTO ACTION

Analisa Keefektifan Biaya

(CEA)
Lina Marliani
J-PAL Southeast Asia
Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa

Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa

Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Ikhtisar Paparan

1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)

2. Apa itu CEA? (vs. CBA
/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA

4
Evaluasi Kemah Imunisasi dan Insentif di
Udaipur, India – Sisi Penawaran

• Tingkat imunisasi di Rajasthan sangat

rendah (kurang dari 5% di Udaipur)

• Kemungkinan penyebabnya adalah masalah

dengan sisi penawaran :

• Wilayah berbukit dan beragam suku dengan

tingkat kehadiran staf kesehatan di klinik
kesehatan lokal yang rendah (tingkat absen
45% )

• Melaksanakan acara pemberian imunisasi

bulanan di 60 desa: acara rutin
bagaimanapun kondisi cuacanya dari 11a-2p
(95% dilaksanakan)

• Pemantauan dengan kamera 5

 Sisi Permintaan dari Imunisasi

• Kemungkinan kedua: Ada masalah dengan permintaan:

• Warga tak tertarik dengan imunisasi, takut?
• Biaya kesempatan yang hilang (opportunity cost) mendatangi 5 kali untuk
vaksinasi
• Dapatkah permintaan terpengaruhi?

6
 Pemberian Insentif pada Permintaan

• Insentif tambahan: satu kilogram lentil untuk setiap kali

imunisasi (Rs. 40 – upah satu hari) ditambahkan set thali untuk
imunisasi komplit

• Perlakuan 1: Kemah imunisasi

• 30 desa
• Perlakuan 2: Kemah imunisasi+ insentif
• 30 desa
• Kelompok kontrol
• 60 desa

• Pengumpulan data imunisasi

7
Suplai reguler meningkatkan Imunisasi, Insentif
semakin meningkatkannya
Suplai reguler meningkatkan Imunisasi, Insentif
semakin meningkatkannya
Pemberian Insentif dua kali lebih cost-
effective
Ikhtisar Paparan

1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)

2. Apa itu CEA? (vs. CBA
/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA

11
Analisa Cost-Effectiveness (CEA)

• Analisa cost-effectiveness mengukur rasio biaya suatu program

terhadap dampak pada satu hasil
• Rasio CE = Manfaat program / Biaya pelaksanaan program
• Mengukur biaya untuk satu tingkat keefektifan: mis. biaya meningkatkan
kehadiran dalam satu tahun
• Atau, mengukur efektivitas biaya: jumah tahun peningkatan kehadiran di
sekolah yang dihasilkan dengan biaya $100

12
Analisa Cost-Effectiveness Secara Komparatif

• Analisa cost-effectiveness secara komparatif membandingkan

rasio cost-effectiveness untuk berbagai program

Misal: Jumah tahun masuk sekolah setiap $100 yang dihabiskan

13
Analisa Cost-Effectiveness (CEA) dan CEA secara
Komparatif

• CEA secara komparatif membandingkan rasio cost-

effectiveness untuk berbagai program
• Harus menghitung biaya dan manfaat menggunakan metodologi serupa untuk
semua program

• Cara yang baik untuk membantu pembuat kebijakan mensintesis

informasi dari banyak evaluasi
• Menyediakan ringkasan untuk satu program dalam hal biaya dan dampak pada
satu hasil
• Dapat digunakan untuk membandingkan banyak program, dan menemukan
opsi yang paling cost-effective (secara komparatif)

14
Analisa Cost-effectiveness (CEA) vs. Analisa Cost-Benefit (CBA)

• CEA: Rasio biaya dan manfaat untuk satu hasil

• CBA: Rasio biaya dan manfaat dari segi nilai moneter untuk semua hasil
• Dapat menghasilkan penilaian absolut apakah suatu proigram layak dibiayai.
• Tapi, juga memerlukan asumsi tentang nilai moneter dari semua manfaat. (biaya hidup,
disabilitas, kejahatan yang menurun di antara anak sekolah)

• Keuntungan CEA adalah kemudahannya:

• Pengguna dapat memilih variabel pengukur hasil yang obyektif (mis. biaya utuk memberikan
insentif satu hari ekstra untuk bersekolah) – tidak peru membuat penilaian tentang nilai moneter
kegiatan sekolah tersebut
• Lebih mudah bagi para pembuat kebijakan untuk membandingkan program jika mereka peduli
pada satu hasil yang ingin dikaji (mis. meningkatkan kehadiran di sekolah, bukan kesehatan anak)

15
Kapankah analisa cost-effectiveness berguna?

• Ada satu variabel pengukur hasil yang ingin dilihat dampaknya

– Ada banyak intervensi yang memungkinkan untuk meraih tujuan ini, dan anda tidak
yakin yang mana yang akan memberi dampak terbaik dengan biaya terendah

• Anda ingin meyakinkan pembuat kebijakan bahwa suatu program yang

tidak terpikir (non-obvious) merupakan suatu gagasan yang baik

• Anda ingin memahami bagaimana CE suatu program bervariasi

tergantung pada beragam faktor kontekstual dan implementasi

16
Informasi apa yang dibutuhkan?

• Ambil data mengenai dampak dari evaluasi dampak yang berkualitas

tinggi
• Memerlukan informasi lainnya, seperti jumah penerima manfaat, saat dampak
diukur

• Ambil data mengenai biaya dari…?

• Kebanyakan proyek tidak membuat catatan biaya-biaya implementasi mereka
• Memerlukan data yang rinci mengenai barang-barang yang dibeli, waktu yang
digunakan staf (untuk apa), biaya transportasi, dsb.

17
Hitunglah Biaya Penuh Program – Metode
Ramuan (Ingredients Method)

18
Pemberian insentif dua kali lebih cost-
effective
Ikhtisar Paparan

1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)

2. Apa itu CEA? (vs. CBA
/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA

20
 Pengunaan CEA
• Analisa prospektif program uji coba
– “Kira-kira seberapa efektif biaya-kah program uji
coba yang diajukan ini?”
– “Seberapa besar dampak yang harus dicapai untuk
memenuhi ambang batas?”

• Analisa retrospektif program uji coba

– “Tepatnya, seberapa cost-effective-kah program uji
coba ini?”

• Analisa prospektif perluasan program

– “Kira-kira seberapa cost-effective-kah program tingkat
nasional yang diajukan ini?”
 Pengunaan CEA
Data yang Keuntungan Kelemahan
diperlukan

Analisa Prospektif • Proyeksi biaya Perhitungan kasar juga Proyeksi biaya dan
Program Uji Coba • Perkiraan dampak dapat membantu perkiraan dampak dari
dari program menyisihkan program program serupa
serupa yang tidak cost-effective mungkin tidak akurat

• Data biaya dari

Analisa Retrospektif Masih bermasalah
program yang Memberikan perkiraan
Program Uji Coba menyangkut validitas
dievaluasi yang tepat seberapa
eksternal untuk
• Perkiraan dampak cost-effective program
perkiraan biaya dan
dari studi dalam konteks tersebut
dampak
berkualitas tinggil

Analisa Prospektif Menghasikan perkiraan

• Proyeksi data biaya
Program berskala prospektif yang
untuk perluasan Dampak dari program
disesuaikan merupakan
program uji coba mungkin tidak
alat yang berguna saat
• Perkiraan dampak dapat diterapkan pada
berbicara dengan
dari evaluasi uji program berskala
pemerintah suatu
coba
negara
Menggunakan ambang batas untuk menilai cost-effectiveness

23
Menggunakan ambang batas untuk menilai keefektifan biaya

24
Menggunakan ambang batas untuk menilai cost-effectiveness

25
 Pengunaan CEA
Data yang Keuntungan Kelemahan
diperlukan

Analisa Prospektif • Proyeksi biaya Perhitungan kasar juga Proyeksi biaya dan
Program Uji Coba • Perkiraan dampak dapat membantu perkiraan dampak dari
dari program menyisihkan program program serupa
serupa yang tidak cost-effective mungkin tidak akurat

• Data biaya dari

Analisa Retrospektif Masih bermasalah
program yang Memberikan perkiraan
Program Uji Coba menyangkut validitas
dievaluasi yang tepat seberapa
eksternal untuk
• Perkiraan dampak cost-effective program
perkiraan biaya dan
dari studi dalam konteks tersebut
dampak
berkualitas tinggil

Analisa Prospektif Menghasikan perkiraan

• Proyeksi data biaya
Program berskala prospektif yang
untuk perluasan Dampak dari program
disesuaikan merupakan
program uji coba mungkin tidak
alat yang berguna saat
• Perkiraan dampak dapat diterapkan pada
berbicara dengan
dari evaluasi uji program berskala
pemerintah suatu
coba
negara
Hitunglah Biaya Penuh Program – Metode
Ramuan (Ingredients Method)

27
Pemberian insentif dua kali lebih cost-
effective
 Pengunaan CEA
Data yang Keuntungan Kelemahan
diperlukan

Analisa Prospektif • Proyeksi biaya Perhitungan kasar juga Proyeksi biaya dan
Program Uji Coba • Perkiraan dampak dapat membantu perkiraan dampak dari
dari program menyisihkan program program serupa
serupa yang tidak cost-effective mungkin tidak akurat

• Data biaya dari

Analisa Retrospektif Masih bermasalah
program yang Memberikan perkiraan
Program Uji Coba menyangkut validitas
dievaluasi yang tepat seberapa
eksternal untuk
• Perkiraan dampak cost-effective program
perkiraan biaya dan
dari studi dalam konteks tersebut
dampak
berkualitas tinggil

Analisa Prospektif Menghasikan perkiraan

• Proyeksi data biaya
Program berskala prospektif yang
untuk perluasan Dampak dari program
disesuaikan merupakan
program uji coba mungkin tidak
alat yang berguna saat
• Perkiraan dampak dapat diterapkan pada
berbicara dengan
dari evaluasi uji program berskala
pemerintah suatu
coba
negara
Analisa Cost-effectiveness- Raskin

• Data dampak: Evaluasi RCT mengenai efektivitas kartu Raskin

• Data biaya: Biaya-biaya TNP2K untuk distribusi KPS secara
nasional

30
Manfaat dari Distribusi dan Sosialisasi Kartu
Raskin

Peningkatan pembelian Peningkatan subsidi

Raskin Raskin yang diterima
(kg/kk/bulan) (IDR/kk/month)
Kartu Raskin dengan
1,12 kg Rp 6.659 (23%)
Sosialisasi Reguler
Kartu Raskin dengan
Sosialisasi lebih 1,9 kg Rp 11.098 (38%)
Tambahan

31
Perhitungan Biaya Sosialisasi Standar

Perhitungan menggunakan perkiraan biaya aktual TNP2K untuk

pencetakan kartu dan distribusi kartu KPS:
Kartu + Sosialisasi Standar: Rp. 190.6 trilyun
• Pencetakan dan Distribusi Kartu : Rp. 12,200/KK
– Rp. 3,200/KK untuk mencetak kartu dan surat terampir.
– Rp. 9,000/KK untuk mendistribusikan kartu dan surat lewat PT Pos.
– Rp. 12,200 * 15.5 juta KK = Rp. 189.1 triyun
• Pencetakan dan Distribusi Buku Panduan: Rp. 20,000/ desa
– Rp. 20,000 * 75,000 desa = Rp. 1.5 trilyun

32
Perhitungan Biaya Sosialisasi Tambahan

Perhitungan menggunakan perkiraan biaya aktual TNP2K untuk

pencetakan kartu dan distribusi kartu KPS dan biaya RCT dari
sosialisasi tambahan
Kartu + Sosialisasi: Rp. 715.6 trilyun
• Pencetakan dan Distribusi Kartu : Rp. 12,200 /KK
– Rp. 12,200 * 15.5 juta KK = Rp. 189.1 trilyun
• Pencetakan dan Distribusi Buku Panduan : Rp. 20,000/ desa
– Rp. 20,000 * 75,000 desa = Rp. 1.5 trilyun
• Socialisasi Tambahan: Rp. 7 juta/desa
– Rp. 7,000,000 * 75,000 desa = Rp. 525 trilyun.
33
Rasio Manfaat dan Biaya untuk Kartu Raskin

Total biaya Total peningkatan Peningkatan

Rasio
Skenario-skenario pertahun subsidi yang subsidi yang
Manfaat/
distribusi dan sosialisasi (trilyun diterima pertahun diterima per KK
Biaya
rupiah) (trilyun rupiah) per tahun
Kartu Raskin +
190.6 1,240.6 6.5x 79,908 IDR
Sosialisasi Standar
Kartu Raskin +
715.60 2,064.2 2.9 x 133,176 IDR
Sociaisasi Tambahan

34
 Analisa Cost-Effectiveness - Raskin

2.500 140.000
Niai biaya dan manfaat (juta rupiah)
120.000

Peningkatan subsidi per KK/ tahun (Rp)

2.000
Cost per year (bil IRD)
100.000

1.500
80.000
Increased Subsidy per
year (bil IDR)
60.000
1.000
Increased Subsidy per
HH/year IDR 40.000

500
20.000

0 0
Raskin Card + Standard Soc. Raskin Card + Enhanced Soc.
Cost per year (bil IRD) 190,6 715,6
Increased Subsidy per year (bil IDR) 1.241 2.064
Increased Subsidy per HH/year IDR 79.908 133.176
Benefit/Cost Ratio 6.5x 2.9x
Ikhtisar Paparan

1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)

3. Apa itu CEA? (vs. CBA
4. / Analisa Cost-benefit)
5. Pengunaan CEA
6. Tantangan CEA

36
Tiga tantangan dalam Melakukan CEA

I. Ketiadaan insentif untuk melakukan CEA:

• Bagaimana jika program efektif tapi tidak cost-effective?
• Tidak ada persyaratan untuk menunjukkan CEA pada mayoritas jurnal
ilmu sosial

II. Rumit:
• Sejumlah asumsi diperlukan untuk melakukan analisa (mis. hasil-hasil,
transfer, spillover effects, nilai penukaran, inflasi, dsb.)
• Tidak anda satu cara yang “benar”, namun yang penting adalah
konsistensi!

37
Tiga Tantangan Utama dalam Melakukan
CEAs

I. Ketiadaan insentif untuk melakukan CEA

II. Rumit
III. Data mengenai biaya sulit didapat:
• Mengumpulkan data mengenai biaya tidak dilihat sebagai bagian utama
evaluasi, tidak seperti ukuran dampak
• Data biaya sulit dikumpulkan dari para pelaksana (anggaran berbeda dari
biaya pelaksanaan; sulit untuk membagi biaya overhead dan biaya proyek
yang ada)
• Sulit untuk memperoleh data biaya dari peneliti lain untuk sebuah CEA
bersifat komparatif
• Ukuran dampak dan pengumpulan biaya seringkali tidak harmonis
38
Mengumpulkan Data Biaya – Secara
Retrospektif

• Secara Retrospektif:
• J-PAL terutama menggunakan metode “ingredients” (Levin and McEwan
2001)

• Mengumpulkan data dari berbagai sumber:

• Makalah akademik untuk uraian tentang struktur program, ingredients dan
kondisi lokal seperti upah
• Wawancara para peneliti untuk ingredients tambahan, biaya-biayanya,
dokumen tambahan seperti anggaran
• Staf Program dan staf peneliti lapangan untuk data biaya per unit
• Dilengkapi dengan sumber publik (mis. upah lokal, biaya transportasi,
39
dsb)
 Pengumpulan Biaya Retrospektif vs. Prospektif

• Tantangan pada metode retrospektif:

• Data tidak dikumpulkan oleh pelaksana atau evaluator dan staf lapangan sulit
ditemukan atau tidak merespon
• Banyak biaya penting dilupakan, atau sulit untuk diperkirakan setelah beberapa waktu
lewat
• Program yang dilaksanakan mungkin berbeda dengan anggaran yang direncanakan
• Data biaya yang diagregasi kurang berguna untuk sensitivity analysis atau peningkatan

• Secara Prospektif:
• Menngatasi tantangan pengumpulan data retrospektif
• Inisiatif J-PAL memberikan templat standar untuk membantu dalam pengumpulan
data
40
• Harmonisasi membuat lebih mudah untuk melakukan CEA secara komparatif
 Asumsi untuk CEA

• Untuk apa anda menghitung cost-effectiveness?

– Program, selama tahap uji cobe
– Program, jika diperluas
– Beberapa komponen dari program tersebut

• Bagaimana anda menghadapi…

– Nilai penukaran, inflasi, diskon
– Spillover effects
– Hasil yang lebih dari satu
– Biaya yang ditanggung bersama dengan organisasi mitra
– Biaya yang masih buram: administrasi, overhead, dan
manajemen
41
Beberapa Pertimbangan dalam Analisa Cost-
Effectiveness – tak ada satu jalan yang paling benar

• Present Value: Rasio diskon asli 10%

digunakan untuk discount cost dan manfaat
untuk mengendalikan nilai waktu dari uang

• Inflasi: Sesuaikan biaya dengan harga saat

ini

• Perbandingan berbagai negara: Nilai

penukaran yang standar digunakan untuk
menyesuaikan dengan US$

• Hasil yang lebih dari satu: Hanya dapat

menilai satu jenis manfaat pada satu saat
sebagaimana banyak kebijakan dibingkai
42
Beberapa Pertimbangan dalam Analisa Cost-
Effectiveness – tak ada satu jalan yang paling benar

• Biaya total vs. Sunk Costs: Pertimbangkan hanya incremental

cost terhadap infrastruktur yang sudah ada (bahan-bahan,
personel, pengawas)

• Sukses jangka pendek vs. Dampak akhir program: Gunakan

pengukuran yang bersifat global untuk menerjemahkan hasil
jangka pendek menjadi hasil akhir

Tidak ada satu jalan yang paling benar melakukan CEA. Anda
harus membuat pilihan-pilihan (transparan dalam hal asumsi)
dan menerapkan standar yang sama dalam semua kajian dari
analisa tersebut.

43
 Beberapa Petunjuk untuk CEA

• Makalah J-PAL mengenai Metodologi CE:

– Mengapa CEA amat penting
– Asumsi yang diperukan untuk melakukan CEA
– Masalah atau kesalahan umum dalam menghitung CEA

www.povertyactionlab.org/publication/cost-effectiveness

• Juga termasuk beberapa template yang bisa

digunakan untuk pengumpulan biaya dan
melakukan CEA
44
 Kesimpulan

• CEA merupakan angkah awal yang berguna untuk membandingkan

program-program berbeda yang berfokus pada hasil yang sama
• Penyederhanaan memungkinkan penggunaan yang lebih luas dalam
pembuatan kebijakan tetapi pengguna harus waspada dengan asumsi-
asumsi yang digunakan
• Sensitivity analysis untuk CEA memungkinkan para pembuat
kebijakan untuk melihat dampak dari modifikasi asumsi dan kondisi
lokal
• Proses Pengumpulan Biaya jauh lebih akurat dan lebih mudah saat
dilakukan secara prospektif dibandingkan jika dilakukan secara
retrospektif
45
TERIMA KASIH