TRANSLATING RESEARCH INTO ACTION

Analisa Keefektifan Biaya

(CEA)
Lina Marliani
J-PAL Southeast Asia

Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa
Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya

Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa
Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya

Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
2. Apa itu CEA? (vs. CBA

/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA

Evaluasi Kemah Imunisasi dan Insentif di

Udaipur, India Sisi Penawaran
Tingkat imunisasi di Rajasthan sangat
rendah (kurang dari 5% di Udaipur)
Kemungkinan penyebabnya adalah masalah
dengan sisi penawaran :
Wilayah berbukit dan beragam suku dengan
tingkat kehadiran staf kesehatan di klinik
kesehatan lokal yang rendah (tingkat absen
45% )
Melaksanakan acara pemberian imunisasi
bulanan di 60 desa: acara rutin
bagaimanapun kondisi cuacanya dari 11a-2p
(95% dilaksanakan)
Pemantauan dengan kamera

Sisi Permintaan dari Imunisasi

Kemungkinan kedua: Ada masalah dengan permintaan:
Warga tak tertarik dengan imunisasi, takut?
Biaya kesempatan yang hilang (opportunity cost) mendatangi 5 kali untuk
vaksinasi
Dapatkah permintaan terpengaruhi?

Pemberian Insentif pada Permintaan

Insentif tambahan: satu kilogram lentil untuk setiap kali
imunisasi (Rs. 40 upah satu hari) ditambahkan set thali untuk
imunisasi komplit

Perlakuan 1: Kemah imunisasi

30 desa
Perlakuan 2: Kemah imunisasi+ insentif
30 desa
Kelompok kontrol
60 desa
Pengumpulan data imunisasi

Suplai reguler meningkatkan Imunisasi, Insentif

semakin meningkatkannya

Suplai reguler meningkatkan Imunisasi, Insentif

semakin meningkatkannya

Pemberian Insentif dua kali lebih costeffective

Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
2. Apa itu CEA? (vs. CBA

/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA

11

Analisa Cost-Effectiveness (CEA)

Analisa cost-effectiveness mengukur rasio biaya suatu program
terhadap dampak pada satu hasil
Rasio CE = Manfaat program / Biaya pelaksanaan program

Mengukur biaya untuk satu tingkat keefektifan: mis. biaya meningkatkan

kehadiran dalam satu tahun

Atau, mengukur efektivitas biaya: jumah tahun peningkatan kehadiran di

sekolah yang dihasilkan dengan biaya $100

12

Analisa Cost-Effectiveness Secara Komparatif

Analisa cost-effectiveness secara komparatif membandingkan
rasio cost-effectiveness untuk berbagai program
Misal: Jumah tahun masuk sekolah setiap $100 yang dihabiskan

13

Analisa Cost-Effectiveness (CEA) dan CEA secara

Komparatif
CEA secara komparatif membandingkan rasio costeffectiveness untuk berbagai program
Harus menghitung biaya dan manfaat menggunakan metodologi serupa untuk
semua program

Cara yang baik untuk membantu pembuat kebijakan mensintesis

informasi dari banyak evaluasi
Menyediakan ringkasan untuk satu program dalam hal biaya dan dampak pada
satu hasil

Dapat digunakan untuk membandingkan banyak program, dan menemukan

opsi yang paling cost-effective (secara komparatif)
14

Analisa Cost-effectiveness (CEA) vs. Analisa Cost-Benefit (CBA)

CEA: Rasio biaya dan manfaat untuk satu hasil
CBA: Rasio biaya dan manfaat dari segi nilai moneter untuk semua hasil
Dapat menghasilkan penilaian absolut apakah suatu proigram layak dibiayai.

Tapi, juga memerlukan asumsi tentang nilai moneter dari semua manfaat. (biaya hidup,
disabilitas, kejahatan yang menurun di antara anak sekolah)

Keuntungan CEA adalah kemudahannya:

Pengguna dapat memilih variabel pengukur hasil yang obyektif (mis. biaya utuk memberikan
insentif satu hari ekstra untuk bersekolah) tidak peru membuat penilaian tentang nilai moneter
kegiatan sekolah tersebut

Lebih mudah bagi para pembuat kebijakan untuk membandingkan program jika mereka peduli
pada satu hasil yang ingin dikaji (mis. meningkatkan kehadiran di sekolah, bukan kesehatan anak)

15

Kapankah analisa cost-effectiveness berguna?

Ada satu variabel pengukur hasil yang ingin dilihat dampaknya
Ada banyak intervensi yang memungkinkan untuk meraih tujuan ini, dan anda tidak
yakin yang mana yang akan memberi dampak terbaik dengan biaya terendah

Anda ingin meyakinkan pembuat kebijakan bahwa suatu program yang

tidak terpikir (non-obvious) merupakan suatu gagasan yang baik
Anda ingin memahami bagaimana CE suatu program bervariasi
tergantung pada beragam faktor kontekstual dan implementasi

16

Informasi apa yang dibutuhkan?

Ambil data mengenai dampak dari evaluasi dampak yang berkualitas
tinggi
Memerlukan informasi lainnya, seperti jumah penerima manfaat, saat dampak
diukur

Ambil data mengenai biaya dari?

Kebanyakan proyek tidak membuat catatan biaya-biaya implementasi mereka
Memerlukan data yang rinci mengenai barang-barang yang dibeli, waktu yang
digunakan staf (untuk apa), biaya transportasi, dsb.

17

Hitunglah Biaya Penuh Program Metode

Ramuan (Ingredients Method)

18

Pemberian insentif dua kali lebih costeffective

Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
2. Apa itu CEA? (vs. CBA

/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA

20

Pengunaan CEA
Analisa prospektif program uji coba
Kira-kira seberapa efektif biaya-kah program uji
coba yang diajukan ini?
Seberapa besar dampak yang harus dicapai untuk
memenuhi ambang batas?

Analisa retrospektif program uji coba

Tepatnya, seberapa cost-effective-kah program uji
coba ini?

Analisa prospektif perluasan program

Kira-kira seberapa cost-effective-kah program tingkat
nasional yang diajukan ini?

Pengunaan CEA
Data yang
diperlukan
Analisa Prospektif
Program Uji Coba

Analisa Retrospektif
Program Uji Coba

Kelemahan

Proyeksi biaya
Perkiraan dampak
dari program
serupa

Perhitungan kasar juga

dapat membantu
menyisihkan program
yang tidak cost-effective

Proyeksi biaya dan

perkiraan dampak dari
program serupa
mungkin tidak akurat

Data biaya dari

program yang
dievaluasi
Perkiraan dampak
dari studi
berkualitas tinggil

Memberikan perkiraan
yang tepat seberapa
cost-effective program
dalam konteks tersebut

Masih bermasalah
menyangkut validitas
eksternal untuk
perkiraan biaya dan
dampak

Proyeksi data biaya

untuk perluasan
program
Perkiraan dampak
dari evaluasi uji
coba

Menghasikan perkiraan
prospektif yang
disesuaikan merupakan
alat yang berguna saat
berbicara dengan
pemerintah suatu
negara

Dampak dari program

uji coba mungkin tidak
dapat diterapkan pada
program berskala

Analisa Prospektif
Program berskala

Keuntungan

Menggunakan ambang batas untuk menilai cost-effectiveness

23

Menggunakan ambang batas untuk menilai keefektifan biaya

24

Menggunakan ambang batas untuk menilai cost-effectiveness

25

Pengunaan CEA
Data yang
diperlukan
Analisa Prospektif
Program Uji Coba

Analisa Retrospektif
Program Uji Coba

Kelemahan

Proyeksi biaya
Perkiraan dampak
dari program
serupa

Perhitungan kasar juga

dapat membantu
menyisihkan program
yang tidak cost-effective

Proyeksi biaya dan

perkiraan dampak dari
program serupa
mungkin tidak akurat

Data biaya dari

program yang
dievaluasi
Perkiraan dampak
dari studi
berkualitas tinggil

Memberikan perkiraan
yang tepat seberapa
cost-effective program
dalam konteks tersebut

Masih bermasalah
menyangkut validitas
eksternal untuk
perkiraan biaya dan
dampak

Proyeksi data biaya

untuk perluasan
program
Perkiraan dampak
dari evaluasi uji
coba

Menghasikan perkiraan
prospektif yang
disesuaikan merupakan
alat yang berguna saat
berbicara dengan
pemerintah suatu
negara

Dampak dari program

uji coba mungkin tidak
dapat diterapkan pada
program berskala

Analisa Prospektif
Program berskala

Keuntungan

Hitunglah Biaya Penuh Program Metode

Ramuan (Ingredients Method)

27

Pemberian insentif dua kali lebih costeffective

Pengunaan CEA
Data yang
diperlukan
Analisa Prospektif
Program Uji Coba

Analisa Retrospektif
Program Uji Coba

Kelemahan

Proyeksi biaya
Perkiraan dampak
dari program
serupa

Perhitungan kasar juga

dapat membantu
menyisihkan program
yang tidak cost-effective

Proyeksi biaya dan

perkiraan dampak dari
program serupa
mungkin tidak akurat

Data biaya dari

program yang
dievaluasi
Perkiraan dampak
dari studi
berkualitas tinggil

Memberikan perkiraan
yang tepat seberapa
cost-effective program
dalam konteks tersebut

Masih bermasalah
menyangkut validitas
eksternal untuk
perkiraan biaya dan
dampak

Proyeksi data biaya

untuk perluasan
program
Perkiraan dampak
dari evaluasi uji
coba

Menghasikan perkiraan
prospektif yang
disesuaikan merupakan
alat yang berguna saat
berbicara dengan
pemerintah suatu
negara

Dampak dari program

uji coba mungkin tidak
dapat diterapkan pada
program berskala

Analisa Prospektif
Program berskala

Keuntungan

Analisa Cost-effectiveness- Raskin

Data dampak: Evaluasi RCT mengenai efektivitas kartu Raskin
Data biaya: Biaya-biaya TNP2K untuk distribusi KPS secara
nasional

30

Manfaat dari Distribusi dan Sosialisasi Kartu

Raskin

Peningkatan pembelian
Raskin
(kg/kk/bulan)

Peningkatan subsidi
Raskin yang diterima
(IDR/kk/month)

Kartu Raskin dengan

Sosialisasi Reguler

1,12 kg

Rp 6.659 (23%)

Kartu Raskin dengan

Sosialisasi lebih
Tambahan

1,9 kg

Rp 11.098 (38%)

31

Perhitungan Biaya Sosialisasi Standar

Perhitungan menggunakan perkiraan biaya aktual TNP2K untuk
pencetakan kartu dan distribusi kartu KPS:
Kartu + Sosialisasi Standar: Rp. 190.6 trilyun

Pencetakan dan Distribusi Kartu : Rp. 12,200/KK

Rp. 3,200/KK untuk mencetak kartu dan surat terampir.

Rp. 9,000/KK untuk mendistribusikan kartu dan surat lewat PT Pos.

Rp. 12,200 * 15.5 juta KK = Rp. 189.1 triyun

Pencetakan dan Distribusi Buku Panduan: Rp. 20,000/ desa

Rp. 20,000 * 75,000 desa = Rp. 1.5 trilyun

32

Perhitungan Biaya Sosialisasi Tambahan

Perhitungan menggunakan perkiraan biaya aktual TNP2K untuk
pencetakan kartu dan distribusi kartu KPS dan biaya RCT dari
sosialisasi tambahan
Kartu + Sosialisasi: Rp. 715.6 trilyun

Pencetakan dan Distribusi Kartu : Rp. 12,200 /KK

Pencetakan dan Distribusi Buku Panduan : Rp. 20,000/ desa

Rp. 12,200 * 15.5 juta KK = Rp. 189.1 trilyun

Rp. 20,000 * 75,000 desa = Rp. 1.5 trilyun

Socialisasi Tambahan: Rp. 7 juta/desa

Rp. 7,000,000 * 75,000 desa = Rp. 525 trilyun.

33

Rasio Manfaat dan Biaya untuk Kartu Raskin

Total biaya
pertahun
(trilyun
rupiah)

Total peningkatan
subsidi yang
diterima pertahun
(trilyun rupiah)

Rasio
Manfaat/
Biaya

Peningkatan
subsidi yang
diterima per KK
per tahun

Kartu Raskin +
Sosialisasi Standar

190.6

1,240.6

6.5x

79,908 IDR

Kartu Raskin +
Sociaisasi Tambahan

715.60

2,064.2

2.9 x

133,176 IDR

Skenario-skenario
distribusi dan sosialisasi

34

Analisa Cost-Effectiveness - Raskin

Increased Subsidy per

year (bil IDR)

Increased Subsidy per

HH/year IDR

140.000

120.000
2.000
100.000
1.500

80.000

60.000

1.000

40.000
500
20.000

Raskin Card + Standard Soc.

190,6

Raskin Card + Enhanced Soc.

715,6

Increased Subsidy per year (bil IDR)

1.241

2.064

Increased Subsidy per HH/year IDR

79.908

133.176

Cost per year (bil IRD)

Benefit/Cost Ratio

6.5x

2.9x

Peningkatan subsidi per KK/ tahun (Rp)

Cost per year (bil IRD)

Niai biaya dan manfaat (juta rupiah)

2.500

Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
3. Apa itu CEA? (vs. CBA

4. / Analisa Cost-benefit)
5. Pengunaan CEA
6. Tantangan CEA

36

Tiga tantangan dalam Melakukan CEA

I. Ketiadaan insentif untuk melakukan CEA:

Bagaimana jika program efektif tapi tidak cost-effective?

Tidak ada persyaratan untuk menunjukkan CEA pada mayoritas jurnal

ilmu sosial

II. Rumit:

Sejumlah asumsi diperlukan untuk melakukan analisa (mis. hasil-hasil,

transfer, spillover effects, nilai penukaran, inflasi, dsb.)

Tidak anda satu cara yang benar, namun yang penting adalah
konsistensi!
37

Tiga Tantangan Utama dalam Melakukan

CEAs
I.

Ketiadaan insentif untuk melakukan CEA

II. Rumit

III. Data mengenai biaya sulit didapat:

Mengumpulkan data mengenai biaya tidak dilihat sebagai bagian utama

evaluasi, tidak seperti ukuran dampak

Data biaya sulit dikumpulkan dari para pelaksana (anggaran berbeda dari
biaya pelaksanaan; sulit untuk membagi biaya overhead dan biaya proyek
yang ada)

Sulit untuk memperoleh data biaya dari peneliti lain untuk sebuah CEA
bersifat komparatif

Ukuran dampak dan pengumpulan biaya seringkali tidak harmonis

38

Mengumpulkan Data Biaya Secara

Retrospektif

Secara Retrospektif:

J-PAL terutama menggunakan metode ingredients (Levin and McEwan

2001)

Mengumpulkan data dari berbagai sumber:

Makalah akademik untuk uraian tentang struktur program, ingredients dan
kondisi lokal seperti upah
Wawancara para peneliti untuk ingredients tambahan, biaya-biayanya,
dokumen tambahan seperti anggaran
Staf Program dan staf peneliti lapangan untuk data biaya per unit
Dilengkapi dengan sumber publik (mis. upah lokal, biaya transportasi,
dsb)

39

Pengumpulan Biaya Retrospektif vs. Prospektif

Tantangan pada metode retrospektif:

Data tidak dikumpulkan oleh pelaksana atau evaluator dan staf lapangan sulit
ditemukan atau tidak merespon

Banyak biaya penting dilupakan, atau sulit untuk diperkirakan setelah beberapa waktu
lewat

Program yang dilaksanakan mungkin berbeda dengan anggaran yang direncanakan

Data biaya yang diagregasi kurang berguna untuk sensitivity analysis atau peningkatan

Secara Prospektif:

Menngatasi tantangan pengumpulan data retrospektif

Inisiatif J-PAL memberikan templat standar untuk membantu dalam pengumpulan
data
Harmonisasi membuat lebih mudah untuk melakukan CEA secara komparatif

40

Asumsi untuk CEA

Untuk apa anda menghitung cost-effectiveness?
Program, selama tahap uji cobe
Program, jika diperluas
Beberapa komponen dari program tersebut

Bagaimana anda menghadapi

Nilai penukaran, inflasi, diskon

Spillover effects
Hasil yang lebih dari satu
Biaya yang ditanggung bersama dengan organisasi mitra
Biaya yang masih buram: administrasi, overhead, dan
manajemen
41

Beberapa Pertimbangan dalam Analisa CostEffectiveness tak ada satu jalan yang paling benar
Present Value: Rasio diskon asli 10%
digunakan untuk discount cost dan manfaat
untuk mengendalikan nilai waktu dari uang
Inflasi: Sesuaikan biaya dengan harga saat
ini

Perbandingan berbagai negara: Nilai

penukaran yang standar digunakan untuk
menyesuaikan dengan US$
Hasil yang lebih dari satu: Hanya dapat
menilai satu jenis manfaat pada satu saat
sebagaimana banyak kebijakan dibingkai

42

Beberapa Pertimbangan dalam Analisa CostEffectiveness tak ada satu jalan yang paling benar
Biaya total vs. Sunk Costs: Pertimbangkan hanya incremental
cost terhadap infrastruktur yang sudah ada (bahan-bahan,
personel, pengawas)
Sukses jangka pendek vs. Dampak akhir program: Gunakan
pengukuran yang bersifat global untuk menerjemahkan hasil
jangka pendek menjadi hasil akhir
Tidak ada satu jalan yang paling benar melakukan CEA. Anda
harus membuat pilihan-pilihan (transparan dalam hal asumsi)
dan menerapkan standar yang sama dalam semua kajian dari
analisa tersebut.

43

Beberapa Petunjuk untuk CEA

Makalah J-PAL mengenai Metodologi CE:
Mengapa CEA amat penting
Asumsi yang diperukan untuk melakukan CEA
Masalah atau kesalahan umum dalam menghitung CEA
www.povertyactionlab.org/publication/cost-effectiveness

Juga termasuk beberapa template yang bisa

digunakan untuk pengumpulan biaya dan
melakukan CEA
44

Kesimpulan

CEA merupakan angkah awal yang berguna untuk membandingkan

program-program berbeda yang berfokus pada hasil yang sama

Penyederhanaan memungkinkan penggunaan yang lebih luas dalam

pembuatan kebijakan tetapi pengguna harus waspada dengan asumsiasumsi yang digunakan

Sensitivity analysis untuk CEA memungkinkan para pembuat

kebijakan untuk melihat dampak dari modifikasi asumsi dan kondisi
lokal

Proses Pengumpulan Biaya jauh lebih akurat dan lebih mudah saat
dilakukan secara prospektif dibandingkan jika dilakukan secara
retrospektif
45

TERIMA KASIH