CRITICAL REVIEW

Evaluation Capacity Development : A Practical Approach to Assistance

Takako Haraguchi , Keishi Miyazaki
and
A step by step guide to Monitoring and Evaluation
Kersty Hobson, Ruth Mayne, Jo Hamilton

TUGAS MATA KULIAH

PROSES PERENCANAAN PEMBANGUNAN
DOSEN : Wido Prananing Tyas, ST, MDP, PhD

Oleh :

MAILENDRA
21040117410013

FAKULTAS TEKNIK
MAGISTER PEMBANGUNAN WILAYAH DAN KOTA
UNIVERSITAS DIPONEGORO
SEMARANG
2017
I. REVIEW MONITORING DAN EVALUASI ODA JEPANG

Terhadap negara-negara berkembang, selama ini Jepang telah memberikan berbagai

bentuk bantuan, seperti memberikan bantuan dana dan teknik yang dibutuhkan untuk
pembangunan sosial ekonominya. Demikian pula halnya dukungan untuk membantu para
korban bencana, dan lain-lain. Diantara itu, bantuan yang diberikan oleh pemerintah sebagai
pelaku utama disebut, "Bantuan Pembangunan Pemerintah (Official Development Assistance,
ODA)". Untuk keefektifan kegiatan ODA tersebut negara jepang melakukan monitoring dan
evaluasi dalam menjamin tercapainya sasaran yang diharapkan
Monitoring dan Evaluasi ODA di Jepang di lakukan oleh ODA Evaluation Divisin yang
merupakan salah satu organisasi bagian dari Minister Secretariat by Ministry of Foreign Affairs
of Japan (MOFA). Kementerian Luar Negeri Jepang (selanjutnya disebut MOFA) melakukan
kebijakan dan evaluasi tingkat program (evaluasi pihak ketiga) setiap tahun untuk
meningkatkan transparansi dan akuntabilitasnya serta untuk meningkatkan Bantuan
Pembangunan Resmi Jepang atau Official Development Assistant (ODA). Evaluasi ODA
Jepang terutama dilaksanakan oleh MOFA dan JICA. Untuk melakukan Evaluasi secara
efisien, MOFA dan JICA membedakan tujuan evaluasi mereka dan memiliki peran berbeda
masing-masing. MOFA menerapkan evaluasi pada tingkat kebijakan / program karena
bertanggung jawab atas perencanaan / pengembangan kebijakan ODA. Di sisi lain, JICA, yang
menerapkan setiap proyek ODA, berfokus pada evaluasi tingkat proyek, sementara itu juga
melakukan beberapa evaluasi tematik.
Gambar 1. Ruang lingkup dan sistem evaluasi implementasi

Sumber : ODA Evaluation Guidlines 7th Edition

 Dalam Laporan Tahunan Evaluasi Program ODA yang dikeluarkan oleh MOFA atau
yang dikenal dengan Annual Report on Japan’s ODA Evaluation terdapat mekanisme dalam
Evaluasi ODA Jepang, dimana dalam mekanisme evaluasi ODA terbagi atas 3 komponen yaitu
organisasi ataupun agenci lainnya yang menjalin kerjasama dengan MOFA dan JICA selaku
yang mengimplementasikan secara teknisnya.
Gambar 2. Mekanisme Evaluasi ODA Jepang

Sumber : Annual Report on Japan’s ODA Evaluation

A. Evaluasi ODA oleh MOFA

Ada dua jenis evaluasi MOFA mengenai bantuan ekonomi: "Evaluasi ODA", yang
mana dilakukan mengikuti Ordo Organisasi MOFA, dan "evaluasi kebijakan", yang dilakukan
berdasarkan Undang-Undang Evaluasi Kebijakan. Masing-masing berdasarkan pada masing-
masing ground dengan sistem implementasi, prosedur, dll yang berbeda.

Evaluasi ODA berdasarkan Ordo Organisasi MOFA

Secara konvensional, Biro Kerjasama Internasional bertanggung jawab atas evaluasi
ODA berdasarkan tentang Ordo Organisasi MOFA; Namun, pada TA 2011, Divisi Evaluasi
ODA dibentuk di Sekretariat Menteri dengan kelas yang lebih tinggi dari Biro Kerjasama
Internasional, untuk menjaga independensi pelaksanaan evaluasi. Evaluasi ODA dapat dibagi
dalam tiga kategori berikut :

(i) Evaluasi pihak ketiga

Pelaksanaan evaluasi pihak ketiga (evaluasi yang dilakukan oleh pihak independen dari
baik donor maupun penerima bantuan).

(ii) Evaluasi yang dipimpin oleh Negara Mitra

Setelah evaluasi dilakukan oleh pihak penerima bantuan, yaitu melalui negara mitra
pemerintah dan organisasi, tidak hanya menjamin transparansi dan keadilan evaluasi
ODA Jepang, namun juga mempromosikan pemahaman ODA Jepang kepada warga
negara penerima, selain meningkatkan kemampuan evaluasi mereka. Evaluator evaluasi
ini akan dilakukan pejabat pemerintah dan lembaga negara penerima, konsultan, dll.

(iii) Evaluasi Bersama

MOFA juga melakukan evaluasi bersama dengan organisasi eksternal seperti donor
lainnya negara / organisasi internasional, negara penerima, LSM, dll bila dianggap
tepat. Dalam beberapa kasus, selain para ahli, pejabat MOFA atau pejabat dari
organisasi eksternal lainnya juga dapat berpartisipasi sebagai evaluator. Umumnya,
evaluator menyewa seorang konsultan khusus untuk mengumpulkan dan menganalisis
informasi sebagai anggota tim evaluasi. Namun, dalam beberapa kasus, konsultan
melakukan evaluasi secara langsung sendiri. Selain meningkatkan manajemen dan
menjaga akuntabilitas ODA, evaluasi bersama dengan negara penerima sangat penting
dalam mendukung kepemilikan negara-negara penerima serta memperkuat kemitraan
dengan mereka. Selanjutnya, semakin banyak perhatian telah diberikan dalam beberapa
tahun terakhir untuk pentingnya menerapkan evaluasi bersama dengan beberapa donor
agar dapat memahami lebih baik berbagai bantuan pembangunan yang dilaksanakan
oleh berbagai donor. Jepang telah mengumpulkan implementasi seperti itu sejak tahun
FY2002. Pada tahun 1997, evaluasi bersama terhadap MOFA dan LSM diluncurkan
sebagai "Mutual Learning and Joint Evaluation oleh LSM dan MOFA". Awalnya,
tujuannya ditetapkan untuk saling pengertian dengan melakukan evaluasi bersama;
Namun, berdasarkan keberhasilan keberhasilan dalam konsep tersebut, saat ini tujuan
utamanya diatur untuk memperkuat koordinasi kedua belah pihak.
(Referensi) Kasus evaluasi terbaru.
 • Evaluasi bersama dengan negara-negara mitra: Sektor Infrastruktur
Transportasi di Vietnam (FY2005)
• Evaluasi bersama dengan donor lain atau lembaga internasional: Sektor
Kesehatan dan Pendidikan di Maroko (dengan UNICEF) (TA2004)
• Evaluasi bersama dengan LSM: Sektor Pendidikan di Laos (FY2008)

B. Tujuan dan Fungsi Evaluasi ODA

Tujuan evaluasi ODA telah dilakukan untuk memastikan implementasi ODA yang
efektif dan efisien pemerintah serta memberikan informasi mengenai ODA kepada warga yang
mendanai kegiatan ini melalui pajak. Dengan demikian, MOFA telah menetapkan dua tujuan
untuk evaluasi ODA;
• Peningkatan pengelolaan kerja ODA terhadap peningkatan kualitas dan dukungan
pengelolaan ODA oleh memeriksa kegiatan ODA dan memberi makan pelajaran yang
dipetik kembali ke pembuatan kebijakan dan proses implementasi ODA.
• Pemenuhan akuntabilitas Dengan menerbitkan hasil evaluasi, memenuhi
pertanggungjawaban pemerintah disamping untuk mempromosikan partisipasi dan
pemahaman warga tentang ODA dengan meningkatkan transparansi.
Fungsi Evaluasi ODA dilakukan sesuai dengan sistem pelaksanaan MOFA. Dengan tujuan
memperbaiki pengelolaan ODA, fungsi umpan balik sangat penting untuk memberikan
informasi bermanfaat bagi pembuatan dan pelaksanaan kebijakan ODA di masa depan. Selain
itu, dari sudut pandang pertanggungjawaban kepada warga, ada kebutuhan untuk memberikan
informasi yang akurat kepada warga negara secara jelas. Untuk menanggapi tuntutan ini,
MOFA mempublikasikan evaluasi ini di situsnya, selain memberikan masukan mengenai hasil
evaluasi kepada pejabat MOFA terkait yang bertanggung jawab atas kebijakan / proyek,
lembaga pelaksanaan, dan kedutaan di luar negeri.
Gambar 3. Fungsi Evaluasi ODA (PDCA Cycle)
C. Evaluasi Pengembangan Kapasitas : Suatu Pendekatan Praktis Dalam Pemberian
Bantuan
Dalam dokumen evaluation development assistance : a japan perspective yang
diterbitkan oleh Foundation for Advanced Studies on International Development (FASID)
tepatnya pada chapter tiga yang membahas tentang Evaluasi Pengembangan Kapasitas : suatu
pengembangan praktis dalam pemberian bantuan, dalam hal ini proyek ODA. Dalam paper
tersebut dijelaskan bahwa tujuan dari paper tersebut ialah dilakukan untuk megetahui
bagaiamana bantuan dalam evaluasi kapasitas (evaluation capacity development / ECD)
melalui kegiatan yang berkaitan dengan evaluasi proyek pinjaman Bantuan Pembangunan
Resmi Jepang (ODA).
Isu utama dalam Paper ini adalah bagaimana negara-negara berkembang dapat
merasakan pentingnya evaluasi proyek pembangunan mereka untuk keperluan mereka sendiri?
Sedangan isu utama dalam perumusan ECD adalah bagaimana menciptakan permintaan untuk
membangun sistem evaluasi negara. Umumnya, permintaan untuk melakukan evaluasi di
negara-negara berkembang belum cukup kuat untuk mendorong pemerintah mereka
mengalokasikan sumber daya yang memadai untuk pembentukan sistem evaluasi negara.

Peran dari ECD di ODA ada dua yaitu (i) seminar evaluasi proyek tahunan oleh ODA
(ii) program evaluasi bersama, yang keduanya merupakan kegiatan ECD yang langsung
dilaksanakan oleh Japan International Cooperation Agency (JICA) atau yang sebelumnya
dikenal dengan Japan Bank for International Cooperation (JBIC).

Keberhasilan program model evaluasi di Vietnam didasarkan pada beberapa aspek

berikut ini:
➢ Pengembangan kapasitas kelembagaan
Evaluasi (ECD) dikatakan efektif jika kerangka kelembangaan dapat meningkatkan
kesadaran setiap anggota lembaga evaluasi yang terkait dan memiliki tujuan yang
tepat.
➢ Melibatkan organisasi yang tepat
Berpartisipasi secara aktif dalam proses evaluasi baik lebih aktif dari lembaga
pelaksanaan
➢ Penyelarasan evaluasi metode / prosedur
Adanya penyelarasan metode atau prosedur evaluasi antara pihak Jepang dan negara
yang bekerjasama baik dalam standar dan format pelaporan yang dilakukan
 ➢ Koordinasi
Sebagai evaluasi bersama melibatkan berbagai organisasi baik dari pihak jepang
maupun Vietnam memerlukan peran koordinasi antar organisasi sangat penting..
Namun, sering terjadi komunikasi yang kurang sehingga menjadi salah satu kendala
pelaksanaan koordinasi.Untuk itu kapasitas koordinasi perencanaan ODA / badan
koordinator harus ditingkatkan dan konsultan lokal juga bisa memainkan peran penting
dalam koordinasi.

II. REVIEW MONITORING DAN EVALUASI DI NEGARA INGGRIS

A step by step guide to Monitoring and Evaluation

Dokumen ini dibuat dengan tujuan untuk memberikan gambaran, pengetahuan, langkah
– langkah, dan prinsip yang dapat digunakan dalam kegiatan monitoring dan evaluasi.
Dokumen tersebut disusun berdasarkan hasil survei terkait dengan kebutuhan monitoring dan
evaluasi yang harus disediakan terhadap kelompok masyarakat dan pemangku kepentingan
lainnya. Penyusunan langkah – langkah yang dilakukan juga didasarkan pada sumber daya
yang dimiliki oleh masing – masing kegiatan yang membutuhkan monitoring dan evaluasi.
Monitoring adalah kegiatan untuk mengumpulkan dan menganalisis informasi tentang
suatu program atau proyek yang dilakukan selama program atau proyek tersebut berjalan.
Sedangkan evaluasi adalah penilaian retrospektif berkala terhadap suatu program atau proyek
yang dilakukan secara internal atau oleh evaluator independen eksternal (dari luat program atau
proyek). Cara berpikir yang lebih luas tentang (M&E) adalah dengan Action Research. Action
Research adalah istilah untuk berbagai metodologi yang pada intinya adalah sebagai siklus
perencanaan, tindakan dan refleksi. Ini adalah pendekatan yang berguna saat memikirkan
bagaimana mengintegrasikan M&E ke dalam rencana dan aktivitas yang sedang berjalan. Ada
banyak metodologi Action Research yang dapat digunakan sebagai bagian dari (M&E).
Langkah pertama yang harus ditempuh dalam melakukan monitoring dan evaluasi
(M&E) yaitu dengan menjelaskan alasan mengapa kita ingin melakukan (M&E) dan manfaat
apa yang kita dapatkan. Relawan dan aktivis komunitas seringkali ingin membuat dunia
menjadi tempat yang lebih baik, membuat mereka berorientasi pada tindakan dan sering
kekurangan sumber daya. Pemantauan dan evaluasi terkadang tidak mereka lakukan, sehingga
menjadi beban administratif, atau instrumen pengawasan eksternal yang tidak diinginkan.
Harusnya jika digunakan dengan baik, M&E bisa menjadi alat yang ampuh dalam melakukan
perubahan dalam bidang sosial dan politik.
 Gambar 4. Tahapan Monitoring dan Evaluasi

Tahapan – tahapan Monitoring dan Evaluasi

➢ Memahami tujuan monitoring dan evaluasi :
➢ Menyetujui beberapa prinsip yang digunakan :
➢ Memutuskan program atau proyek mana yang akan dipantau
➢ Memilih pihak – pihak yang berkepentingan untuk terlibat di dalam kegiatan monitoring
dan evaluasi
➢ Memutuskan permasalahan yang akan dikaji
➢ Menentukan tujuan, sasaran, dan kegiatan yang akan dilakukan
➢ Mengidentifikasi informasi yang perlu dikumpulkan melibatkan pihak luar untuk
kelengkapan data dan kevalidan data. Terdapat berbagai macam cara untuk dapat
mengumpulkan data informasi tersebut, yaitu :
• Berdasarkan catatan internal :
• Menggunakan informasi sekunder yang relevan
• FGD (fokus kelompok diskusi) :.
• Survei singkat :
• Alat ukur atau model
• Wawancara semi terstruktur
➢ Memutuskan cara untuk mendapatkan informasi
➢ Menilai pengaruh distribusinya secara acak
➢ Menganalisis dan menggunakan informasi
➢ Mengkomunikasikan data.
➢ Etika dan perlindungan data
 Output yang dapat diambil dalam melakukan (M&E) adalah dapat membantu kita
menilai perbedaan apa yang kita buat dan dapat memberikan informasi vital, misalnya
untuk membantu kita dalam hal:
• Menilai dan menunjukkan keefektifan kita dalam mencapai tujuan dan / atau manfaat
keberadaan kita terhadap kehidupan masyarakat;
• Memperbaiki pembelajaran internal dan pengambilan keputusan tentang perancangan
proyek, bagaimana kelompok beroperasi, dan bagaimana implementasinya pada
keberhasilan;
• Memberdayakan dan memotivasi relawan dan pendukung;
• Memastikan akuntabilitas kepada pemangku kepentingan utama (misalnya komunitas
Anda, anggota / pendukung Anda, gerakan yang lebih luas, penyandang dana,
pendukung);
• Mempengaruhi kebijakan pemerintah;
• Berbagi pembelajaran dengan komunitas lain dan gerakan yang lebih luas;
• Berkontribusi pada efektivitas dan batasan tindakan pada masyarakat.

III. CRITICAL REVIEW MOITORING DAN EVALUASI DI JEPANG DAN DI

INGGRIS
Dari dua model Monitoring dan Evaluasi diatas dapat dilihat bahwa masing-
masing negara memiliki metode Monitoring dan Evaluasi yang sedikit berbeda namun
pada prinsipnya hampir sama dimana tujuannya untuk menghasilkan perencanaan
ataupun kegiatan kearah yang lebih baik. Perbedaan yang terdapat dari keduanya yaitu,
di negara Jepang M&E terlihat terstruktur, terukur dan jelas sedangkan diinggris lebih
fleksibel tahapannya, hal ini karena jepang merupakan negara yang terkenal
kedisiplinannya. Namun disisi lain pada M&E dijepang juga terlihat sangat kaku karena
ditetapkannya tahapan-tahapan yang harus dilalui.
Dalam evaluasi pengembangan kapasitas sebenarnya telah diatur oleh PBB
pada bidang United Nations Evaluation Group (UNEG) dimana dalam organisasi ini
tergabung negara-negara dan organisasi-organisasi yang melakukan Monitoring dan
Evaluasi terhadap banyak program ataupun proyek di dunia. UNEG telah
mengeluarkan buku tentang NECD ataupun bagaimana tips dalam melakukan evalusi
pengembagan kapasitas secara nasional di dunia. Sehingga negara-negara dapat
mengikuti-mengikuti tips tersebut dalam penerapannya dinegara masing-masing.
 Beberapa penelitian yang dilakukan terkait ECD ataupun evaluasi
pengembangan kapasitas yaitu Mackay, Horton, & Dupleich (2002) yang meneliti
tentang evaluasi pembangunan kapasitas organisasi, menemukan bahwa kapasitas
adalah potensi yang dimiliki oleh sebuah organisasi untuk melibatkan sumber daya dan
keterampilan dalam kombinasi optimal sehingga dapat melakukan aktivitas yang
relevan untuk menyelesaikan misinya. Sumber dan keterampilan biasanya tidak dapat
produktif dengan sendirinya, sehingga pengembangan kapasitas organisasi tidak dapat
minimalkan menjadi perolehan sumber daya yang sederhana. Pengembangan kapasitas
dapat mencakup perolehan sumber daya, namun juga harus mencakup pembelajaran
bagaimana menerapkan dan mengintegrasikan sumber daya ini untuk menyelesaikan
tugas yang kompleks sesuai dengan tujuan dan strateginya.
Sedangkan penelitian lainnya tentang ECD yaitu Carter (2013) yang melakukan
penelitian mengenai Evaluasi Pengembangan Kapasitas di negara-negara berkembang
secara umum, hasil dari penelitiannya menemukan bahwa upaya untuk mendukung
kapasitas evaluasi negara-negara berkembang telah meningkat, dengan fokus pada
penguatan kepemilikan secara nasional, pemantauan dan evaluasi (M&E). Tinjauan
terhadap literatur menemukan bukti terbatas mengenai pendekatan pengembangan
kapasitas evaluasi (evaluate capacity development / ECD) dan efektivitasnya.
Ishida (2016) juga mengkaji mengenai “Evaluasi Pengembangan Kapasitas
namun dilakukan untuk Pengembangan Pendidikan: Studi Kasus Evaluasi Tingkat
Kebijakan ODA Jepang pada Sektor Pendidikan” menemukan bahwa untuk
meningkatkan kualitas evaluasi dan memberikan hasil evaluasi yang memenuhi
kebutuhan pengguna evaluasi, kerangka konseptual untuk melakukan evaluasi, serta
penggunaan dan penerapan potensial mereka, harus dikembangkan lebih lanjut dengan
memberikan penelitian tentang evaluasi, dengan studi kasus praktis yang melibatkan
meta-evaluasi dan pengembangan kapasitas evaluasi pada organisasi.
Dari beberapa penelitian tersebut dapat dilihat bahwa Pendekatan Evaluation
Capacity Development dalam melakukan Evaluasi dapat diterapkan pada berbagai
bidang, hal ini karena pendekatan tersebut lebih komprehensif dan mudah diterapkan
diberbagai negara.
IV. REFERENCES

Carter, Backley. (2013). Evaluation Capacity Development, 1–13.

Haraguchi,T., & Miyazzaki, K. (2009). “Evaluation Capacity Development: A Practical

Approach to Assistance” Chapter 3 of Evaluating Development Assistance: A Japanese
Perspective. Foundation for Advanced Studies on International Development FASID :
Japan

Hobson, K., Mayne, R., & Hamilton, J. (2014). A step by step guide to Monitoring and
Evaluation. University of Oxford

http://oda.mpi.gov.vn/english/ODAinVietnam/tabid/240/language/en-US/Default.aspx
diakses pada 3 Oktober 2017

Ishida, Y. (n.d.). Evaluation Capacity Development for Educational Development : Case

Study of the Policy-level Evaluations of Japan ’ s ODA in the Education Sector, 18(2),
83–95.

ODA Evaluation Division. Minister’s Secretariant. Ministry of Foreign Affairs of Japan.

(2012). ODA Evaluation Guidelines.

Mackay, R., Horton, D., & Andersen, A. (2002). Evaluating organizational capacity
development, 17(2).

MOFA. (2016). Ministry of Foreign Affairs Annual Report on Japan’s ODA Evaluation 2016

United Nations Evaluation Group. (2012). National Evaluation Capacity Development :

Practical Tips on How to Strengthen National Evaluation Systems, 1–161. UNEG