PENGENALAN EVM DAN

HASIL EVMA TAHUN 2015

Disampaikan oleh:
dr. Gertrudis Tandy, MKM
Pada Pertemuan Evaluasi EVM Provinsi Kalimantan Selatan
PENGENALAN EVM
 Introduksi
EFFECTIVE VACCINE MANAGEMENT (EVM) 1

EVM Alat penilaian yang sistematis

dari rantai pasokan vaksin
• Berbasis pertanyaan
• Didukung lewat nota
petunjuk, dokumen dan
Manfaat Utama: perangkat tambahan yang
1. Penilaian kualitas rantai pasokan didasarkan terkait.
pada sampel fasilitas yang dipilih secara
sistematis. • Dilengkapi dengan Standar
Hasil: analisis hasil penilaian mengarah pada Operasional Prosedur
rekomendasi umum untuk perbaikan seluruh (SOP)
sistem.
2. Sebuah alat pengawasan digunakan untuk
mengidentifikasi masalah dan memantau
perbaikan setiap fasilitas.
Hasil: perbaikan dalam fasilitas terpilih yang
dipantau dan diperiksa selama periode
tertentu.
 EFFECTIVE VACCINE MANAGEMENT (EVM)

• Dasar hukum: Permenkes no. 12 tahun 2017 tentang

penyelenggaraan imunisasi
• Meskipun vaksin disimpan dan didistribusikan dengan
benar, namun sistem yang tidak dapat dinilai berarti
“tidak terjamin mutunya”
• Merupakan kegiatan rutin tahunan pemerintah daerah.
sementara ini masih didanai oleh gavi (global alliance for
vaccinne and immunization)
EFFECTIVE VACCINE MANAGEMENT (EVM) 2

• Indikator secara otomatis akan disesuaikan dengan level yang akan dinilai
• Indikator tergantung konteks – hanya pertanyaan yg relevan ditanyakan
Indikator oleh penilai

• Primary level (PRL) : tingkat pusat

• Intermediate level (SNL) : tingkat provinsi
Level • Lowest delivery level (LDL) : tingkat kabupaten / kota
Penilaian • Service point (SPL) : tingkat puskesmas

• Biasanya 12 bulan (Misal 1 Januari 2016 sd 31 Desember 2016)

• Periode diputuskan sebelum penilaian dimulai
Periode • Gunakan periode yang sama untuk semua fasilitas yang akan dinilai.
Waktu
Level Penilaian
 Kriteria evm (E1 – E9)
E1 E6
Prosedur penerimaan Vaksin Manajemen stok dan prosedur

E2 E7
Kontrol suhu dan monitoring Distribusi

E3 Kapasitas penyimpanan dan E8 Kebijakan dan praktek

transportasi manajemen vaksin

E4 Bangunan, peralatan coldchain E9 Fungsi Sistem informasi dan

dan sistem transportasi manajemen supportive.

E5 Pemeliharaan bangunan, peralatan

coldchain dan kendaraan
Contoh : EVM questionnaire – Location data
Jenis fasilitas

Kode fasilitas

Catatan tanggal

Keterangan
lengkap ttgstaf

8
 Pertanyaan EVM - Indikator
kriteria

Q no. EVM QUESTION Kết quả Assessor's guidance notes and comments

E2. All vaccines and diluents are stored within WHO-recommended temperature ranges.

2.1 The quality of the cold chain must be systematically and routinely monitored Kebutuhan
E2:Q1 Temperature monitoring study checklist:

A Has a systematic temperature monitoring study been carried out within the past 5
years? [Y, N]
B Have the recommendations of this study been implemented? [Y, N]
Comments
NO pertanyaan. Indikator
E2:Q2 CONDITION: If there are freezer rooms and/or cold rooms.
Freezer room and cold room temperature mapping checklist:
A How many vaccine freezer rooms and cold rooms are there?
B How many of these rooms have a fully documented temperature mapping study?
Condition panduan
Tick box
 or 
Freezer rooms and cold rooms should be temperature mapped at the time of
commissioning to:
- establish the air temperature profile throughout the room both when empty and
when fully loaded;
- define areas which are unsuitable for vaccine storage; e.g. close to cooling coils;
- establish the holdover time after a power failure;
Mapping should be repeated whenever changes are made which increase loading or
affect air circulation, or when refrigeration equipment is replaced.
Enquire whether mapping has been repeated and record in comments box.

Comments

Hasil komentar
 TIPS ASSESSMENT - 1
• Membawa peralatan yang tepat
 Format penilaian yang sesuai untuk setiap fasilitas
 Buku catatan
 Pena
 Kamera dengan memori yang cukup dan baterei cadangan
 kalkulator
 Meteran (1 sampai 8 metres)

• Ambil banyak foto

 Pastikan anda dapat mengenali fasilitas mana dikemudian hari. Buat
petanda foto pada permulaan inspeksi
 TIPS ASSESSMENT - 2

• Kumpulkan format standar kapanpun memungkinkan

 Dapat bervariasi didalam satu negara
 Ambil photo untuk beberapa contoh

• Rencanakan kunjungan dan buat pembagian tugas

• Penjaga gudang dan petugas kesehatan adalah rekan kita

 Selalu bersikap positif dan sopan, termasuk waktu mengajukan pertanyaan
yg sulit.
 TIPS ASSESSMENT 3
• EVM merupakan penilaian berbasis bukti
 Check apakah peralatan coldchain berfungsi

 Apabila kita memeriksa bangunan atau peralatan, lihat dengan cermat dan
ukur serta ambil photo untuk menguatkan pengamatan kita.

 Bila dalam praktek termasuk pemeriksaan catatan, periksa catatan dan cek
secara rinci (mis catatan suhu).

 Bila menyangkut pelatihan, minta agar didemonstrasikan (mis

mengkondisikan icepack

……………. Jangan begitu saja percaya bahwa peralatan berfungsi

baik atau bahwa prakteknya dilakukan dg benar hanya karena yg di
wawancarai mengatakan demikian
12
 TIPS ASSESSMENT - 4
• Gunakan comments boxes
 Komentar merupakan bagian yang penting pada penilaian EVM
 Memberi nilai pada indikator saja tidak cukup

• Petugas gudang dan petugas kesehatan memerlukan dukungan positif

 Bila ada masalah, diskusikan cara untuk membantu – mereka adalah orang
yang perlu melakukan perubahan.
 Berikan umpan balik sebelum anda meninggalkan gudang sehingga
petugas gudang / tenaga kesehatan merasa berpartisipasi dalam proses
penilaian.

Day 1 – session 2 13
 TIPS ASSESSMENT - 5
• EVM adalah suatu proses – kita bekerjasama untuk perbaikan

 Hindari komentar negatif – petugas yg diwawancarai mungkin bukan

petugas yg bertanggung jawab untuk memperbaiki keadaan.

 Jangan tergesa-gesa – sediakan waktu untuk mengenal rekan yg

diwawancarai sehingga anda akan mendapat jawaban yg jujur.

 Jangan menghilangkan pertanyaan:

 bila tidak memperoleh jawaban, tanyakan lagi dg cara yg lain.
 Bila tetap tidak terjawab, skor pertanyaan tsb semampu anda dan gunakan kotak
komentar untuk scoring anda.
 Hasil penilaian EVM

• Pertanyaan EVM terisi lengkap

• Analisa hasil penilaian

Review Review
Mean score for 5 health facilities Mean score for 5 health facilities
SP SP

Buildings
E2: Temperature 100%
100%
80%
80%
E8: Vaccine management E3: Storage capacity 60%
60% Training Capacity

40% 40%

20% 20%

0% 0%

E7: Distribution E4: Buildings, equipment & transport

Management Equipment

E6: Stock management E5: Maintenance

Maintenance

• EVM report including:

– Findings
– Detailed recommendations
– Improvement plan
Day 1 – session 2 15
HASIL EVMA TAHUN 2015
LAPORAN DAN RENCANA PERBAIKAN
Gudang Vaksin Nasional
Gudang Vaksin Provinsi 17
Gudang Vaksin Kab/Kota 26
Puskesmas 26
Total 70
Province District Puskesmas Approved
ACEH ACEH_TENGGARA LOUSER District too far away and hard to reach. Changed to Aceh
Barat and Puskesmas Sue Ribee

ACEH (2012) ACEH BARAT SUA RIBEE

SUMATERA UTARA (2012) SIMALUNGUN TANAH JAWA
KOTA_MEDAN SUKARAMAI
RIAU (2012)
JAMBI (2012)
INDRAGIRI_HILIR
KOTA_SUNGAI_PENUH
TEMBILAHAN KOTA
TANAH KAMPUNG
EVMA 2015
BENGKULU MUKOMUKO LALANG LUAS

Gudang Prov = 17
DKI JAKARTA (2011) KOTA_JAKARTA_SELATAN KEC. KEBAYORAN BARU
JAWA BARAT (2011) BOGOR (2011) CIASMARA
BANDUNG (2011)
KUNINGAN
SUKAMANAH
MANDIRANCAN
Gudang Kab/Kota = 26
KARAWANG
KOTA_BEKASI
PLAWAD
JATIWARNA
Puskesmas = 26
JAWA TENGAH (2011) PURBALINGGA KUTASARI Total = 69 + Biofarma
BLORA CEPU
TEGAL JATIBOGOR
JAWA TIMUR TULUNGAGUNG PAKEL
PROBOLINGGO LUMBANG
TUBAN SUMURGUNG
KALIMANTAN BARAT BENGKAYANG SUNGAI BETUNG
KALIMANTAN SELATAN HULU_SUNGAI_TENGAH DURIAN GANTANG
(2012)
SULAWESI TENGAH BUOL LAKEA Buol means flying over conflict zone and extending time
by 23 hours - Therefore Another Province, district and
Puskesmas chosen

SULAWESI BARAT MAMASA MAMASA

SULAWESI SELATAN (2012) KOTA_MAKASSAR BULUROKENG
NUSA TENGGARA BARAT LOMBOK_TIMUR KORLEKO
(2012)

NUSA TENGGARA TIMUR KOTA_KUPANG OEPOI

(2012)

BANTEN (2011) TANGERANG (2011) JAMBE

MALUKU UTARA HALMAHERA_SELATAN LAIWUI Province consists of 1000 islands and is too far away from
only airport to complete EVMA in 1 week due to long boat
rides and road access

MALUKU UTARA (2012) HALMAHERA_TIMUR BULI

INDONESIA 2015
 PERKEMBANGAN
INDONESIA
Biofarma Provinsi Kabupaten/Kota Puskesmas

2015 2012 2015 2012 2011 2015 2012 2011 2015 2012 2011

E1 100% 89%
Prosedur Kedatangan Vaksin
E2 100% 88% 55% 56% 56% 61% 62% 64% 67% 46% 62%
Monitoring Suhu
Kapasitas penyimpanan dan
E3 100% 94% 84% 82% 79% 81% 63% 72% 80% 79% 82%
transportasi
Gedung, peralatan dan E4 99% 95% 73% 77% 82% 75% 69% 81% 72% 73% 83%
transportasi
E5 100% 100% 63% 59% 60% 59% 48% 57% 66% 46% 51%
Pemeliharaan
E6 99% 72% 59% 55% 70% 55% 41% 59% 51% 38% 52%
Manajemen Stok
E7 90% 58% 55% 49% 73% 60% 46% 72% 87% 58% 79%
Distribusi
E8 78% 89% 75% 54% 55% 69% 41% 62% 78% 64% 80%
Manajmen Vaksin
E9 99% 87% 56% 72% 87% 44% 46% 56% 27%
MIS dan Fungsi Suportif

P. Jawa P. Jawa
P. Jawa
Daerah Kepulauan Daerah Kepulauan Daerah Kepulauan
Provinsi (n=17)
Provinsi DKI JAKARTA
 Provinsi
Kalimantan Selatan
Criteria Scores

E1: Vaccine arrival

100%

E9: MIS, supportive 80% E2: Temperature

functions
60%

40%

E8: Vaccine management 20% E3: Storage capacity

0%

E4: Buildings, equipment,

E7: Distribution
transport Category Scores (E4)
Buildings
1
0.8
Vehicles 0.6 Capacity
E6: Stock management E5: Maintenance 0.4
0.2
0
Training Equipment
Target % % score Scope: Full Level: 1SN Facility: Kalimantan Selatan

Repairs/ma Manageme
intenance nt

Target % % score Scope: Full Level: 1SN Facility: Kalimantan Selatan

Kabupaten/Kota (n=26)
KABUPATEN
Puskesmas (n=26)
Kab/Kota Terpencil (n=6)
versus Nasional Nasional
Puskesmas Terpencil
(n=6) versus Nasional
Nasional
BIOFARMA
 HASIL EVMA 2015
Monitoring Suhu
Suhu dicatat secara manual dan lengkap
Provinsi 38%
Kab/Kota 42%
Peristiwa alarm suhu yang direview setiap
bulan
Provinsi 15%
Kab/Kota 15%
Penggunaan ice-packs
Provinsi 71%
Kab/Kota 39%
Puskesmas 31%
 HASIL PENILAIAN EVM 2015
Monitoring Suhu
Kartu pencatatan grafik suhu Kartu pencatatan grafik suhu
Indonesia - 2010 Indonesia - 2015
 HASIL PENILAIAN EVM 2015
Manajemen Stok
Berbasis komputer
Provinsi 53%
Kab/Kota 23%
Keluar masuk vaksin yang segera dicatat dan diupdate
Provinsi 77%
Kab/Kota 73%
Puskesmas 77%
Pencatatan pelarut
Provinsi 35%
Kab/Kota 35%
Puskesmas 31%
 HASIL PENILAIAN EVM 2015
MIS dan Supervisi
Tersedianya pedoman dan SOP
Provinsi 65%
Kab/Kota 65%
Pelatihan manajemen Vaksin
Provinsi 65%
Kab/Kota 54%
Puskesmas 50%
Kunjungan supervisi sebanyak 4x Catatan supervisi
Provinsi 22% Provinsi 29%
Kab/Kota 27% Kab/Kota 19%
Puskesmas 28% Puskesmas 15%
 Tantangan Terbesar
Penilaian EVM 2015 (1)

Alih pengetahuan dari EPI pada Farmasi (Kebijakan

One Gate Policy)
 Pengetahuan institusi

Teknologi manajamen dan monitoring suhu

 Semua gudang penyimpanan

Supervisi suportif dan monitoring

 SOP’s
 Supervisi
 Tantangan Terbesar Penilaian
EVM 2015 (2)
Pelatihan berkelanjutan
 Berstandar global
 Semua tingkat penyimpanan

Manajemen stok yang tertata di semua tingkat

penyimpanan

Technical Working Group EPI yang

mencakup EVM
SK Menteri
PROSES PENILAIAN EVM
 PROSES PENILAIAN EVM
Hasil workshop Rencana Perbaikan EVM 2015
Manajemen Suhu
• Alat pemantau suhu tidak tersedia di semua peralatan
• Petugas kesehatan tidak tahu cara membaca alat pemantau suhu dan tidak
tahu apa yang harus dilakukan kalau terjadi peringatan alarm
• Peralatan penyimpanan vaksin sudah tua dan tidak selalu memenuhi
standard PQS
• Tidak adanya supervisi suportif
Solusi pemecahan masalah
• Menyediakan anggaran yang cukup untuk pengadaan alat pemantau suhu
• Pelatihan petugas kesehatan untuk membaca alat pemantau suhu, memonitor
dan melakukan tindakan bila terjadi peringatan alarm suhu
• Melakukan supervisi suportif kepada petugas kesehatan dan review teratur
pencatatan suhu
• Menyediakan peralatan cold chain yang cukup dan memasukkan dalam
inventarisasi CCE
• Melaksanakan studi pemetaan suhu
• Melaksanakan studi monitoring suhu
 PROSES PENILAIAN EVM
Hasil workshop Rencana Perbaikan EVM 2015
Manajemen stok
• Stok pada saat kedatangan dan pengeluaran vaksin tidak dicatat
• Sistem komputerisasi seperti SMS tidak digunakan
• Pelarut tidak dicatat
• Hitung fisik vaksin tidak dilakukan
• Petugas kesehatan tidak tahu cara menghitung level stok maksimal
dan minimal

Solusi pemecahan masalah

• Gunakan sistem komputerisasi
• Lakukan hitung fisik vaksin secara berkala
• Meningkatkan anggaran supervisi
• Menyediakan on-the-job training tentang manajemen stok
 PROSES PENILAIAN EVM
Hasil workshop Rencana Perbaikan EVM 2015
MIS dan Supervisi
• Kekurangan SOPs
• Kekurangan atau tidak cukup nya pelatihan supervisor
• Kekurangan anggaran untuk supervisi
• Keterbatasan sumber daya manusia

Solusi Pemecahan Masalah

• Menyediakan anggaran yang cukup untuk supervisi
• Mencatat kunjungan supervisi dan menggunakan daftar tilik yang
standar
• Melaksanakan feed-back setelah melakukan kunjungan supervisi
kepada petugas kesehatan
• Melaksanakan mekanisme rencana kerja yang baik untuk alih
pengetahuan antar petugas kesehatan
• Melatih supervisor
 PROSES PENILAIAN EVM
Perlunya Pelatihan
• Perlunya pelatihan yang mencakup ketiga hal di atas yaitu manajemen stok,
manajemen suhu dan MIS serta supervisi di semua tingkat penyimpanan.
• Hasil penilaian EVM 2015 menunjukkan skor yang rendah terkait pelatihan di
semua tingkat penyimpanan (kecuali gudang penyimpanan nasional Bio
Farma yang mendapat skor 100%)– 100%
o Tingkat Provinsi – 53% telah mendapat pelatihan
o Tingkat Kab/Kota – 37% telah mendapat pelatihan
o Tingkat Puskesmas – 42% telah mendapat pelatihan

Pelatihan memberi dampak yang

bermakna pada ketiga hal di atas
PROSES PENILAIAN
EVM
 Start Duration
Key Performance Indicators
Month Months
Strategic Goal 1 - Temp Management 1 60 Percentage of health center conducting monthly review
1. Arrange adequate funding for procurement of temperature monitoring devices 1 6 Percentage of health center that have fridgetag in their refrigerators
Availability of electronic temperature monitoring devices at all vaccine storage facilities
2. Procure temperature monitoring devices 6 24
No damaged vaccines due to improper temperature
3. Train health workers to read the devices, monitor and react to alarms 6 24 All vaccine managers monitor and records the temperature according to the SOP
4. Provide supportive supervision for the health worker and regular review of temperature records 6 54 100% refrigerator at province, district and health centers has continued temperature
5. Provide adequate quality cold chain equipment and include in the CCE Inventory 6 48 monitoring devices
6. Conduct temperature mapping studies 2 48 Refrigerators temperatures are monitored every day
7. Conduct temperature monitoring studies 8 24 100% temperature record to reviewed and signed by the supervisor
Availability
PercentageofofCCE and appropriate
province temperature
that give regular monthlymonitoring devices
stock reports
Strategic Goal 2 - Stock Management 1 60
1. Implement computerised system 6 24 100% Provinces, Districts and Health Centres practice stock record routinely (vaccine and
diluent with all detailed information)
2. Conduct regular physical counts 1 60
100% accuracy on stock record and physical count
3. Increase supervision and supervisory budget 9 36 100% Provinces, Districts and health centres keep the stock in archive for minimum of 3 years
4. Provide on-the-job training in stock management 12 48 Match counting on diluent and vaccine, available stock card on vaccine, diluent, dropper
5. Stock arrivals and issues recorded 1 60 Stock cards are filled and updated daily by the health workers/officers
6. Diluents recorded 1 60
7. Train health workers how to calculate minimum and maximum stock levels 24 36
8. Technical Working Group in EPI includes oversight of EVM 9 51
Coverag percentage
Strategic Goal 3 - MIS & Supervision 1 60
Percentage of trained officers
1. Provide SOPs 1 24 Availability of SOP in every vaccine storage (phased in over 4 years)
2. Provide adequate funding 12 48 Province Cold Chain managers are trained
3. Record supervisory visits and use standardized check-lists 12 48 50% Province conduct self-EVMA in 30% districts, with minimum target score of 70%
(Phased in over 2 years)
4. Institute feed-back procedures of supervisory visits to health workers 12 48 100% Province conduct self-EVMA in 60% districts, with minimum target score of 80%
5. Implement good work plans with mechanisms to transfer knowledge between health workers 9 51
6. Train supervisors 12 48
7. Implement EVM Self-Assessments 6 54
8.Establish EVM Database on DHIS2 12 48
9. Align all work plans and reports with expanded EVM Work plan 6 54
Strategic Goal 4 - Establish NPO Training Centre 1 60 Number of students trained
1. Appoint office bearers 6 3 Feed-back from participants
EVM Self-Assessment scores
2. Establish MOU with stake holders and secure funding 9 6
Number of training courses
3. Develop training materials 3 57
4. Deliver training courses 12 48
5. Monitor outcomes 24 36
 REKOMENDASI
Rekomendasi:(1)
1. Pedoman EVM harus tersedia di semua lokasi penyimpanan vaksin
2. Pedoman SOP harus tersedia di semua lokasi penyimpanan vaksin
3. Peralatan pemantau suhu elektronik harus tersedia di semua
peralatan penyimpanan vaksin
4. Pemantau suhu terus menerus harus terpasang dan berfungsi
penuh di dalam semua kamar dingin ( cold rooms) dan kamar beku
(freezer rooms)
5. Penggunaan kotak dingin beku (ice-packs) harus diganti dengan
kotak dingin cair (cold water packs) untuk distribusi dari Kab/Kota
ke Puskesmas dan dari Puskesmas ke Posyandu
6. Semua penerimaan dan pengeluaran vaksin dan logistik lainnya
harus dicatat dalam kartu stok termasuk pelarut vaksin
 REKOMENDASI (1)
7. Kunjungan supervisi harus dilakukan minimal 4 kali
setahun dan catatan supervisi harus mencakup:
a. Review bila terjadi alarm dalam pemantauan suhu
b. Ketersediaan pedoman dan SOP
c. Kelengkapan pencatatan stok
d. Hasil on-the-job training yang diberikan
8. Semua staf farmasi di dalam gudang penyimpanan vaksin
harus dilatih EVM
9. Semua cold rooms dan freezer rooms harus memiliki studi
pemetaan suhu yang lengkap
10. Studi pemantauan suhu hars lengkap di beberapa rantai
vaksin terpilih di daerah kepulauan