VALIDASI DATA DAN

PELAPORAN

Endri Astuti
Kredibiltas Sistem pengukuran
performance tergantung pada kualitas data
yang dikumpulkan
Validasi data dan uji reliabiltas
merupakan metode analitik untuk
memastikan kualitas data yang
dikumpulkan.
Penyahihan/validasi data
merupakan alat penting untuk
memahami mutu dari data mutu
dan untuk mencapai tingkat di
mana data tersebut cukup
meyakinkan bagi para pembuat
keputusan.
 JCI Standard on Data Validation
(Reliability Testing)
Standard:
RS menggunakan proses internal untuk validasi
data
ME 1:
Integrasikan validasi data dengan manajemen mutu
dan proses perbaikan
ME 2:
RS memiliki proses validasi data yang meliputi a)
sampai f) didalam intent QPS 5
ME 2:
Proses validasi data minimal meliputi pemilihan
indikator yang diminta dalam QPS 3.1
 5
PMKP 5 : VALIDASI DATA

Dilakukan pada saat :

a. Indikator baru diimplementasi
b. Data akan dipublikasi pada website RS atau dengan cara
Lain
c. Ada perubahan terhadap indikator yang ada sebelumnya
d. Data yang dihasilkan dari indikator yang ada telah berubah
tanpa dapat dijelaskan
e. Sumber data telah berubah
f. Subyek pegumpulan data telah berubah
JCI Data Validation Requirements for
Hospital Accreditation

—  JCI tidak meminta validasi data tahunan

untuk setiap indikator yang disyaratkan /
—  Namun, JCI merekomendasikan RS
melakukan validasi data untuk
memastikan reliabilitas performa hasil
pengukuran
 Tersedianya data dan informasi mutu yang
valid sebagai dasar menejemen rumah sakit
untuk mengambil keputusan dalam
perencanaan, pelaksanaan, pemantauan,
evaluasi program dan peningkatan
kewaspadaan serta respon terhadap
kejadian luar biasa yang cepat dan tepat.
SIAPA
Pelaksana Validasi :
◦ Individu dengan pengalaman, pengetahuan
dan keterampilan yang tepat bertugas
mengumpulkan dan menganalisis data rumah
sakit secara sistematis
◦ Staf Unit Penjamianan Mutu yang tidak
berasal dari sumber data / first abstractor
 APA LANGKAH – LANGKAH
VALIDASI
Tetapkan Indikator yang divalidasi
Buat usulan validasi
Siapkan alat/ format pemantauan sesuai dengan format
pemantauan indikator mutu
Tentukan jumlah sampel yang akan diambil
Laksanakan validasi sesuai jadwal, (kunjungan
lapangan, tracer rekam medis)
Rekapitulasi hasil
Komparasi hasil
Pelaporan (Masuk dilaporan triwulan)
Two Types of Reliability Tests

—  Repeatability: diulangnya pengukuran hasil

oleh orang yang sama atau alat yang sama
pada catatan yang sama dan kondisi yang
sama
—  Reproducibility:diulangnya pengukuran
hasil oleh orang yang berbeda pada catatan
yang sama dan kondisi yang sama
(Reproduced, or replicated, oleh seseorang
yang bekerja secara independen (by someone
else working independently)
This is JCI Inter-Rater Reliability
Uji Reproducibilitas digunakan sebagai
kontrol mutu untuk performa pengukuran
(Reproducibility test is the predominate
inter-rater reliability test used as a quality
control check for performance measures)
Review of Record Abstraction
Responsibility First Abstractor(s)
Mengumpulkan data dari semua populasi
atau sampel
Catat data pada form pengumpulan data
Input data ke dalam spread sheet
elektronik: Tabel Data
Rekap tabel dari tabel data diatas;
Agregasi data dan stratifikasi
Buat chart dan grafik dari rekap tabel
diatas
SOAL
Berapa
jumlah sampel apabila
POPULASI :
◦ 50
◦ 200
◦ 500
◦ 2000
 JAWAB
POPOLASI SAMPEL

50 50
200 64
500 100
2000 400
 SOAL
POPOLASI SAMPEL VALIDASI?
??

50 50
200 64
500 100
2000 400
 JAWAB
POPOLA SAMPEL VALIDASI
SI
MIN MAX

50 50 9 50
200 64 9 64
500 100 9 100
2000 400 20 400
Three JCI Methods Calculating
Reproducibility: % Agreement
Measurement RESULTS Agreement
(MRA) :
◦ Membandingkan hasil antara pengumpul data
dengan validator
◦ 90% kesepakatan dalam hasil kalkulasi antara
pengumpul data pertama dan kedua
SOAL
Nilai pengumpul data pertama 75%
Nilai validator 60%
Valid atau tidak???
JAWAB
75% X90/100 = 67.5%
60% < dari 67,5%
Tidak valid
MRA sudah tidak direkomendasikan oleh
JCI
MCA (Measurement Category
Agreement
Kesepakatan kategori antara pengumpul
data dengan validator
Kategori :
◦ Numerator
◦ Denominator
◦ eksklusi
75% kesepakatan dalam kategorisasi
antara pengumpul data pertama dan
validator
STEP 2 :
Data dari Pengumpul data pertama
100 rekam medik kasus AMI dikumpulkan
Semua kasus > 18 thn (denominator)
Semua kasus memiliki diagnosa AMI
50 dari 100 kasus diberikan ASA dalam waktu 24 jam
(numerator)
15 dari 100 kasus tidak diberikan ASA dan tidak ada
kontraindikasi (tidak sesuai numerator)
35 dari 100 kasus kontraindikasi ASA (eksklusi)
Berapa jumlah E, D dan B???
Step 3 : Hasil
Numerator (E) : 50
Eksklusi (B) : 35
Denominator (D) : 65
Nilai kepatuhan = E/DX100%
= 50/65X100% = 76,92%
Step 4 :
Validasi Data
Pengumpul data kedua ditunjuk untuk
validasi data
—Pengumpul data kedua memutuskan
tidak akan mengumpulkan data ulang
pada 100 rekam medik yang dikumpul
sebelumnya, dia melakukan random
sampel rekam medik yang digunakan
pengumpul data pertama dengan
menggunakan tabel sampel validasi
Random sampel 16 rekam medik dari 100
rekam medik di kumpul ulang sesuai “
Tabel Sampling Validasi”
—Pengumpul data kedua mengumpul
data dari 16 rekam medik yang sudah
dikumpulkan oleh pengumpul data
pertama
Kelompokkan data elemen kedalam
denominator dan numerator berdasar kriteria
dan form pengumpulan data lengkap
—> 18 years: denominator = D
AMI diagnosis: denominator = D
Aspirin received within 24 hours: allowable
answers Yes or No: inclusion in numerator =
E
Documented Reason for no Aspirin:
denominator exclusion criteria = B
Catat data yang dikumpul ulang pada form pengumpulan
data dan input ke spreadsheet elektronik
—Singkirkan kasus-kasus yang tidak sesuai kriteria
denominator
◦ —< 18 tahun,
◦ —tidak diagnosa AMI,
◦ —alasan valid tidak diberi ASA
—Semua kasus yang tertinggal mewakili denominator
—Identifikasi kasus denominator yang termasuk kriteria
numerator
◦ —ASA diberi dalam waktu 24 jam pasien admisi
16sampel dari 100 kasus dikumpulkan
—Semua kasus > 18 tahun (denominator)
Semua kasus memiliki diagnosa AMI (denominator)

8 dari 16 kasus diberi ASA dalam 24 jam admisi

(numerator)
6 dari 16 kasus tidak diberi ASA dan tidak
kontraindikasi (tidak sesuai numerator) / (Did not meet
numerator)
2 dari 16 kasus kontraindikasi diberi ASA (eksklusi
dari denominator) : (exclude from denominator)
Berapa E, D dan B serta hasilnya??
STEP 5 : Kalkulasi hasil
Total sampel =16
B =2
E =8
D = 14

Hasil = E/DX100% = 8/14X100%

= 57,14%
Step 6: Comparison Agreement
1. MRA
 Pengumpul data pertama memiliki nilai kepatuhan
 76,92 %
 Pengumpul data kedua memiliki kepatuhan 57,14%
compliance
 result on sample of same records = 0.9 x 76.92% =
69.20%
 57,14%< 69.20%
 Hasil pengumpulan ulang kurang dari 90%

Data tidak valid

2. MCA /Measure Category Assignment
16 sampel disiapkan untuk pengumpul
data kedua
Untuk setiap 16 rekam medik, review dan
dokumentasikan bagaimana pengumpul
data pertama mengelompokkan data
Kumpul ulang data oleh pengumpul data
kedua,
kelompokkan dan catat hasilnya
STEP 7 : Comparasi kategori (n=16)

Kategori Data 1 Data 2

B 4 2
E 6 8
D 12 14
No Data 1 Data 2 Sepakat
1 D D Y
2 D D Y
3 D D Y
4 D D Y
5 D D Y
6 B B Y
7 B B Y
8 D E T
9 D E T
10 D E T
11 D D Y
12 D D Y
13 D D Y
14 D D Y
15 B D T
16 B D T
Step 8:Measure Category Assignment
Level Comparison & Calculation
Total kecocokan = 16
Tidak cocok pada eksklusi (B) = 2
Tidak cocok pada numerator (E)= 3
Total tidak cocok = 5
Total cocok = 11
 % MCA Agreement = 11/16 = 68,75%
Karena kesepakatan 68,75% < 75%, maka

Tidak sepakat
MEA : Measurement Element
Egreement
Nilaikesepakatan untuk semua data
elemen
Minimal 80% kesepakatan
 STEP 9 : Data Elements Abstraction
Pengumpul data I
Sampel 16 rekam medis dikumpulkan datanya
◦ Semua 16 kasus usia > 18 tahun (denominator)
◦ Semua 16 kasus memiliki diagnosis AMI (denominator)
12 dari 16 kasus diberikan ASA dalam waktu 24 jam
(numerator)
2 dari 16 kasus tidak diberikan ASA dan tidak memiliki
kontraindikasi (tidak sesuai numerator)1 dari 16 kasus
memiliki kontraindikasi pemberian ASA (eksklusi dari
denominator)
Step 9: Validation-Data Elements
Pengumpul data II/Validator
—16 rekam medis dikumpulkan datanya
◦ 16 kasus usia > 18 tahun (denominator)
◦ 16 kasus memiliki diagnosis AMI (denominator)
8 dari 16 kasus diberikan ASA dalam waktu 24 jam
(numerator)
6 dari 16 kasus tidak diberikan ASA dan tidak
memiliki kontraindikasi (tidak sesuai numerator)
2 dari 16 kasus memiliki kontraindikasi pemberian
ASA (eksklusi dari denominator)
RM Elemen Data 1 Data 2
numertor Denominator numertor Denominator
1 Dx AMI Y Y
Umur >18 th Y Y
ASA 1X24 j Y N
ASA Kontraindikasi N Y
2 Dx AMI Y Y
Umur >18 th Y Y
ASA 1X24 j N N
ASA Kontraindikasi T N
3 Dx AMI Y Y
Umur >18 th Y Y
ASA 1X24 j N Y
ASA Kontraindikasi Y N
4 Dst………..
16
Ada 4 elemen data setiap rekam medis
16 rekam medis dilkumpulkan oleh validator
Total elemen data = 4 x 16 = 64
◦ Tidak cocok = 5
◦ —Cocok 59 dari 64 elemen data
—Nilai kesepakatan elemen 59/64 x
100 =92%
—Nilai 92% >80%

◦ VALID
UjiValiditas dengan uji Kappa untuk
menilai tingkat kesepakatan antara
pengumpul data dan validator
Ujivaliditas dan reliabilitas menggunakan
Alpha Cronbach’s untuk indikator mutu
yang pengambilan datanya melalui
kuesioner.
Apa yang Dilakukan jika
Data tidak Reproducible?/
Tidak Valid?
1. Pengumpul data dan validator tidak
mengidentifikasi elemen data yang sama
dengan sumber data
2. Pengumpul data pertama dan validator
salah mengkategorikan elemen data
kedalam numerator dan denominator
Konsekuensi dari dua yang pertama
merupakan ketidaksepakatan dalam hasil
pengukuran yang dikalkulasi
3. Kamus Indikator (data collection plan) tidak jelas
atau menimbulkan salah interpretasi
4. Definisi elemen data tidak jelas
5. Pelatihan untuk pengumpul data dan validator
6. berbeda
7. Parameter pengumpulan data tidak diidentifikasi
8. Definisi operasional berbeda
9. Elemen elemen yang hilang – omission vs. “does not
apply”
10. Input data tidak benar
11. Data bermasalah di rekam medis
12. Menggunakan sumber data yang berbeda
 Penyebab Data tidak konsisten /
Cause for Missing or Inconsistent Data
1. Kurang pelatihanyang adekuat/ Lack of
adequate training
2. Kurang waktu/ Lack of sufficient time
3. Definisi operasional tidak jelas/ Unclear
operational definitions
4. Lupa/ Forgetfulness
5. Kurang baik mendesain pengumpulandata /
Poorly design collection tool
 57

ANALISIS DATA

57
 Mulai

ALUR PENGOLAHAN DATA

Pengumpulan Data Indikator
S
INDIKATOR MUTU DAN Entri Data Indikator A
KESELAMATAN PASIEN
Validasi Data Indikator oleh Validator T

Analisa data
K

Penyajian Data (Story Board) E

R

Rekapitulasi Data Indikator

Konfirmasi Data Indikator oleh SIR

KPPI, KOM PER, K3 Validator S
Analisa data

Penyajian Data (Dash Board)

02/16/21 58
 VALIDASI DAN ANALISIS DARI DATA
PENILAIAN
PMKP
SENTINEL RCA 6, 7, 8

MERAH &
KTD KUNING

RISK
GRADING BIRU &
KNC HIJAU
INVESTIG
ASI
SEDERHA
NA
TK RIKS Deskripsi Dampak

1 Tdk significant Tidak ada cedera

2 Minor • Cedera ringan , mis luka lecet

• Dapat diatasi dng P3K

3 Moderat • Cedera sedang, mis : luka robek

• Berkurangnya fungsi motorik/sensorik/psikologis
atau intelektual (reversibel. Tdk berhubungan dng
penyakit
• Setiap kasus yg meperpanjang perawatan
4 Mayor • Cedera luas/berat, mis : cacat, lumpuh
• Kehilangan fungsi motorik/sensorik/ psikologis
atau intelektual (ireversibel), tdk berhubungan dng
penyakit
5 Katatropik Kematian yg tdk berhubungan dng perjalanan
penyakit
TINGKAT DESKRIPSI
RISIKO
1 Sangat jarang/ rare (> 5 tahun/kali)

2 Jarang/unlikey (> 2 – 5 tahun/kali)

3 Mungkin/ Posible (1 -2 tahun/kali)

4 Sering/Likely (beberapa kali/tahun)

5 Sangat sering/ almost certain (tiap minggu/ bulan)

SKOR RISIKO = DAMPAK X PROBABILITY

LEVEL/BANDS TINDAKAN
EKSTREM Risiko ekstrem, dilakukan RCA paling lama 45 hari,
(SANGAT TINGGI) membutuhkan tindakan segera, perhatian sampai
ke Direktur RS
HIGH Risiko tinggi, dilakukan RCA paling lama 45 hari,
(TINGGI) kaji dng detail & perlu tindakan segera, serta
membutuhkan tindakan top manajemen

MODERATE Risiko sedang dilakukan investigasi sederhana

(SEDANG) paling lama 2 minggu. Manajer/pimpinan klinis
sebaiknnya menilai dampak terhadap bahaya &
kelola risiko
LOW Risiko rendah dilakukan investigasi sederhana
(RENDAH) paling lama 1 minggu diselesaikan dng prosedur
rutin
Di RS X pasien jatuh dari tempat tidur dan meninggal,
kejadian seperti ini pernah terjadi kurang dari 2 tahun yang
lalu

Nilai dampak : 5 (katastropik), karena pasien

 meninggal
Nilai probabilitas : 3 (mungkin terjadi) karena pernah
 terjadi kurang 2 tahun yang lalu
Skoring risiko : 5 X 3 = 15
Warna Bands : Merah (ekstrim)
BENCHMARK
DATA MUTU
Standar PMKP.4.2
Proses analisis mencakup perbandingan internal, perbandingan dengan rumah
sakit lain apabila ada,
ada dan denganstandar-standar ilmiah serta praktik-praktik
yang diinginkan

Maksud dan Tujuan PMKP.4.2

Tujuan analisis data adalah untuk dapat membandingkan rumah sakit dalam empat hal:
Dengan rumah sakit tersebut sendiri dari waktu ke waktu, misalnya dari bulan ke bulan, dari
tahun ke tahun.

Dengan rumah sakit sejenis, seperti

melalui database referensi (juga lihat
MKI.20.2, EP 3).
Dengan standar-standar, seperti yang ditentukan oleh badan akreditasi atau profesional atau
yang ditentukan oleh undang-undang atau peraturan.
Dengan praktik-praktik yang diinginkan yang menurut literatur digolongkan sebagai best
practice atau better practice atau practice guidelines (pedoman praktik)
Perbandingan-perbandingan tersebut membantu rumah sakit dalam memahami perubahan dan
penyebabperubahan yang tidak diinginkan dan membantu memfokuskan upaya perbaikan.
Tujuan : membantu RS dalam memahami
perubahan dan penyebab perubahan serta
membantu memfokuskan upaya
perbaikan.
Cara membandingkan data dilakukan dg
◦ Waktu ke waktu
◦ RS sejenis,
◦ standar-standar
◦ best practice.
LANGKAH-LANGKAH
BENCHMARK
1. Tetapkan indikatornya
2. Tetapkan RS lain yanga akan dilaksanakan
benchmark
3. Pastikan telah dilakukan persamaan persepsi
mengenai teknis pemantauan, numerator,
denominator dll)
4. Bersurat dan format benchmark
5. Koordinasi jika ada perbedaan persepsi
Catatan : tidak semua indikator mutu dapat
dibenchmark
PELAPORAN
DATA MUTU
PMKP.1 Mereka yang
bertanggung jawab
untuk mengatur dan
mengelola rumah sakit
berpartisipasi dalam
perencanaan dan
pengukuran program
perbaikan mutu dan
keselamatan pasien.
Langkah-langkah Pelaporan:
1. Data sdh dianalisis
2. Data sdh divalidasi
3. Sajikan data
4. Sampaikan hasil kepada kepada Direksi dan
Unit terkait serta Dewan Pengawas.
5. Mohon rekomendasi dari Direksi dan Unit
terkait serta Dewan Pengawas
6. Laksanakan pelaporan resmi per bulan.
7. Meminta feedback dan tindak lanjut laporan
REKOMENDASI
REKOMENDASI dapat diberikan
setiap melaksanakan evaluasi bulanan
dan triwulan oleh DIREKSI dengan
pencatatan notulen tertulis pada saat
rapat tersebut
REKOMENDASI DEWAS di dapatkan
setelah dilaksanakan pelaporan secara
tertulis setiap triwulan
TL REKOMENDASI
Hasil rekomendasi secara tertulis
akan di feedback/ distribusikan ke
setiap DIREKSI, Instalasi, PIC
Indikator dan seluruh Pejabat
Struktural Rumah Sakit
Tindak lanjut akan dikoordinasi
secara berkesinambungan sesuai
dengan area rekomendasi yang
disarankan
74