Penelitian Prognostik dan

Sistem Skoring

Denys Lim 2015

 Penelitian Prognostik
 Penelitian yang bertujuan untuk membuat model terbaik yang dapat

memperkirakan nilai keluaran atau kemungkinan terjadinya

keluaran subjek dengan karakteristik tertentu pada waktu
mendatang dengan menggunakan faktor prognostik yang dimiliki
oleh subjek tersebut saat ini.

APGAR Score

? ?
0 menit 1 menit 5 menit

Denys Lim 2015

 Keluaran: Kategorik vs Numerik

Waktu: Detik-Hari-Bulan-Tahun

Subjek: Relevan untuk dibuat prediksi

Jumlah faktor prognostik: Satu atau lebih

Sumber faktor prognostik: Klinis atau laboratoris

Prinsip Penelitian Prognostik

Model: Variasi akumulatif faktor prognostik

Kualitas model: Statistik (Kalibrasi dan Diskriminasi) dan Klinis (Feasible)

Model terbaik: Tarik ulur antara kalibrasi, diskriminasi, dan feasible.

Sistem Skoring

Denys Lim 2015

 Risk Factor Or Prognostic Factor

APGAR Score

Appearanc
e Pulse
Grimace Activity
? ?
Respiratio 0 menit 1 menit 5 menit
n

Denys Lim 2015

 Pemilihan Model

Variabel prognostik
Model 3

Model 2

Model 1
Penu Penu
Dem
Klini njang njang
ogra
s Seder lanju
fi hana t

Denys Lim 2015

 Kualitas Model
Nilai AUC Nilai R2 Kualitas
diskriminasi
50%-60% 0%-4% Sangat lemah

60%-70%

70%-80%
4%-16%

16%-36%
Lemah

Sedang
Kualitas Baik bila p>0,05

80%-90% 36%-64% Kuat

90%-100% 64%-100% Sangat kuat Baik bila p<0,05

Statistik Klinis

Denys Lim 2015

 Model Terbaik dan Sistem Skoring

Model
1

Model
? Model
2 3

Denys Lim 2015

 Desain Studi
 Syarat prognostik adalah adanya temporalitas antara faktor

prognostik dan hasil keluaran.

 Cohort

 Nested case control

 Case control

Denys Lim 2015

 Keluaran Kategorik Keluaran Numerik
Analisis
Kategorik N dan % N dan %
Deskriptif
Rerata dan Rerata dan
Numerik
simpang baku simpang baku

T tidak berpasangan
FP Kategorik Chi square dan RR
Mann-Whitney
Bivariat FP Kategorik --- One way Anova
Polikotom Kruskal Wallis

FP Numerik T tidak berpasangan Pearson, Spearman

Mann-Whitney

Multivariat Regresi Logistik Regresi Linier

Sistem skoring Kalibrasi, diskriminasi, dan klinis

Denys Lim 2015
 Besar Sampel
10 x VB
L

VB = Jumlah faktor prognostik

L = Insiden prognosis yang diteliti

Denys Lim 2015

 Validitas Penelitian
 Validitas seleksi

 Validitas informasi
 Uji kesesuaian intra-observer (Kappa dan Bland-Altman)

 Uji kesesuaian antar-observer (Kappa dan Bland-Altman)

 Validitas pengontrolan perancu

 Validitas eksterna

Denys Lim 2015

 Probability
Validitas Seleksi sampling atau
tidak

Metode
Harus Missing pengambila
rendah value n sampel

Participati
Drop out
on rate

Kriteria
Harus
subjek
tinggi

Harus jelas kriteria

inklusi dan eksklusi
Denys Lim 2015
 Validitas Informasi
Blinding, kompeten, uji kesesuaian intra dan antar pengamat

Pengukur
(Who) Cara
Subjek ukur
(Whom) (How)

Alat Blinding
ukur Yang
(by diukur
What) (What)
Tempat
(Where)
Alat ukur Waktu
valid, (When)
dikalibrasi,
dan sama
Denys Lim 2015
 Validitas Eksterna
Populasi
Populasi
Subjek yang
diinginkan
diteliti
Terjangkau
Target

Validitas
Eksterna II

Validitas
Eksterna Ib

Validitas
Eksterna Ia

Validitas Interna

Denys Lim 2015

 Analisis Multivariat

NEXT

Denys Lim 2015

 Kasus
Analisis bivariat BPAK On Pump
Meninggal Hidup IK95%
p OR
n % n % min mak
Usia > 70 tahun 1 100.0 0 0.0 0.146* 0.125 ref 0.055 0.284
≤ 70 tahun 5 12.5 35 87.5
Jenis Kelamin Perempuan 0 0.0 5 100.0 1.000 0.833 ref 0.720 0.964
Laki-laki 6 16.7 30 83.3
Fraksi Ejeksi ≤ 30% 1 50.0 1 50.0 0.274 6.800 ref 0.364 126.898
> 30% 5 12.8 34 87.2
Kreatinin > 1.2mg/dL 5 27.8 13 72.2 0.070* 8.462 ref 0.888 80.591
≤ 1.2mg/dL 1 4.3 22 95.7
Diabetes Melitus Ya 2 10.5 17 89.5 0.668 0.529 ref 0.086 3.275
Tidak 4 18.2 18 81.8
Lama AoX > 90 menit 2 22.2 7 77.8 0.597 2.000 ref 0.303 13.221
≤ 90 menit 4 12.5 28 87.5
Lama CPBT > 120 menit 1 11.1 8 88.9 1.000 0.675 ref 0.069 6.648
≤ 120 menit 5 15.6 27 84.4
Lama rawat inap > 14 hari 5 23.8 16 76.3 0.184* 5.938 ref 0.627 56.202
≤ 14 hari 1 5.0 19 95.0
Jumlah koroner 3 6 16.2 31 83.8 1.000 1.194 ref 1.036 1.375
<3 0 0.0 4 100.0
Hipertensi Ya 6 18.2 27 81.8 0.323 1.222 ref 1.041 1.435
Tidak 0 0.0 8 100.0
Total 6 14.6 35 85.4

Denys Lim 2015

 Sistem Skoring
1
p=
1 + e-y

p = Probabilitas
e = Bilangan natural Euler (2,718281828459….)
y = Persamaan logistik (a+b1x1+b2x2+…….+bixi)
a = Konstanta
b = Koefisien
x = Variabel prognostik

Denys Lim 2015

 Kasus
Analisis multivariat BPAK On Pump

Variabel B S.E. Sig. Exp(B)

Langkah 2 Usia > 70 tahun 1,490 0,256 0.000 4,437
Kreatinin > 1.2mg/dL 1,386 0,303 0.001 3,999
Lama rawat inap > 14 hari 0,935 0,252 0.009 2,546
Konstanta -1,719 0,389 0.000 0,009

Y = a+b1x1+b2x2+…….+bixi
Y = -1,719 + (1,49 x usia) + (1,386 x kreatinin) + (0,935 x lama rawat)
Y = -1,719 + (1,49 x 1) + (1,386 x 1) + (0,935 x 0)
Y = 1,157

1
p= 76%
1 + e-y

Denys Lim 2015

 Pembuatan Skoring
Analisis multivariat BPAK On Pump

Variabel B S.E. Langkah 1 Langkah 2 Langkah 3

B / S.E. Langkah 1 / Pembulatan
smallest
Langkah 2 Usia > 70 tahun 1,490 0,256 5,816 1,5676 2

Kreatinin > 1.2mg/dL 1,386 0,303 4,578 1,2339 1

Lama rawat inap > 14 hari 0,935 0,252 3,710 1 1

Konstanta -1,719 0,389

 Skor usia >70 tahun 2 poin; <70 tahun 0 poin

 Skor kreatinin >1,2mg/dL 1 poin; <1,2mg/dL 0 poin

 Skor lama rawat >14 hari 1 poin; <14 hari 0 poin

 Poin maks 4

Denys Lim 2015

 Transformasi Data
Transform  Recode into different variables

Kategori Kode awal Kode sesuai skoring Transformasi

Usia > 70 tahun 1 2 12

≤ 70 tahun 2 0 20
Kreatinin > 1.2mg/dL 1 1 11
≤ 1.2mg/dL 2 0 20
Lama rawat inap > 14 hari 1 1 11
≤ 14 hari 2 0 20

Membuat total skor

 Transform  Compute (usia + kreatinin + lama rawat)
 Total skor untuk semua subjek

Denys Lim 2015

Denys Lim 2015
 Membuat Model Skoring
 Analyze  Regression  Binary

 Masukkan variabel “klasifikasi prognosis” ke dalam Dependent

 Masukan variabel “totalskor” ke Covariates

 Option  Hosmer Lemeshow dan CI for Exp(B)

 Continue

 Pilih Probabilities pada Predicted values

 OK

Denys Lim 2015

Denys Lim 2015
 Variabel B S.E. Sig. Exp(B)
Langkah 1 Total skor 0,646 0,061 0,000 1,908

Konstanta -1,825 0,377 0.000 0,008

Y = -1,825 + (0,646 x totalskor)

 Lakukan analisis ROC untuk menilai diskriminasi

 Graph/Analyze  ROC curve

Denys Lim 2015

Denys Lim 2015
 Menghitung Probabilitas Subjek
Memiliki Prognosis Buruk
Skor Pasien Konstanta Koefisien Y = -1,825 + P = 1 / 1 + e-y
(0,646 x
totalskor)
0 -1,825 0,646 -1,825 0,1389
1 -1,825 0,646 -1,179 0,2352
2 -1,825 0,646 -0,533 0,3698
3 -1,825 0,646 0,113 0,5282
4 -1,825 0,646 0,759 0,6811

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
Skor 0 Skor 1 Skor 2 Skor 3 Skor 4
Denys Lim 2015
 Menentukan Titik Potong
Microsoft Excel

Denys Lim 2015

 Validasi Model Prognostik
 Validitas Interna dan Eksterna valid
 Kemampuan Generalisasi (Generalizabiliti)

Generalizabiliti

Reproducabilit Transportabilit
y y
Denys Lim 2015
 Level Validasi Komponen generalizability

Validasi Model 0 Internal validation

yang telah dievaluasi

Reproducibility

Prognostik 1 Prospective validation Reproducibility

Historic transportability
Geographic transportability
Methodologic transportability
Spectrum transportability

 Level validasi model 2 Independent validation Reproducibility

Historic transportability
Geographic transportability
prognostik bergantung pada Methodologic transportability
Spectrum transportability
aspek generalizabiliti yang 3 Multisite validation Reproducibility
Historic transportability
sudah terpenuhi. Geographic transportability
Methodologic transportability
Spectrum transportability

4 Multiple independent Reproducibility

validations Historic transportability
Geographic transportability
Methodologic transportability
Spectrum transportability

5 Multiple independent Reproducibility

validations with life-table
analysis
Historic transportability
Geographic transportability
Methodologic transportability
Spectrum transportability
Follow up period transportability

Denys Lim 2015

 Kesimpulan
 Studi prognostik bertujuan untuk mencari model terbaik
dalam memprediksi probabilitas keluaran yang akan
terjadi pada subjek dengan faktor prognostik tertentu.
 Hati-hati dengan “statistical abuse”, tidak semua penelitian
perlu dibuat sistem skoring.

Denys Lim 2015

 Finish!

Denys Lim 2015

 Analisis Kesintasan
Denys Putra Alim

Denys Lim 2015

 Prognosis
Patients at
Risk Prognostic
risk of target
factors factors
event

Suffer target
outcome

Time

Do not suffer
target outcome

Denys Lim 2015

 Prinsip Kesintasan: Time is Matters!!
Obat Subjek Durasi Outcome Insiden Incidence Hazard Ratio
Rate
(Hazard)
X A 10 hari Sembuh 2/4 2/37 0,054/0,03125
B 12 hari Sembuh 50% 0,054 1,728
C 6 hari Meninggal
D 9 hari Meninggal
Person Time (PT) 37 hari
Y E 11 hari Meninggal 2/4 2/64 0,3125/0,054
F 15 hari Meninggal 50% 0,03125 0,5787
G 21 hari Sembuh
H 17 hari Sembuh
Person Time (PT) 64 hari

Denys Lim 2015

 Terminologi
 Median survival

 Survival rate at a particular time

 Survival curve

Denys Lim 2015

Denys Lim 2015