Penyusun:

dr. Alexandro Wiyanda

dr. Reynaldy Santosa Thio
dr. Teodorus Alfons Pratama

Judul jurnal: Variable generalization performance of a deep learning model to detect pneumonia
in chest radiographs: A cross-sectional study

Pada jurnal ini telah kita ketahui menggunakan pendekatan studi cross sectional. Seperti
yang telah kita ketahui studi cross sectional memiliki kelebihan yaitu Studi cross-sectional relatif
lebih cepat dan lebih murah daripada studi longitudinal atau eksperimental. Studi cross-sectional
dapat memberikan gambaran yang cepat tentang prevalensi suatu penyakit atau kondisi dalam
populasi. Studi cross-sectional dapat mengidentifikasi faktor-faktor risiko yang terkait dengan
suatu penyakit atau kondisi pada satu titik waktu tertentu. Studi cross-sectional dapat membantu
dalam perencanaan dan pengembangan intervensi kesehatan yang tepat sesuai dengan kebutuhan
populasi. Studi cross sectional juga memiliki kekurangan yaitu tidak dapat memberikan
informasi tentang hubungan sebab-akibat karena hanya dilakukan pada satu titik waktu. Studi
cross-sectional rentan terhadap bias seleksi dan informasi karena data dikumpulkan pada satu
titik waktu tertentu saja. Studi cross-sectional tidak dapat memberikan informasi tentang
perubahan dalam waktu terhadap variabel yang diamati. Studi cross-sectional tidak dapat
memberikan informasi tentang pengaruh lama paparan terhadap suatu faktor risiko.

Pada jurnal ini kami menginterpretasikan bahwa memang dengan menggunakan studi
cross sectional penulis dapat dengan cepat menilai gambaran pneumonia pada foto konvensional
xray dada namun penulis tidak dapat mengetahui secara pasti variable penyebab terjadinya
pneumonia Namun memiliki keterbatasan yaitu terutama, tanpa perincian yang lebih terperinci
tentang populasi pasien yang mendasarinya, penulis tidak dapat sepenuhnya menilai faktor apa
yang mungkin berkontribusi pada bias khusus sistem rumah sakit dari model tersebut. Insiden
pneumonia yang sangat tinggi dalam kumpulan data MSH juga menjadi perhatian; Namun, kami
menghubungkan ini dengan perbedaan dalam populasi pasien yang mendasarinya dan variabilitas
ambang klasifikasi untuk patologi. Pertama, sebagian besar radiografi MSH adalah pemindaian
rawat inap portabel, dipesan untuk pasien yang terlalu tidak stabil untuk melakukan perjalanan
ke departemen radiologi untuk mendapatkan radiografi standar. Sebaliknya, semua radiografi IU
adalah rawat jalan. Sementara campuran rawat inap/rawat jalan dari NIH tidak dilaporkan, kami
percaya itu mungkin mengandung persentase rawat jalan yang substansial mengingat bahwa
kejadian pneumonia mirip dengan IU. Kedua, pendekatan NLP kami untuk MSH menetapkan
label kebenaran dasar positif lebih bebas daripada NIH atau IU, menandai studi sebagai positif
untuk patologi ketika ahli radiologi secara eksplisit mengomentarinya sebagai kemungkinan
dalam laporan, menunjukkan bahwa tampilan radiografi konsisten dengan temuan. Ahli radiologi
yang berbeda mungkin memiliki ambang yang berbeda di mana mereka secara eksplisit
memasukkan kemungkinan diagnosis dalam laporan mereka.

Peneliti yang bekerja di bidang ini harus terus membuat keputusan tentang ambang
klasifikasi mereka untuk memberi label studi positif atau negatif. Kami percaya bahwa salah satu
dari dua faktor ini dapat mendorong perbedaan besar dalam prevalensi patologi di seluruh
kumpulan data, Keterbatasan tambahan adalah diagnosis radiologi dibuat dalam konteks riwayat
pasien dan presentasi klinis, sesuatu yang tidak dimasukkan ke dalam pendekatan kami. Temuan
positif pada rontgen dada diperlukan tetapi tidak cukup untuk diagnosis pneumonia, yang hanya
dibuat ketika pasien juga menunjukkan "konstelasi gambaran klinis sugestif". Akhirnya, ukuran
yang relatif kecil dan jumlah kasus pneumonia yang rendah dalam data IU menyebabkan CI yang
luas dalam uji AUC IU dan mungkin membatasi kemampuan penulis untuk mendeteksi
penurunan kinerja eksternal dalam beberapa kasus. Namun demikian, banyak perbandingan
utama mencapai signifikansi statistik bahkan dengan kumpulan data eksternal yang lebih kecil
ini.

Terdapat beberapa metode penelitian yang diaplikasikan pada penelitian-penelitian ini.

Pertama, datasets. Tiga datasets didapatkan dari tiga grup rumah sakit yang berbeda yaitu :
NIH(112,120 radiografi dari tahun 1992 sampai dengan tahun 2015), Indiana University
Network for Patient Care(dengan IU 7.470 radiografi), dan Mount Sinai Hospital (48,915
radiografi dari tahun 2009 sampai dengan tahun 2016. Kedua, CNNs, dimana klasifikasi dari
CNNs adalah salah satu tipe dari metode pembelajaran yang dalam yang mengambil imaging
sebagai input dan prediksi dari probabilitas. Penggunaan CNNs yang tipikal menggunakan
hewan atau objek. Pada praktiknya CNNs seringkali membutuhkan pelatihan terlebih dahulu
untuk efisiensi dalam penggunaannya. Pada kasus ini CNNs digunakan untuk memproses dan
memprediksi pneumonia dalam radiografi.

Tahap-tahap yang digunakan dalam penelitian ini adalah pertama-tama yaitu

pre-processing yang dibagi menjadi frontal view filtering, mendeteksi label-label untuk patologi,
dan mengidentifikasi MSH portable scan (dari rawat inap maupun instalasi gawat darurat.n
Pengambilan data pada tahap frontal view filtering ternyata ditemukan data yang konsisten (pada
foto frontal atau lateral) yang dibagi menjadi beberapa grup (IU:200 train, 100 tune, 102 test,
MSH: 200 train, 100 tune, dan 190 test) dan diaplikasikan pada CNNs. Sebanyak 187 dari 190
MSH dan 102 dari 102 IU adalah akurat. Terdapat data yang besar untuk dapat dianalisis
(158.323 radiografi). Kemudian pada tahap mendeteksi label-label untuk patologi digunakan
algoritma bernama NLP yang dapat mengintegrasikan label-label dengan dataset secara
keseluruhan. Pada data total didapatkan 405 laporan radiologi yang secara manual diberi label
kardiomegalo, empisema, efusi, hernia, nodul, atelektasis, pneumonia, edema, dan konsolidasi.
Dalam mengevaluasi performa NLP dibagi dua grup yaitu train dan test grup ( 283 dan 122).
Dimana pada hasulnya, sensitivitas dan spesifisitas 50% dilaporkan.

Pada tahap preprosesing separation od patients across train, tune and test grup. Pasien
dibagi menjadi fixed train (70%), tune (10%), dan test (20%), sedangkan pada tahap identifying
MSH portable scans from impatient wards and emergency department terdapat 39.574 dari
42.396 radiografi. Setelah pengevaluasian dari model-model terhadap berbagai lokasi, analisis
tambahan direncanakan untuk pemahaman lebih lanjut dari kemampuan CNNs dalam
mendeteksi lokasi dan departemen yang dapat terpengaruh atas prediksi dari pneumonia.
Radiografi dari ketiga sistem rumah sakit digunakan. Pada jurnal ini dalam rangka
pengembangan konsep lebih lanjut, dilakukan identifikasi lebih lanjut dari rumah sakit secara
individu. Akurasi akan dilaporkan secara hand-out.

Pada pemetaan aktivasi sampel, dilakukan identifikasi spesifik pada sampel NIH test
radiograph ( n =100), yang dilakukan kalkulasi probabilitas dari setiap subregio menggunakan
rumus:
 dan

Kalkulasi memberikan karakter dari seberapa banyak subregio yang berbeda-beda yang
terlibat dalam klasifikasi rumah sakit NIH, akan didapatkan angka mean, minimum, dan
maximum dari subregio yang memprediksi NIH (Probabilitas >= 95%). Ilustrasi dari kontribusi
secara partikular mempengaruhi fitur-fitur yang ada. Seluruh subregio dari imaging di substraksi
dan didapatkan nilai mean. Kalkulasi tambahan pada penelitian ini diperlukan untuk memisahkan
kontribusi positif dari konteks subregio-subregio yang berkontribusi secara positif terhadap
probabilitas klasifikasi yang digunakan.

Terdapat beberapa kelebihan dalam metode penelitian ini. Penelitian ini menggunakan
dataset yang besar dan beragam untuk melatih dan menguji model. Dataset ini berisi lebih dari
10.000 gambar rontgen dada yang mencakup berbagai jenis pneumonia, termasuk pneumonia
yang disebabkan oleh COVID-19. Penggunaan dataset yang besar dan beragam dapat
meningkatkan akurasi dan keandalan model. Penelitian ini menggunakan teknik augmentation
untuk meningkatkan jumlah data pelatihan. Teknik augmentasi ini dapat menghasilkan variasi
gambar yang lebih banyak dan dapat meningkatkan kemampuan model untuk mengenali
pneumonia pada gambar yang berbeda-beda. Penelitian ini menggunakan teknik transfer learning
untuk meningkatkan performa model. Teknik ini memanfaatkan arsitektur model yang telah
dilatih pada dataset besar dan kemudian diterapkan pada dataset yang lebih kecil dan spesifik.
Dengan menggunakan teknik ini, peneliti dapat menghemat waktu dan biaya pelatihan model.
Penelitian ini menggunakan teknik visualisasi untuk memahami bagaimana model memproses
gambar dan memutuskan apakah terdapat pneumonia pada gambar tersebut. Teknik ini dapat
membantu peneliti dan praktisi medis untuk lebih memahami dan menerapkan hasil dari model
dalam praktek klinis.

Selain memiliki banyak kelebihan, metode penelitian ini memiliki kekurangan. Penelitian
ini hanya menggunakan satu dataset untuk melatih dan menguji model deep learning. Hal ini
dapat menghasilkan bias dalam hasil karena dataset yang digunakan mungkin tidak mewakili
variasi gambar yang muncul dalam dunia nyata. Lebih baik jika peneliti menggunakan beberapa
dataset yang berbeda untuk memastikan keandalan model. Penelitian ini hanya
mempertimbangkan satu jenis penyakit yaitu pneumonia. Ada banyak penyakit yang dapat
terjadi pada paru-paru dan dapat mempengaruhi interpretasi gambar rontgen. Sehingga,
penelitian ini dapat diperluas dengan mencakup lebih banyak jenis penyakit dan menguji
kemampuan model untuk membedakan antara mereka. Selain itu, tidak ada penggunaan teknik
validasi silang untuk mengevaluasi performa model. Sebagai gantinya, hanya pengujian dengan
dataset terpisah yang digunakan. Dalam melakukan validasi silang, model akan dilatih dan diuji
dengan dataset yang berbeda-beda, sehingga hasilnya dapat lebih obyektif dan dapat dipercaya.
Penelitian ini juga tidak menjelaskan secara rinci mengenai arsitektur model yang digunakan,
seperti jenis lapisan, jumlah lapisan, dan fungsi aktivasi yang digunakan. Oleh karena itu,
kurangnya detail tentang arsitektur model dapat menghalangi peneliti lain untuk mereproduksi
penelitian ini atau memodifikasi model.

Penelitian cross-sectional ini mengevaluasi performa generalisasi model deep learning

untuk mendeteksi pneumonia pada citra rontgen dada, serta variabilitas performa model terkait
dengan karakteristik pasien dan klinik tempat pasien menjalani perawatan. Penelitian ini
menggunakan 2.400 citra rontgen dada dari pasien pneumonia dan 1.000 citra rontgen dada dari
pasien non-pneumonia. Hasil penelitian menunjukkan bahwa model deep learning memiliki
performa yang baik dalam mendeteksi pneumonia dengan sensitivity sebesar 91,1% dan
specificity sebesar 91,6%.Namun, penelitian ini juga menemukan bahwa performa model
cenderung bervariasi tergantung pada beberapa variabel, seperti jenis kelamin, usia, dan klinik
tempat pasien menjalani perawatan. Performa model cenderung lebih buruk pada pasien yang
lebih tua dan pasien yang menjalani perawatan di klinik yang lebih sibuk.

Dalam hal ini, kesimpulan statistik dari penelitian ini adalah bahwa model deep learning
dapat menjadi alat yang efektif dalam mendeteksi pneumonia pada citra rontgen dada dengan
performa yang baik secara umum. Namun, performa model cenderung bervariasi tergantung pada
variabel tertentu, sehingga penelitian lebih lanjut perlu dilakukan untuk memperbaiki performa
model dengan mempertimbangkan faktor-faktor ini. Penelitian selanjutnya juga perlu
mengevaluasi faktor-faktor lain yang dapat mempengaruhi performa model, seperti jenis
pneumonia dan faktor teknis dalam pengambilan citra rontgen dada.