Artificial Intelligence untuk

Deteksi Covid-19 Berdasarkan

CT-scan dan X-ray
Bambang Riyanto Trilakskono
Guru Besar Sekolah Teknik Elektro dan Informatika, ITB
Center for Artificial Intelligence, ITB
Ketua Sub-Taskforce Informatika dan AI untuk Deteksi Covid-19, TFRIC-19, Ristek/BPPT
Agenda
• Pendahuluan
• Peran AI untuk Medical Imaging
• Convolutional Neural Networks
• Machine Learning untuk Deteksi Covid-19
• Deep Learning untuk Deteksi Covid-19
Mengapa CT-scan/X-ray
• Sensitivitas chest CT utk mendiagnosis Covid-19 dilaporkan tinggi dan
dapat mendahului uji lab virus. Oleh karena itu pd wilayah endemik
dimana rumah sakit hrs menerima banyak pasien, CT-scan pasien
perlu diambil
• Berdasarkan citra CT-scan dpt dilakukan evaluasi seberapa parah virus
telah menyerang paru-paru
• Banyak wilayah yg memiliki kelangkaan tenaga medis
• False negative dan false positive pd rapid test dan PCR test
Pemeriksaan Radiologis
AI Assisted Screening
System for Covid-19
AI in Radiology Workflow
Block Diagram
AI utk Deteksi Covid
Multi-time point tracking of patient disease progression
Neuron
Model
Deep Neural
Networks
Convolutional Neural Networks

Convolutional networks + FC networks

Mengklasifikasi image

Ekstraksi fitur secara otomatis

Forward Computation & Backpropagation

Convolutional Neural Networks
Convolutional Neural Networks
CNN &
Feature Maps
Deep CNN in ILSVRC
AI untuk Deteksi Covid (BPPT)
 SISTEM AI UNTUK DETEKSI COVID-19
• Pencitraan Medis CT Scan dan X-Ray untuk Penegakan
Diagnosis Covid-19 menggunakan Artificial Intelligence
• Machine learning
• Deep learning
• Platform Data Mining
• Decision Support System
• Sistem pendukung keputusan dlm upaya membantu radiolog
dan dokter menegakkan diagnosis Covid-19
• Membantu radiolog & dokter mempercepat proses diagnosis
Covid-19
• Bersifat komplemen thd deteksi berbasis PCR & rapid test
(a) Antarmuka pengguna Sistem
Pencitraan Medis berbasis AI
untuk deteksi Covid-19
(b) Hasil klasifikasi citra x-ray
(b) (c)
(a) dengan deep learning
(c) Hasil segmentasi citra ct-scan
dengan machine learning

M E M E R L U K A N D ATA C T S C A N D A N X - R AY D A R I K E M E N K E S
 AI UNTUK DETEKSI COVID-19

Kategori tampakan
radiologis

Selanjutnya
deteksi Covid-19

Citra x-ray/ct-scan
Deep Learning dg Convolutional Neural Networks

• Model Machine Learning & Deep Learning sementara ini

dibangun dari dataset CT-scan & X-ray dari pasien Covid-19
luar negeri
• Dataset CT-scan dan X-ray dari dataset dalam negeri sedang
dikumpulkan, tetapi masih menghadapi kendala/tantangan
• Tidak semua rumah sakit memiliki mesin ct-scan & x-ray
• Kode etik kedokteran (medical clearance)
Machine Learning : citra ct-scan awal (kiri), citra hasil anotasi area • Data pasien anonymous dan perlu dijaga
GGO/ consolidation (kanan), dan hasil deteksi Covid-19/ No Finding
kerahasiaannya
Deteksi Covid-19 dg Machine
Learning dr CT-Scan
Langkah-langkah Machine Learning
 CT-scan Dataset

Nama Kategori Jumlah data Tipe file dan ukuran citra

Dataset
IEEE [1] Covid 15 citra JPEG dan JPG, ukuran dari 508x343 sampai
dengan 2024x1523, ukuran file 88KB - 829
KB
No- 1 citra JPEG ukuran 1657x1530, ukuran file 539 KB
Finding
Cornell No- 17 citra PNG ukuran 512x512, ukuran file 152 KB -
[2] Finding 171 kb
Italy [3] Covid 85 citra NII dirubah ke TIF ukuran 512x512, ukuran
file 196 KB - 259 KB

1. https://github.com/ieee8023/covid-chestxray-dataset (terakhir diakses 21 April 2020)

2. http://www.via.cornell.edu/visionx/simba (terakhir diakses 21 April 2020)
3. http://medicalsegmentation.com/covid19/ (terakhir diakses 21 April 2020)
Fitur Lapang Paru dr CT-Scan
• Rasio Luas area GGO (Ground Glass
Opacity) terhadap luas lapang paru
• Jumlah area GGO
Hasil segmentasi lapang paru
• Posisi GGO di perifer
• Posisi GGO di central
• Rasio Luas area konsolidasi terhadap luas
lapang paru
• Jumlah area konsolidasi
• Posisi konsolidasi di perifer
• Posisi konsolidasi di central

Anotasi GGO (kuning) & Konsolidasi (merah)

CT-Scan Pasien Covid Itay. Warna kuning dan
merah hasil segmentasi image processing di tim
machine learning
 Hasil Klasifikasi ML

Metode klasifikasi True False True False

Positive Negative Negative Positive
1-Nearest Neighbor 98 0 18 1
Naïve Bayes 98 0 19 0
Artificial Neural 97 2 18 1
Network
Support Vector 3 96 18 1
Machine (SVM)
Img Output

CT Scan Model Findings

Deteksi Covid-19 dg Deep
Learning dr Citra X-ray
Hirarki Model
DL Model - DenseNet 121 Architecture

[1] https://arxiv.org/pdf/1608.06993.pdf
Nama Dataset Kategori Label Jumlah Data Tipe File dan Ukuran Citra

NIH Chest Xray-8 [1] Atelectasis, Cardiomegaly, 112,120 8 Bit PNG and DCM, 1024 x 1024.
Effusion, Infiltration, Mass, Pneumonia:
Nodule, Pneumonia, 1062 ~ 1MB / file Dataset
Pneumothorax,
Consolidation, Edema,
Emphysema, Fibrosis,
Pleural_Thickening, Hernia

CheXPert [2] No Finding, Fracture, 224,316 Data 8 Bit JPEG, 224 x 224.
Support Devices, Lung
Opacity, Edema, Lung Opacity: X Ray Only.
Vonsolidation, Pneumonia, 92,669
Lesion, Atelectasis, ~ 500 KB / file
Cardiomegaly, Pleural Pneumonia:
Effusion, Pnemothorax 4,576
Sumber :
IEEE [3] Covid, SARS, E. COli, 248 Data 8 Bit JPEG, ukuran variatif (karena 1. https://www.nih.gov/news-events/news-releases/nih-
Clamidophyla, 146 Data CXR diambil dari berbagai sumber). clinical-center-provides-one-largest-publicly-available-chest-x-
Pneumoystis, ray-datasets-scientific-community
Streptococcus, Legionella, Tercampur CT Scan dan Xray. 2. https://stanfordmlgroup.github.io/competitions/chexpert/
Kleibsella, ARDS 3. https://github.com/ieee8023/covid-chestxray-dataset
~ 500 KB / file 4. https://www.kaggle.com/c/rsna-pneumonia-detection-
RSNA Pneumonia [4] Pneumonia, (x,y,w,h) 26,684 Data DICOM, 1024 x 1024 challenge

~1MB / file
Model
Clara Chest Xray - Pretrained NIH Clara Chest Xray - Raw Torch X-Ray

Label NIH AUC Label NIH AUC

Atelectasis 0.771651 Atelectasis 0.519491082

Cardiomegaly 0.924679 Cardiomegaly 0.519095104
Consolidation 0.714735 Consolidation 0.4647
Edema 0.834578 AUC Edema 0.5697
Effusion 0.847063 Label NIH Effusion 0.5580
PLCO Data NIH Data
Emphysema 0.839101 Emphysema 0.5490
Nodule 0.589078
Fibrosis 0.776848 Fibrosis 0.5148
Hernia 0.891966 Mass 0.696958 Hernia 0.4597
Avg. AUC
Infiltration 0.604304 Atelectasis 0.797 0.632436 Infiltration 0.6119
Mass 0.80675 0.585283 Mass 0.5442
Infiltrate
Nodule 0.723674 Nodule 0.5008
Pleural_Thickening 0.724605 Pleural_Thickening 0.5073
Pneumonia 0.68763 Pneumonia 0.5003
Pneumothorax 0.84886 Pneumothorax 0.5205
Average_AUC 0.78546 Average_AUC 0.5242
1 - Login 2 - Upload

3 - Results 4 - Feedback
Torch X-Ray Model
Untuk berikutnya akan digunakan Model Clara X-Ray Pretrained NIH yang
lebih baik hasilnya.
Covid X-Ray Model
Deep Learning Platform
 Mengumpulkan dataset dari dalam
negeri, berkoordinasi dg Zi.care dan RS-
online

Melakukan anotasi oleh radiolog pada

Pengembangan platform data-mining

Lebih Lanjut
Mengembangkan model AI dengan
machine learning dan deep learning dari
dataset luar negeri dan dalam negeri

Menyempurnakan Decision Support

System
Teknologi AI untuk Deteksi Covid-19 berdasarkan citra
CT-scan dan X-ray ini merupakan upaya dan hasil
bersama peneliti/inventor/radiolog/dokter di Tim Sub-
Taskforce Riset dan Inovasi Informatika dan Artificial
Intelligence untuk Deteksi Covid, TFRIC19, yg
dikoordinasikan oleh Ristek/BPPT

Kredit & Apresiasi

Terimakasih