Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

com

Neurocomputing 456 (2021) 575–585

Daftar isi tersedia di SainsLangsung

Neurocomputing

beranda jurnal: www.elsevier.com/locate/neucom

Arsitektur mendalam untuk segmentasi sinus frontal dalam gambar

sinar-X: Menuju sistem identifikasi forensik otomatis dalam radiografi
komparatif
scar Gómez A,B,C,⇑, Pablo Mesejo A,B,C, scar Ibáñez B,C, scar Cordón A,B
A Dept. Ilmu Komputer dan Kecerdasan Buatan, Universitas Granada, SpanyolB Institut
Penelitian Andalusia DaSCI, Universitas Granada, SpanyolC Penelitian Koperasi
Panacea S. Coop, Ponferrada, Spanyol

info artikel abstrak

Sejarah artikel: Radiografi komparatif (CR) adalah teknik antropologi forensik di mana bahan radiografi ante-mortem (AM) dan post-
Diterima 8 April 2020 Direvisi 15 mortem (PM) (misalnya, gambar sinar-X atau CT) dibandingkan untuk menentukan identitas manusia. baik dengan
Juli 2020 Diterima 11 Oktober
memberikan identifikasi positif atau dengan mengurangi jumlah calon). Salah satu struktur anatomi yang paling
2020 Tersedia online 18 Juni
umum digunakan di CR adalah sinus frontal, yang digunakan dalam tugas identifikasi forensik manusia karena
2021
singularitas dan kekuatan identifikasi yang tinggi. Untuk mengotomatisasi perbandingan sinus frontal pada material
AM dan PM, kita perlu melakukan segmentasi dan registrasinya. Namun, tugas-tugas ini memakan waktu, subjektif,
Kata kunci:
dan kompleks. Makalah ini menyajikan sistem identifikasi berbasis CR pertama untuk perbandingan sinus frontal
Jaringan saraf convolutional
dan mendukung keputusan ahli forensik. Sistem yang diusulkan terdiri dari dua blok bangunan. Pertama, metode
Segmentasi dan registrasi gambar
biomedis segmentasi sinus frontal pada citra sinar-X menggunakan jaringan saraf konvolusi dalam. Arsitektur konvolusi yang
Identifikasi manusia forensik berbeda dibandingkan dalam memecahkan masalah segmentasi, memperoleh Koefisien Kesamaan Dadu rata-rata
Radiografi komparatif Sinus dari sinus frontal sebesar 0,823 pada dataset yang terdiri dari 234 radiografi tengkorak. Kedua, metode IR 2D-3D
frontal berbasis evolusioner, yang mencari keselarasan terbaik dari gambar AM dan PM tersegmentasi menggunakan
Algoritma evolusioner kode nyata algoritma evolusioner kode nyata. Sistem yang diusulkan dievaluasi pada skenario identifikasi multi-perbandingan
nyata termasuk 10 gambar sinar-X dan 10 CT, di mana pendekatan segmentasi manual dan otomatis dibandingkan.
Hasil global menunjukkan bahwa sistem yang diusulkan mampu menyaring 50% sampel.

- 2021 Elsevier BV Semua hak dilindungi undang-undang.

1. Perkenalan
Ilmu Forensik adalah seperangkat disiplin ilmu yang objek umumnya
adalah materialisasi bukti untuk tujuan hukum melalui metodologi ilmiah.
Identifikasi manusia, seringkali tugas utama yang harus dihadapi ilmu
forensik, sangat penting dalam banyak konteks yang sangat penting dalam
masyarakat kita: dari kontrol perbatasan atau analisis kejahatan hingga
memberikan solusi bagi keluarga yang berduka dalam kasus orang hilang.
Metode yang paling umum digunakan untuk identifikasi manusia adalah tes
DNA dan perbandingan sidik jari.
⇑ Penulis yang sesuai di: Dept. Ilmu Komputer dan Kecerdasan Buatan, Universitas
Granada, Spanyol.
Alamat email: ogomez@decsai.ugr.es (Ó. Gomez), pmesejo@decsai.ugr.es
(P.Mesejo), oscar.ibanez@panacea-coop.com (Ó. Ibáñez), ocordon@decsai.ugr.es(Ó.
Cordon).
sistem ison (AFIS), sebagian besar karena akurasinya yang tinggi (lebih dari 99%).
Metode ini mahal (biaya AFIS dapat mencapai jutaan dolar1 tergantung pada
lembaga yang berpartisipasi dan kompleksitas keseluruhan sistem [1]) dan
memakan waktu (beberapa hari untuk tes DNA dari tulang). Namun, kelemahan
utama mereka adalah penerapannya yang terbatas: keduanya memerlukan
catatan sebelumnya, dasar yang dapat dipercaya, dan bahan yang diawetkan
untuk ekstraksi DNA atau perbandingan sidik jari. Oleh karena itu, mereka tidak
cocok dalam kasus di mana catatan seperti itu tidak ada atau dalam skenario
dengan tubuh yang tidak terawetkan dengan baik (misalnya, individu dengan
kerangka atau terbakar, skenario identifikasi korban bencana, kuburan massal,
dll). Dalam hal ini, metode berdasarkan Antropologi Forensik (FA) adalah alternatif
utama yang kami miliki. FA menggunakan
1 Ini adalah biaya sistem yang lengkap dan bukan biaya verifikasi identitas satu orang;
jumlah yang sangat tinggi dibandingkan dengan pendekatan lain, seperti yang saat ini
berbasis antropologi forensik (skeleton-id.com).

https://doi.org/10.1016/j.neucom.2020.10.1160925-2312/-
2021 Elsevier BV Hak cipta dilindungi undang-undang.
HAI. Gomez, P. Mesejo, . Ibanez dkk.
Gambar 1. Atas: Sinus frontal (berwarna biru muda) adalah salah satu struktur kerangka yang paling relevan untuk identifikasi berbasis CR. Gambar diambil dari[20]. Bawah: Contoh
radiografi tengkorak di sebelah kiri, dan segmentasi kebenaran dasarnya di sebelah kanan (merah untuk sinus frontal dan biru untuk daerah oklusi).
pengetahuan dan teknik yang terkait dengan studi kerangka untuk
penerapannya pada masalah mediko-legal, dan mencakup teknik
identifikasi seperti radiografi komparatif.
Radiografi komparatif (CR) [2] adalah teknik identifikasi forensik
berdasarkan perbandingan struktur kerangka pada radiografi
antemortem (AM) dan post-mortem (PM). CR memerlukan catatan
gambaran klinis sebelumnya yang tidak selalu tersedia, tetapi jika ada,
teknik ini sangat akurat, mencapai keandalan >99% untuk tulang
tertentu. Sejak penemuan sinar-X oleh Roentgen pada tahun 1895
[3], ahli forensik telah menggunakan gambar radiografi sebagai bukti
dalam usaha mereka (misalnya perkiraan usia) [4] atau identifikasi
forensik [5]). Selama dekade pertama abad kedua puluh, penggunaan
sinar-X sebagai metode identifikasi positif secara bertahap
dikonsolidasikan dalam literatur ilmiah. Pada tahun 1921, Schuller
mengusulkan individualitas sinus frontal, terlihat pada sinar-X[6].
Akibatnya, pada tahun 1927, Culbert dan Law memperluas karakteristik
individual dari tengkorak[7] dan pada pertengahan 1940-an
penggunaan gambar sinar-X diperluas ke kerangka postkranial untuk
mencari fitur unik untuk identifikasi [8]. Kemudian, pada tahun 1949,
teknik CR memainkan peran penting dalam identifikasi orang-orang
yang terlibat dalam bencana kapal Noronic, membuktikan pentingnya
mereka untuk identifikasi dan, kemudian, dimasukkan dalam banyak
protokol identifikasi bencana massal.[9]. Saat ini, CR masih digunakan
dalam banyak skenario identifikasi forensik. Misalnya, Laboratorium FA
Universitas Negeri Michigan melakukan 193 identifikasi forensik
manusia menggunakan CR antara tahun 2002 dan 2015[10].
Beberapa tulang dan rongga telah dilaporkan berguna untuk seleksi
kandidat atau identifikasi positif berdasarkan individualitas dan keunikannya
[11]. Secara khusus, sinus frontal (lihatGambar 1) secara luas diakui sebagai
metode identifikasi yang berguna dan andal [12]. Bersama dengan gigi,
mereka adalah salah satu dari sedikit struktur rangka untuk CR yang
memenuhi kriteria Daubert.2 Sinus frontalis adalah
576
Neurocomputing 456 (2021) 575–585
hanya absen di 4% populasi dan tetap tidak berubah hampir sepanjang
hidup [14]. Meskipun, jarang, beberapa faktor eksternal seperti trauma
dapat sedikit mengubah morfologinya, sinus frontal dianggap sebagai sidik
jari kerangka. Pemanfaatannya untuk identifikasi berbasis CR pertama kali
dilaporkan pada tahun 1926 dengan membandingkan morfologinya pada
radiografi AM dan PM[7]. Saat ini, identifikasi CR berdasarkan pola sinus
frontal diterima secara luas oleh komunitas forensik, dan banyak karya telah
melaporkan kegunaannya melalui perbandingan gambar untuk
membangun identifikasi positif.[15–17].
Meskipun validitasnya terbukti untuk tujuan identifikasi,
pendekatan otomatis dan objektif masih dalam tahap awal di bidang
ini. Sebagian besar proposal yang ada bergantung pada keterampilan
dan pengalaman ahli, dan mengikuti pendekatan yang rawan
kesalahan, memakan waktu, dan subjektif yang membutuhkan akuisisi
sinar-X PM dalam kondisi yang sama dengan AM, dan penggambaran
tulang secara manual di AM dan PM radiografi. Akibatnya, tujuan
umum dari makalah ini adalah untuk berkontribusi pada
pengembangan sistem identifikasi CR otomatis baru, beralih dari
metode pengamatan saat ini ke metode yang objektif, cepat, kuat, dan
dapat direproduksi. Otomatisasi prosedur identifikasi forensik berbasis
CR dapat dibagi menjadi tiga tahap berturut-turut, terkait dengan
berbagai tugas yang dilakukan secara manual oleh praktisi forensik
dalam praktik sehari-hari mereka:
1. Segmentasi struktur rangka. Partisi gambar sinar-X atau CT menjadi
daerah yang tidak tumpang tindih (yaitu kumpulan piksel) yang
memiliki makna semantik yang berbeda (mis.
2 Kriteria Daubert [13] menentukan apakah bukti dapat diterima di pengadilan. Metode
identifikasi memenuhi kriteria Daubert ketika: (1) dapat diuji dan ditinjau oleh rekan
sejawat; (2) ia memiliki tingkat kesalahan potensial yang diketahui; dan (3) diterima oleh
komunitas forensik.
HAI. Gomez, P. Mesejo, . Ibanez dkk.
houette sinus frontal di tengkorak dalam radiografi).
2. AM-PM Tumpang Tindih. Tujuannya adalah untuk memproyeksikan gambar 3D
PM untuk menghasilkan radiografi 2D yang mensimulasikan cakupan dan
proyeksi masing-masing radiografi AM. Ini menyiratkan pendaftaran (yaitu
penyelarasan atau superimposisi) dari struktur tersegmentasi dalam bahan
AM dan PM.
3. Pengambilan Keputusan. Berdasarkan superimposisi yang dicapai
pada tahap sebelumnya, identifikasi dilakukan dengan
membandingkan konsistensi dan inkonsistensi morfologi tulang
atau rongga, bersama dengan elemen lain seperti kualitas
radiografi AM, visibilitas tulang atau rongga, dll. Yang penting, kami
bertujuan untuk mendukung keputusan identifikasi akhir yang akan
selalu dibuat oleh antropolog forensik.
Segmentasi sinus frontal pada radiografi sangat kompleks karena
ada banyak struktur anatomi yang tumpang tindih dan ketika
diproyeksikan, menyebabkan batas-batas sinus frontal tidak terlihat
jelas. Selain itu, batas bawah sinus frontalis dihubungkan oleh udara
dengan rongga lain, sehingga semakin sulit untuk dipisahkan dari
daerah anatomi lainnya. Karena itu, kami mengusulkan untuk
memasukkan wilayah oklusi (lihatGambar 1): wilayah di mana struktur
kerangka tersumbat atau tidak terdefinisi dengan jelas (misalnya,
karena batas-batas yang kabur). Wilayah oklusi ini tidak akan
diperhitungkan saat menghitung hamparan AM-PM. Dalam skenario
ini, delimitasi yang akurat dari kedua daerah (sinus frontal itu sendiri
dan daerah oklusi) diperlukan dan menantang. Pada gilirannya,
otomatisasi proses pendaftaran juga rumit dan mahal secara
komputasi. Ini karena beberapa alasan, seperti pengaturan radiografi
AM yang tidak diketahui dan multimodalitas yang tinggi dari ruang
pencarian yang dikonfigurasi oleh kerangka pendaftaran, antara lain.
Juga, intensitas gambar tidak dapat diandalkan, karena tingkat
intensitas yang digambarkan dapat berubah antara radiografi AM dan
CT PM, karena kepadatan tulang berubah seiring waktu karena faktor-
faktor seperti penuaan.
[18], interval [19]. Selain itu, representasinya dalam gambar sensitif
terhadap perangkat akuisisi, dan beberapa radiografi lama menunjukkan
kualitas rendah sementara pemindaian permukaan 3D tulang "bersih" tidak
memiliki informasi intensitas.
Dalam makalah ini, kami merancang dan memvalidasi sistem pendukung
identifikasi forensik otomatis pertama menggunakan radiografi komparatif.
Sistem ini mampu mengurangi jumlah kandidat AM untuk sisa kerangka PM
yang diberikan (yaitu daftar pendek), menghemat waktu identifikasi dan
oleh karena itu berkontribusi untuk memecahkan lebih banyak kasus.
Dengan cara ini, pada kumpulan kandidat yang dikurangi ini, ahli forensik
dapat menggunakan teknik identifikasi pelengkap lainnya (misalnya, DNA)
atau membuat analisis yang lebih rinci dari sisa-sisa kerangka. Untuk
memenuhi tujuan ini, kami menggabungkan fase segmentasi dan fase
registrasi, berkontribusi dengan pekerjaan ini dalam dua cara:
1. Ini adalah karya pertama di mana sinus frontal secara otomatis
tersegmentasi pada gambar sinar-X menggunakan jaringan saraf
convolutional (ConvNets).
2. Pendekatan segmentasi sinus frontal ini memungkinkan pengenalan
sistem identifikasi forensik otomatis berbasis CR pertama, yang
kami sajikan dalam makalah ini. Kami membandingkan kinerja yang
diperoleh dengan segmentasi otomatis dan manual.
Makalah ini disusun sebagai berikut. Bagian2 mengulas latar
belakang utama dan state of the art dalam segmentasi dan registrasi
CR. Bagian3 menggambarkan sistem identifikasi forensik berbasis CR.
Bagian4 menyajikan eksperimen dan hasil, diikuti di Bagian 5 oleh
beberapa kesimpulan dan pekerjaan di masa depan.
577
Neurocomputing 456 (2021) 575–585
2. Latar belakang dan karya terkait
Sistem pendukung identifikasi forensik berbasis CR kami didasarkan
pada segmentasi dan registrasi sinus frontal dalam radiografi. Oleh
karena itu, kami memfokuskan subbagian berikut untuk menganalisis
metode segmentasi dan registrasi struktur kerangka yang ada dalam
bahan radiografi.
2.1. Segmentasi struktur kerangka dalam gambar sinar-X
Segmentasi otomatis citra sinar-X telah dipelajari secara ekstensif
sejak tahun 70-an, setidaknya mengenai segmentasi paru-paru, tulang
rusuk, jantung, dan tulang selangka. [21–23]. Sebagian besar karya
berfokus pada segmentasi organ tunggal. Terlepas dari kemajuan
besar yang dibuat dalam segmentasi otomatis organ-organ ini,
keterbatasan masih tetap ada, seperti kebutuhan untuk menggunakan
radiografi sampel bawah atau ketidakteraturan dan ketidaktepatan tepi
yang dihasilkan dari segmentasi, yang mengurangi penerapannya
dalam pengaturan klinis. Metode konvensional bergantung pada
pengetahuan sebelumnya[24] untuk menggambarkan objek anatomi
dari gambar sinar-X, tetapi pendekatan berdasarkan ConvNets dan
telah menunjukkan kinerja yang unggul [25]. Sangat sedikit karya
[26,27] telah diterbitkan, pada akhir 2000-an, untuk segmentasi sinus
frontal dalam radiografi, antara lain, karena tidak ada penyimpanan
umum gambar sinar-X termasuk segmentasi kebenaran dasar sinus
frontal. Karya pertama[26] adalah metode semi-otomatis yang
membutuhkan pemilihan beberapa piksel benih awal dalam sinus
frontal oleh ahli forensik. Dari piksel benih ini, seluruh sinus
tersegmentasi menggunakan metode berbasis grafik yang disebut
transformasi hutan citra diferensial[28]. Metode tersebut, diuji pada
kumpulan data yang terdiri dari 90 radiografi tengkorak, menghitung
hutan jalur minimum dalam grafik yang berasal dari gambar,
membatasi pencarian ke jalur yang berasal dari benih. Sementara itu,
[27] didasarkan pada metode segmentasi berbasis aturan ad hoc.
Metode ini terdiri dari tiga tahap berturut-turut: deteksi wilayah yang
diinginkan, deteksi batas bawah sinus frontal, dan deteksi batas atas
sinus frontal. Ini mengotomatiskan tahapan ini menggunakan
pengetahuan sebelumnya tentang anatomi sinus frontal, konektivitas,
menjaga ambang batas, dan daerah aliran sungai. Metode ini diuji
pada 50 radiografi tengkorak tetapi hasilnya hanya dianalisis secara
kualitatif.
Mengenai FA, sebagian besar pendekatan berdasarkan perbandingan
morfologi struktur kerangka AM dan PM menggunakan teknik morfometrik
geometris (seperti analisis Fourier elips [29]). Secara khusus, ini telah
digunakan untuk membandingkan radiografi sinus frontal[30], kubah
tengkorak [31], dan gigi [32,33]. Namun, semua metode ini, sebagaimana
dinyatakan dalam Bagian1, memerlukan segmentasi manual dari struktur
kerangka pada radiografi AM dan PM, yang merupakan prosedur subjektif,
rawan kesalahan, dan memakan waktu. Untuk mengotomatisasi segmentasi
struktur anatomi dan rongga, dalam karya sebelumnya[34], kami
mengusulkan arsitektur ConvNet, yang disebut X-Net, yang menjadi canggih
dalam segmentasi paru-paru, jantung, dan klavikula dalam gambar sinar-X.
X-Net mengintegrasikan beberapa teknik yang jarang digunakan oleh
algoritma segmentasi radiografi, seperti normalisasi instan[35] dan
konvolusi atrous (yaitu konvolusi yang melebar) [36]. Kami mempelajari
kontribusi setiap perubahan struktural yang menunjukkan bahwa semuanya
bermanfaat secara independen, tetapi, seperti yang diharapkan,
peningkatan terbaik diperoleh ketika perubahan struktural ini digunakan
bersama.
HAI. Gomez, P. Mesejo, . Ibanez dkk.
2.2. Registrasi struktur kerangka dalam gambar sinar-X dan CT
Perbandingan radiografi AM dan CT PM memerlukan akuisisi radiografi
simulasi PM dari CT yang mencoba mensimulasikan radiografi AM [37],
bukan radiografi nyata. Secara tradisional, radiografi simulasi ini diperoleh
secara manual oleh antropolog forensik melalui proses coba-coba
menggunakan perangkat lunak pencitraan medis generik (seperti otopsi
digital). Setelah itu, radiografi AM dan radiografi simulasi PM dibandingkan
secara visual seperti pada pendekatan radiografi-radiografi. Oleh karena itu,
pendekatan ini memiliki keterbatasan yang sama dari pendekatan
perbandingan radiografi (yaitu waktu yang dibutuhkan dan subjektivitas)
tetapi memungkinkan untuk menghasilkan radiografi PM sebanyak yang
diperlukan tanpa mayat setelah CT scan. Kelemahan lain dari pendekatan ini
adalah biaya pemindai CT yang lebih tinggi dibandingkan perangkat akuisisi
radiografi, karena banyak laboratorium forensik tidak mampu membelinya.
[38].
Pendekatan pendaftaran gambar (IR) 3D-2D otomatis mengurangi
kesalahan yang terkait dengan akuisisi manual radiografi PM nyata
atau simulasi (yaitu waktu yang dibutuhkan, subjektivitas dan
kesalahan yang disebabkan oleh kelelahan ahli forensik). Namun,
hanya ada beberapa pendekatan otomatis untuk perbandingan
radiografi AM dan gambar 3D PM[39–41]. Pendekatan ini didasarkan
pada perolehan gambar 3D dengan pemindai rentang laser 3D dari
struktur kerangka (klavikula di .)[39,40] dan patela di [41]). Dari gambar
3D PM ini, satu set gambar proyeksi 2D yang telah ditentukan
sebelumnya dihasilkan melalui rotasi model 3D. Perhatikan bahwa
proyeksi 2D ini hanya berisi siluet struktur kerangka target. Kumpulan
proyeksi PM ini secara otomatis dibandingkan dengan siluet struktur
kerangka yang tersegmentasi secara manual dalam radiografi AM
menggunakan deskriptor analisis Fourier elips. Namun, metode ini
dibatasi oleh kumpulan proyeksi 2D yang telah ditentukan sebelumnya
dan mengasumsikan nilai parameter yang terkait dengan distorsi
perspektif. Sejauh yang kami tahu, kami adalah yang pertama
menghadirkan sistem identifikasi berbasis CR lengkap yang secara
otomatis menyegmentasikan dan menempatkan gambar AM dan PM.
Baru-baru ini, Gomez et al. [42–44] mengusulkan algoritma IR
evolusioner yang mencari proyeksi perspektif terbaik dari gambar 3D
ke gambar 2D berdasarkan siluet struktur kerangka, tanpa bergantung
pada pose awal yang mendekati yang asli atau mengasumsikan
parameter yang terkait dengan distorsi perspektif. Salah satu metode
ini[43] adalah keadaan seni saat ini dalam pendaftaran sinus frontal di
CR, di mana tugas dirumuskan sebagai masalah IR 2D-3D
menggunakan model transformasi perspektif 9 DoF, dan oleh karena
itu yang digunakan dalam makalah ini.
3. Metodologi
Pada bagian ini kami menyajikan metodologi yang diikuti untuk
mengotomatisasi proses identifikasi forensik di CR. Proses ini terdiri dari tiga
fase (lihatGambar 2.), yang dalam makalah ini kami mengembangkan dua
yang pertama (segmentasi dan registrasi). Kedua tahap dijelaskan dan
disajikan dalam bagian ini. Untuk pengambilan keputusan, dalam tulisan ini,
kami menggunakan kualitas registrasi yang dihasilkan.
3.1. Tahap segmentasi
Arsitektur X-Net (X-Net, RX-Net, X-Net+ dan RX-Net+)3
[34], dan khususnya X-Net+, adalah metode mutakhir untuk
mensegmentasi struktur anatomi (khususnya, klavikula, paru-paru dan
jantung) dalam radiografi dada. X-Net terdiri dari tahap pengkodean,
yang menyediakan representasi dimensi yang dikurangi dari input, dan
tahap decoding, yang memungkinkan untuk memulihkan output
3 X-Net mengambil namanya baik dari yang dirancang untuk segmen gambar sinar-X.
578
Neurocomputing 456 (2021) 575–585
dengan ukuran yang sama dengan input (lihat Gambar 3 untuk rincian lebih
lanjut). X-Net menggunakan lima lapisan konvolusi atrous dengan peningkatan
laju dilatasi 1, 2, 4, 8 dan 16. Laju dilatasi spesifik ini adalah yang paling umum
digunakan dalam literatur terbaru.[45]. Konvolusi atrous adalah konvolusi dengan
filter up-sampel yang memungkinkan untuk memperbesar bidang pandang dan,
oleh karena itu, untuk mempertimbangkan lebih banyak informasi kontekstual.
Penggunaan gabungan dari konvolusi atrous dan normalisasi instans
menghasilkan peningkatan kinerja yang lebih besar daripada ketika digunakan
secara terpisah (dirinci dalam Bagian4). Konvolusi atrous hanya digunakan di
lapisan tengah ConvNet dan tidak di seluruh ConvNet. Selanjutnya, X-Net
memanfaatkan normalisasi instan[35] pada akhir setiap lapisan konvolusi untuk
menambahkan faktor normalisasi, mempercepat pelatihan, meningkatkan
generalisasi, dan mengurangi ketergantungan pada inisialisasi bobot.
Reduced X-Net (RX-Net) terdiri dari penyederhanaan X-Net dengan
tujuan mendapatkan akurasi yang sama tetapi dengan penggunaan memori
dan waktu pelatihan yang jauh lebih rendah. Yang penting, sumber utama
penggunaan memori bukanlah parameter yang dapat dilatih, melainkan
peta fitur. Mengurangi jumlah peta fitur resolusiN - N akan menghasilkan
pengurangan memori yang besar. RX-Net merupakan salah satu alternatif
yang memungkinkan untuk bereksperimen pada gambar dengan resolusi
lebih tinggi daripada yang biasa digunakan. Penyederhanaan yang
dilakukan adalah: (1) penghapusan blok konvolusi pertama dan terakhir dari
X-Net. Perhatikan bahwa lapisan pertama dan terakhir memiliki peta aktivasi
terbesar; dan (2) pengurangan jumlah filter convolutional dari setiap lapisan
convolutional hingga setengahnya (lihatGambar 3). Perubahan ini mengarah
pada pengurangan yang lebih besar dalam penggunaan memori ConvNet
dengan penurunan akurasi yang lebih kecil sehubungan dengan X-Net.
Salah satu tujuan penting dalam segmentasi adalah merancang metode
yang menyiratkan pengambilan sampel gambar sesedikit mungkin, untuk
menghindari kehilangan kualitas dan detail gambar saat pengambilan
sampel hasil. Dalam hal ini, proposal arsitektur kami berikutnya dapat
mengelola gambar hingga 1024 - 1024 dalam satu GPU (lihat subBagian4.1.3
untuk detail teknis) tanpa down-sampling (di luar ConvNet). X-Net akan
membutuhkan terlalu banyak memori atau skenario multi-GPU, karena
hanya dapat bekerja dengan gambar hingga 256 - 256. RX-Net kami dapat
menangani gambar hingga 1024 - 1024, empat kali resolusi biasa, tetapi
mengubah resolusi input menghasilkan perubahan dalam hubungan antara
bidang pandang filter dan peta fitur, yang akan menyebabkan perilaku yang
berbeda dari yang ditunjukkan oleh RX-Net dengan resolusi yang lebih
rendah. Untuk menghindari hal ini, arsitektur baru, yang disebut RX-Net+,
diusulkan. RX-Net+ merupakan langkah inkremental dari RX-Net yang
memelihara semua lapisan (kecuali blok konvolusi terakhir) dengan resolusi
yang sama.
Modifikasi arsitektur ini memungkinkan kami untuk menggunakan bobot
yang dihasilkan dari pelatihan RX-Net dengan 128 - 128 dalam RX-Net+
untuk gambar berukuran 512 - 512 (yang merupakan resolusi kumpulan
data gambar sinar-X kepala kami), secara signifikan mengurangi total waktu
pelatihan. Selain itu, RX-Net+ menambahkan dua lapisan penyatuan di awal
dan dua blok konvolusi akhir yang terhubung ke input dari dua lapisan
penyatuan pertama. Dua lapisan penyatuan pertama dapat diganti dengan
lapisan konvolusi, tetapi hal itu tidak memungkinkan untuk menggunakan
kembali bobot dari RX-Net di RX-Net+. Selanjutnya, melakukan penyatuan
dalam ConvNet memungkinkan seseorang untuk melewatkan informasi
resolusi tinggi ke lapisan akhir ConvNet (lihatGambar 4). Perhatikan bahwa
membandingkan RX-Net dan RX-Net+ untuk gambar berukuran 512 - 512
memungkinkan kita mempelajari pentingnya hubungan antara bidang
pandang filter dan peta fitur. Pendekatan ini juga dapat diterapkan pada X-
Net sehingga memunculkan X-Net+. X-Net+ menggabungkan semua
keunggulan X-Net serta memungkinkan untuk bekerja dengan gambar 1024
- 1024 hanya dalam satu GPU (bahkan jika, dalam pekerjaan ini, resolusi
maksimum dataset gambar X-ray kepala yang digunakan adalah 512 - 512).
Waktu dan akurasi pelatihan untuk X-Net+ dan RX-Net+ masing-masing
ditingkatkan berkat pelatihan X-Net dan RX-Net, kemudian menggunakan
kembali blok pusat umum
HAI. Gomez, P. Mesejo, . Ibanez dkk. Neurocomputing 456 (2021) 575–585

Gambar 2. Skema umum dari sistem CR yang diusulkan. Dibutuhkan sebagai masukan radiografi kepala AM, di mana sinus frontal terlihat, dan gambar 3D PM dari sinus frontal. Setelah
itu, gambar-gambar ini diproses dan ditumpangkan menggunakan dua metode otomatis: (1) jaringan saraf convolutional untuk segmentasi sinus frontal dan daerah oklusi pada
radiografi kepala (lihat Subbagian3.1); dan (2) metode IR evolusioner yang mencari transformasi proyektif terbaik dari gambar 3D sinus frontal sehubungan dengan radiografi
tersegmentasi (lihat Subbagian3.2). Keluaran dari sistem CR ini adalah superimposisi gambar 2D dan 3D.

Gambar 3. Tampilan skema membandingkan X-Net dan RX-Net.

bobot, dan akhirnya menggunakan fine-tuning sederhana. Kami akan merujuk ke
jaringan dalam yang kami usulkan sebagai arsitektur X-Net.
Notasi yang digunakan untuk merujuk ke setiap model
menggunakan protokol pelabelan berikut: <Nama Jaringan>_<Masalah
organ tunggal atau multi(m)>_<Resolusi Input/ Output>. Sebagai
contoh, arsitektur INET_m_256 sesuai dengan INET yang dilatih untuk
memecahkan masalah multi-kelas pada 256 - 256 gambar.
model tion. Pengoptimal yang disebut MVMO-SH (optimasi pemetaan
varians rata-rata)[46] memberikan kinerja terbaik saat meminimalkan
fungsi biaya pendaftaran. Ruang pencarian transformasi perspektif itu
kompleks dan sangat multimodal[42]. Oleh karena itu, metode
optimasi numerik klasik tidak cukup, dan teknik yang lebih canggih
harus dipertimbangkan. Seluruh pendekatan pendaftaran memiliki
lima komponen:

3.2. Tahap pendaftaran

1. model (model permukaan PM 3D rongga sinus) dan gambar
Pada tahap ini, kami memanfaatkan metode yang disajikan dalam pemandangan (radiografi AM, di mana siluet tulang/- rongga
[43], di mana metode IR sinar-X menggunakan algoritma evolusioner tersegmentasi serta daerah oklusi, alias daerah di mana ahli
kode nyata disajikan. Tugas dirumuskan sebagai masalah IR 2D-3D segmentasi tidak dapat membedakan jika ada tulang/rongga atau
menggunakan transformasi perspektif 9 Derajat Kebebasan tidak);

579
HAI. Gomez, P. Mesejo, . Ibanez dkk.
Gambar 4. Tampilan skema X-Net+ dan RX-Net+. Jaringan ini masing-masing merupakan perpanjangan dari X-Net dan RX-Net, memungkinkan kami menangani gambar beresolusi lebih besar hanya dalam satu GPU.
2. transformasi perspektif yang bertanggung jawab untuk menghasilkan
gambar 2D dari objek 3D;
3. pengetahuan ahli tentang masalah (yaitu protokol akuisisi sinar-X
[47]) yang membatasi kisaran parameter transformasi perspektif;
4. metrik kesamaan yang mengukur kemiripan proyeksi 2D dengan
gambar 2D asli (tumpang tindih);
5. sebuah pengoptimal, yang mencari parameter terbaik untuk transformasi
untuk meminimalkan kesalahan metrik kesamaan. Khususnya,
pengoptimal berperforma terbaik, seperti yang telah disebutkan, adalah
MVMO-SH[43,44,48] (Lihat [44] untuk rincian lebih lanjut).
Untuk mengevaluasi konsistensi gambar sinar-X AM dan proyeksi 2D CT
PM, kami menggunakan kualitas proses registrasi yang dihasilkan,
meninggalkan pendekatan yang lebih canggih untuk tahap keputusan
sebagai pekerjaan di masa depan.
4. Eksperimen
Percobaan meliputi dua percobaan. Yang pertama dikhususkan
untuk mempelajari akurasi, ketahanan dan konsumsi memori/waktu
dari usulan untuk segmentasi sinus frontal dan daerah oklusi pada
radiografi tengkorak (lihat Subbagian4.1). Sementara itu, percobaan
kedua dikhususkan untuk mempelajari kemampuan identifikasi seluruh
sistem identifikasi berbasis CR, di mana kami memperkenalkan metode
IR yang canggih.[43] yang menggunakan segmentasi yang disediakan
oleh ConvNet berkinerja terbaik kami, X-Net+. Eksperimen ini juga
bertujuan untuk mempelajari dampak radiografi yang tersegmentasi
secara otomatis, berbeda dengan yang tersegmentasi secara manual,
pada potensi identifikasi seluruh sistem kami.
4.1. Eksperimen I: Memvalidasi arsitektur X-Net untuk segmentasi
otomatis sinus frontal pada radiografi kepala.
4.1.1. Himpunan data
Dataset yang digunakan terdiri dari 234 radiografi tengkorak 512 -
512 piksel dengan kedalaman skala abu-abu 12 bit, yang disediakan
olehrumah sakit de Castilla-La Mancha, Spanyol. Sinus frontal dan
daerah oklusi disegmentasi secara manual oleh dua mahasiswa MSc
antropolog forensik terlatih (Andrea Cerezo dan José Manuel Pérez)
dari lab Antropologi Fisik Universitas Granada. Variabilitas antara dua
segmentasi manual lebih rendah pada kontur atas sinus frontal.
Perbedaan segmentasi lebih terlihat pada daerah oklusi, karena
sifatnya yang subjektif.
580
Neurocomputing 456 (2021) 575–585
4.1.2. Pendekatan pelatihan
Ukuran input dan output arsitektur X-Net ditentukan oleh ukuran
data yang digunakan (yaitu 512 - 512 piksel) dan sumber daya GPU.
Khususnya, X-Net dilatih dengan gambar dengan sampel bawah 128 -
128 piksel, karena X-Net tidak dapat menangani gambar 512 - 512
piksel di GPU kami dan juga memungkinkan kami untuk menggunakan
kembali bobotnya di X-Net+. Sedangkan X-Net+ dan RX-Net+ dilatih
dengan ukuran gambar asli, 512 - 512.
Dua pendekatan dibandingkan untuk melatih semua jaringan: pendekatan
kelas tunggal (untuk melatih jaringan untuk segmen hanya satu wilayah,
yaitu dua jaringan yang berbeda diperlukan untuk membagi dua
wilayah: sinus frontal dan wilayah oklusi) dan pendekatan multi-kelas
(untuk melatih jaringan untuk bersama-sama membagi dua wilayah).
Fungsi kerugian dalam pendekatan kelas tunggal secara langsung
adalah metrik Koefisien Kesamaan Dadu (DSC) biasa [49]. Sementara itu,
fungsi kerugian dalam pendekatan multi-kelas adalah versi yang seimbang
dari metrik DSC. Metrik DSC seimbang didefinisikan sebagai pro-
saluran nilai DSC yang diperoleh untuk setiap wilayah tunggal, yaitu
Qn
DSC ¼ Saya¼1 DSCSaya, di mana n adalah jumlah kelas untuk segmen,
dan DSCSaya adalah nilai DSC untuk segmentasi kelas Saya (sesuai dengan
masing-masing segmen). Fungsi kerugian ini, yang membuktikan
keefektifannya dalam tugas-tugas segmentasi lainnya[34], memungkinkan
kita untuk menangani sifat yang tidak seimbang dari masalah segmentasi
gambar sinar-X mencari solusi yang secara tepat mensegmentasi berbagai
wilayah yang diminati. Fungsi kerugian lainnya, seperti entropi silang
tertimbang, diuji dalam percobaan awal, tetapi menghasilkan kinerja yang
tidak memuaskan.
4.1.3. Pengaturan eksperimen
Eksperimen ini melibatkan penerapan 4 arsitektur X-Net [34], X-Net,
RX-Net, X-Net+ dan RX-Net+, untuk segmentasi sinus frontal
menggunakan resolusi asli kumpulan data gambar Xray kepala, 512 -
512. Arsitektur X-Net (X-Net, RX-Net, X -Net+ dan RX-Net+) dilatih
menggunakan dua pendekatan, pendekatan kelas tunggal dan multi-
kelas. Kami menggunakan validasi silang sebagai protokol validasi
eksperimental: setiap jaringan dilatih beberapa kali, menggunakan
data pelatihan yang berbeda, dan kemudian kami memvalidasi hasilnya
dengan beberapa set pengujian terpisah. Dengan cara ini, kinerja yang
diperoleh tidak akan bergantung pada partisi tunggal dan spesifik yang
dapat menghasilkan hasil yang terlalu optimis. Secara khusus, mereka
diuji menggunakan pendekatan validasi silang 3 kali lipat, di mana satu
lipatan dikhususkan untuk pengujian (33% dari semua data yang
tersedia), dan masing-masing dari dua lipatan yang tersisa dibagi
menjadi pelatihan dan validasi (90% dan 10 %, masing-masing).Tabel 1
dan 2): empat kelas ganda dan delapan kelas tunggal.
HAI. Gomez, P. Mesejo, . Ibanez dkk. Neurocomputing 456 (2021) 575–585

Tabel 1
Perbandingan arsitektur berbasis X-Net untuk segmentasi sinus frontal dan daerah oklusi pada radiografi kepala.

KonvNet Struktur tersegmentasi JI DSC HD

Berarti Std Berarti Std Berarti Std
RX-Net_m_128 Sinus frontal 0,564 0,083 0,722 0,152 65.299 382.655
RX-Net_m_128 Daerah Oklusi 0,643 0,052 0,783 0,099 19,564 9.163
RX-Net_s_128 Sinus frontal 0,572 0,073 0,728 0.137 22.582 12.126
RX-Net_s_128 Daerah Oklusi 0,649 0,043 0,787 0,082 20.113 10,052
RX-Net+_m_512 Sinus frontal 0,649 0,085 0,787 0,156 105.490 535.104
RX-Net+_m_512 Daerah Oklusi 0,689 0,058 0,816 0.110 18.203 9.600
RX-Net+_s_512 Sinus frontal 0,657 0,075 0,793 0.139 21.077 13.364
RX-Net+_s_512 Daerah Oklusi 0,691 0,049 0.817 0,094 19.275 9.746
X-Net_m_128 Sinus frontal 0,585 0,073 0,738 0.136 22.341 11.075
X-Net_m_128 Daerah Oklusi 0,642 0,049 0,782 0,094 19.487 9.215
X-Net_s_128 Sinus frontal 0,589 0,073 0,741 0.136 22.944 14.609
X-Net_s_128 Daerah Oklusi 0,649 0,047 0,787 0,089 20,564 9.486
X-Net+_m_512 Sinus frontal 0,670 0,069 0.802 0,129 20.799 13,142
X-Net+_m_512 Daerah Oklusi 0,699 0,048 0.823 0,092 18.016 9.436
X-Net+_s_512 Sinus frontal 0,655 0,071 0,792 0,133 21.296 12.507
X-Net+_s_512 Daerah Oklusi 0,690 0,057 0.817 0.107 19.625 13.311

Meja 2
Posisi peringkat rata-rata arsitektur X-Net terbaik per objek dan metrik segmentasi (JI, HD, dan rata-ratanya). Dua jaringan dianggap sama jika perbedaan kinerja di antara keduanya
lebih rendah dari 0,0025 untuk JI dan 5 piksel untuk HD.

Jaringan\Metrik Sinus frontal Daerah Oklusi Semua

JI/DSC HD Menegaskan. JI/DSC HD Menegaskan. JI/DSC HD Menegaskan.

X-Net+_m_512 2.0 3.5 2.8 3.5 3.5 3.5 2.8 3.5 3.1
RX-Net+_s_512 4.8 3.5 4.2 5.2 5.0 5.1 5.0 4.3 4.6
X-Net+_s_512 4.8 5.3 5.1 4.3 5.3 4.8 4.6 5.3 5.0
RX-Net+_m_512 5.5 7.3 6.4 4.7 3.5 4.1 5.1 5.4 5.3
X-Net_m_128 11.2 3.5 7.3 14.2 6.5 10.3 12,7 5.0 8.8
X-Net_s_128 11.3 6.0 8.7 11.5 9.3 10.4 11.4 7.7 9.5
RX-Net_s_128 14.0 6.5 10.3 11.5 6.7 9.1 12.8 6.6 9.7
RX-Net_m_128 14.0 9.7 11.8 12.8 6.5 9.7 13.4 8.1 10.8

Karena variabilitas yang tinggi antara sinus frontal yang berbeda,
serta kesulitan tugas dan kelangkaan data, perlu untuk menggunakan
teknik augmentasi data (yang, dalam masalah lain, tidak diperlukan).
[34]). Secara khusus, kami menggunakan transformasi flip, rotasi, dan
zoom. Untuk setiap gambar pelatihan, lima gambar baru dihasilkan
menggunakan rotasi acak, antara -15 dan 15 . Untuk setiap gambar
yang dihasilkan dan yang asli, lima gambar baru dihasilkan
menggunakan zoom atau unzoom dengan bantalan nol, antara 85%
dan 115%. Akhirnya, semua gambar dibalik. Akibatnya, ukuran set data
pelatihan dikalikan dengan 50 (sekitar 7055 gambar sinar-X kepala).
Kami menormalkan data kami mengikuti prosedur standarisasi di
mana, untuk setiap nilai yang diamati, kami mengurangi rata-rata dan
dibagi dengan standar deviasi. Ukuran batch disetel ke 1.
Pengoptimalnya adalah Adam (dengan kecepatan pembelajaran 1e-5,B
1 dari 0,9, dan B2 dari 0,999). Keluaran dengan resolusi lebih rendah
daripada kebenaran dasar (yaitu 512 - 512) diskalakan menggunakan
interpolasi bikubik, karena menunjukkan hasil yang lebih baik daripada
alternatif lain yang diuji, meskipun kesenjangan antara interpolasi
terbaik dan terburuk lebih rendah dari 0,001 menurut Indeks Jaccard
(JI)[50]. X-Net dan RX-Net dilatih untuk 3000 zaman. Atau, proses
pelatihan mereka juga berakhir jika X-Net/RX-Net tidak meningkatkan
hasil pada pemisahan validasi selama 250 epoch. Sementara itu, X-Net+
dan RX-Net+ dilatih dari bobot X-Net dan RX-Net, masing-masing,
selama 100 epoch.
Penting untuk menyoroti biaya komputasi yang lebih tinggi untuk mengikuti
desain eksperimental validasi silang daripada desain bertahan (secara tradisional
digunakan dalam pembelajaran mendalam). Semua eksperimen telah dilakukan
pada Nvidia Titan X dengan memori 12 GB menggunakan Keras dengan
TensorFlow sebagai backend. Secara keseluruhan, sekitar 960 jam (40 hari)
diperlukan untuk menjalankan eksperimen ini. Yang penting, ini adalah waktu
untuk melakukan seluruh eksperimen dan bukan, tentu saja,
waktu untuk sepenuhnya melatih kembali satu model (yang membutuhkan,
misalnya, rata-rata 33 jam untuk X-Net+ multi-kelas kami) atau mengujinya (yang
langsung).
4.1.4. Metrik kinerja
Tiga metrik digunakan untuk mengevaluasi secara kuantitatif
kualitas hasil segmentasi yang diperoleh: Jarak Hausdorff (HD)
[51], JI [50], dan DSC [49]. HD mewakili ukuran jarak spasial antara dua set
titik: ini adalah yang terbesar dari semua jarak dari titik mana pun dalam
segmentasi yang dihasilkan ke titik terdekat dalam kebenaran dasar dan
nilai 0 menunjukkan kesepakatan yang sempurna. Sementara itu, ukuran
DSC dan JI menetapkan kesepakatan: nilai 0 menunjukkan tidak ada
tumpang tindih dengan kebenaran dasar sedangkan nilai 1 menunjukkan
kesepakatan yang sempurna. Semua hasil dilaporkan dalam resolusi
kebenaran dasar (512 - 512 piksel), baik jika sesuai dengan keluaran
ConvNet (misalnya X-Net+ dan RX-Net+) atau dengan versi yang di-upsample
(misalnya X-Net dan RX-Net ).
4.1.5. Hasil
Hasil yang diperoleh untuk arsitektur X-Net ditunjukkan pada:
Tabel 1. Metode berkinerja terbaik adalah lagi X-Net+ (lihatGambar 5
untuk dua contoh visual). Multi class X-Net+ diperoleh error segmentasi
sebesar 0,670 (JI), 0,802 (DSC), dan 20,799 (HD). Meskipun nilai metrik JI
dan DSC yang relatif rendah, segmentasi yang diperoleh berkualitas
tinggi (lihatGambar 5). Alasan yang mendasari adalah bahwa tidak ada
batas anatomis yang jelas antara sinus frontal dan daerah oklusi.
Dengan demikian, batas-batas ini sangat bervariasi antara segmentasi
yang diprediksi dan segmentasi kebenaran dasar. Variasi ini
membiaskan metrik JI dan DSC. Metrik HD lebih kuat terhadap batas
fuzzy sinus frontal, memungkinkan seseorang untuk mempelajari
kedua kualitas area atas

581
HAI. Gomez, P. Mesejo, . Ibanez dkk. Neurocomputing 456 (2021) 575–585

Gambar 5. Contoh sinus frontal tersegmentasi oleh X-Net+. Warna hijau, area tersegmentasi dengan benar (sinus frontal berwarna hijau tua; area oklusi berwarna hijau muda). Warna merah, area yang
kurang tersegmentasi (yaitu, mereka seharusnya tersegmentasi tetapi tidak). Di area biru yang terlalu tersegmentasi. Mereka sesuai dengan segmentasi dengan DSC 0:84.

segmentasi sinus frontal, dan adanya celah antara sinus frontal dan
daerah oklusi. Namun, HD jauh lebih sensitif terhadap gangguan kecil
dari segmentasi akhir (misalnya, area yang salah tersegmentasi kecil
dan terisolasi). Sebuah kesimpulan yang jelas tidak dapat ditarik
tentang apakah lebih baik untuk menangani masalah ini menggunakan
multi-kelas (jaringan tunggal segmentasi kedua wilayah sekaligus) atau
pendekatan kelas tunggal (dua jaringan memecahkan masalah
segmentasi biner).Meja 2 menunjukkan bahwa proposal multi-kelas
dan satu-kelas bergantian dalam peringkat, bahkan jika hasil terbaik
diperoleh oleh multi-kelas X-Net+.
4.2. Percobaan II: Memvalidasi sistem identifikasi forensik lengkap.
4.2.1. Data
Dataset dibentuk oleh radiografi kepala dan gambar 3D (dari sinus
frontal) dari 10 orang yang berbeda, disediakan oleh Hospital de Castilla la
Mancha, Spanyol. Semua radiografi disegmentasi secara manual, seperti
pada SubBagian4.1, dan secara otomatis oleh ConvNet kami yang berkinerja
terbaik, X-Net+_m_512. Semua segmentasi dibandingkan dengan semua
gambar 3D yang dihasilkan. Dalam praktiknya, ada 20 segmentasi per
gambar kepala sinar-X (10 manual dan 10 otomatis) dan 10 CT. Setiap
segmentasi individu memiliki CT yang terkait dalam hal identitas (yaitu
mereka sesuai dengan orang yang sama), dan
setiap CT memiliki dua segmentasi terkait. Secara total, kami
melakukan 200 perbandingan silang.
4.2.2. Pengaturan eksperimen
Kami telah melakukan 200 superimposisi otomatis (100 dengan
segmentasi manual dan 100 dengan segmentasi otomatis) menggunakan
[43]. Dalam karya sebelumnya[44], kami melakukan studi komparatif
ekstensif terhadap beberapa algoritme evolusi kode nyata yang canggih,
menunjukkan bahwa, terlepas dari kompleksitas dan multimodalitas
masalah optimasi CR, MVMO-SH yang disetel dengan baik
[46] kuat dapat menghasilkan overlay yang baik. Selanjutnya, kami
melakukan studi tentang kekokohan pendekatan yang diusulkan, dan kami
menyimpulkan bahwa 2 proses independen sudah cukup untuk mencapai
solusi dengan kesalahan superimposisi kecil dan, oleh karena itu, cocok
untuk tujuan identifikasi. Singkatnya, 400 lari telah dilakukan. Setiap proses
memakan waktu rata-rata 1.000 detik dan, secara keseluruhan, sekitar 112
jam komputasi (5 hari) diperlukan untuk menjalankan eksperimen ini.
4.2.3. Metrik kinerja
Kualitas superimposisi dilaporkan menggunakan Masked DSC [42], yang
merupakan metrik kualitas yang digunakan oleh metode registrasi untuk
mempelajari kesalahan superimposisi. DSC bertopeng didefinisikan sebagaiD2 jð
SayaA n M\SayaB n MjÞ=ðjSayaA n Mj jSayaB n Mj, di mana SayaA adalah himpunan
piksel dari objek A siluet (yaitu radiografi tersegmentasi), SayaB adalah

Gambar 6. Plot kotak dari kesalahan minimum kasus positif dan negatif dari metode IR menurut metrik DSC Bertopeng. (Kiri) Sinus frontal disegmentasi secara manual dalam radiografi
kepala oleh praktisi forensik; (Kanan) Sinus frontal secara otomatis tersegmentasi dalam radiografi kepala oleh X-Net+_m_512.

582
HAI. Gomez, P. Mesejo, . Ibanez dkk.
Lari terbaik
100%
75%
Akurasi identifikasi (%)
50%
25%
0%
1 2 3 4 5 6
(10%) (20%) (30%) (40%) (50%) (60%) (70%) (80%) (90%)
Pangkat
Nº.Proyeksi Seg.
Gambar 7. Kurva CMC metode IR menurut sifat segmentasinya menggunakan best run.
kumpulan piksel siluet objek B (yaitu proyeksi gambar 3D), dan M
adalah daerah oklusi. Masked DSC mengukur tumpang tindih antara
dua siluet (yaitu segmentasi sinus frontal dalam radiografi dan proyeksi
gambar 3D yang menampilkan sinus frontal) kecuali di dalam daerah
oklusi, di mana tumpang tindih tidak diukur, meningkatkan ketahanan
terhadap oklusi dan pencocokan sebagian.
Kurva Cumulative Match Characteristic (CMC) digunakan untuk
mempelajari kemampuan identifikasi metode yang kami usulkan, seperti
yang dilakukan pada [42,52]. Kurva CMC mengukur probabilitas bahwa
kecocokan yang benar untuk kasus identifikasi ada dalam daftar kandidatR
pertandingan terbaik, di mana R menunjukkan posisi dalam pangkat.
Misalnya, peringkat 5 menunjukkan probabilitas bahwa kecocokan yang
benar adalah salah satu subjek dalam daftar 5 kecocokan teratas. Untuk
fokus pada kemampuan identifikasi potensial dari metode dan bukan pada
kekokohan, hanya percobaan terbaik yang dipertimbangkan. Dalam hal ini,
peringkat 1 mencakup 10% sampel (yaitu 1 dari 10 perbandingan yang
dilakukan untuk setiap kasus AM dengan
Gambar 8. (Kiri) Contoh kasus positif; (Kanan) Contoh kasus negatif. Garis merah menampilkan gambar AM sinar-X tersegmentasi, garis biru mewakili gambar 3D PM yang diproyeksikan (yaitu, hasil
registrasi, atau siluet yang kami coba sejajarkan dengan yang merah), garis hijau mewakili tumpang tindih sempurna antara garis merah dan biru.
Neurocomputing 456 (2021) 575–585
konfigurasi). Peringkat 2 meliputi 20% sampel, begitu seterusnya
hingga mencapai peringkat 10 yang mencakup 100% sampel.
4.2.4. Hasil
Dalam studi ini, kasus positif dan negatif menunjukkan perbedaan
penting dalam hal kebugaran menurut Metrik DSC Bertopeng, baik dengan
segmentasi manual dan otomatis (lihat Gambar 6). Median Masked DSC
adalah 0,151 untuk kasus negatif dan 0,075 untuk kasus positif, saat
menggunakan radiografi yang disegmentasi secara manual, dan 0,180
untuk kasus negatif dan 0,113 untuk kasus positif saat menggunakan
radiografi yang disegmentasi secara otomatis. Namun, metrik ini saja tidak
cukup untuk membedakan secara tepat antara kasus positif dan negatif,
karena standar deviasinya yang tinggi (0,053 dan 0,058 untuk kasus negatif
dan positif saat menggunakan kasus yang disegmentasi secara manual; dan
7 8 9 10
(100%) 0,087 dan 0,120 untuk kasus negatif dan positif saat menggunakan secara
otomatis. kasus tersegmentasi). Deviasi standar ini menyiratkan tumpang
tindih yang mencegah penggunaan nilai metrik ini secara langsung sebagai
Seg.
ambang identifikasi.
Hasilnya dianalisis menggunakan kurva CMC (lihat Gambar 7)) untuk belajar
kemampuan identifikasi dari sistem yang diusulkan. Kurva CMC
mengukur probabilitas bahwa kecocokan yang benar untuk kasus
identifikasi ada dalam daftar kandidatR pertandingan terbaik, di manaR
menunjukkan posisi dalam pangkat. Misalnya, akurasi identifikasi
peringkat 5 menunjukkan kemungkinan bahwa kecocokan yang benar
adalah salah satu subjek dalam daftar 5 kecocokan teratas. Ketika run
terbaik, dari 2 run yang dilakukan, dari metode IR evolusioner dalam
hal metrik Masked DSC dipertimbangkan, kasus positif menempati
posisi pertama 80% dan 60% dari waktu saat menggunakan AM yang
tersegmentasi secara manual dan otomatis gambar sinar-X, masing-
masing. Namun demikian, kasus positif menempati peringkat ke lima
posisi pertama 100% dari waktu, terlepas dari pendekatan segmentasi
yang digunakan, yaitu kita dapat menyaring 50% sampel, mengurangi
secara signifikan jumlah perbandingan manual yang harus dilakukan
oleh ahli forensik. Terakhir, contoh kasus positif dan negatif juga
ditampilkan diGambar 8.
5. Kesimpulan
Kami telah mengusulkan dan memvalidasi sistem pendukung
identifikasi forensik berbasis CR pertama yang lengkap. Sistem ini
mengotomatiskan dua tugas kompleks dalam proses identifikasi:
583
HAI. Gomez, P. Mesejo, . Ibanez dkk.
segmentasi struktur rangka dalam radiografi menggunakan jaringan
saraf convolutional, dan superimposisi radiografi 2D tersegmentasi dan
gambar 3D menggunakan IR evolusioner.
Dalam tugas segmentasi, pendekatan kami X-Net+ telah
mengungguli semua varian arsitektur lainnya dalam segmentasi sinus
frontal dan daerah oklusi pada radiografi kepala. Hasil segmentasi
yang dihasilkan oleh versi multi-kelas X-Net+ cukup menjanjikan,
dengan DSC rata-rata sinus frontal 0,823 pada dataset yang terdiri dari
234 gambar 512 - 512 piksel menggunakan 3-fold cross-validation.
Untuk mengevaluasi kinerja keseluruhan sistem identifikasi forensik,
kami melakukan perbandingan 10 gambar sinar-X 2D dengan 10
gambar 3D sinus frontal. Masing-masing dari 10 radiografi kepala
disegmentasi oleh ahli forensik dan oleh ConvNet (X-Net+_m_512)
berkinerja terbaik kami. Semua radiografi ditumpangkan pada semua
gambar 3D, menghasilkan 200 perbandingan silang (100
menggunakan segmentasi manual, dan 100 menggunakan segmentasi
otomatis),[44]. Hasilnya menunjukkan bahwa, terlepas dari metode
segmentasi yang digunakan, sistem dapat memfilter 50% kasus hanya
dengan menggunakan metrik registrasi kualitas (Masked DSC).
Tujuan jangka panjang kami adalah untuk mengembangkan sistem yang
dapat secara jelas mengidentifikasi seseorang melalui gambar sinar-X dari
sisa tulangnya (yaitu identifikasi positif). Untuk tujuan ini, kami berencana
untuk mempelajari lebih lanjut kekokohan pendekatan yang diusulkan, serta
mengembangkan dan memvalidasi sistem pendukung keputusan hierarkis
yang akan menganalisis superimposisi sinus frontal menggunakan
beberapa kriteria (morfologi, intensitas, dll.), masing-masing diukur
menggunakan beberapa metrik. . Selanjutnya, kami juga bertujuan untuk
merancang dan memvalidasi metrik ad hoc yang kuat terhadap subjektivitas
batas antara sinus frontal dan daerah oklusi. Metrik baru ini akan
mengutamakan kualitas pada daerah atas sinus frontal, karena lebih
penting untuk identifikasi.
Pernyataan kontribusi kepengarangan CReditT
HAIbekas luka GHAImez: Konseptualisasi, Metodologi, Perangkat
Lunak, Validasi, Analisis Formal, Investigasi, Penulisan - draf asli,
Visualisasi. Pablo Mesejo: Konseptualisasi, Metodologi, Validasi, Analisis
Formal, Investigasi, Penulisan - draf asli. HAIbekas luka Ibanmisalnya:
Konseptualisasi, Metodologi, Validasi, Penulisan - review & editing,
Supervisi, Administrasi proyek, Akuisisi pendanaan. HAIkabel bekas
lukaHain: Konseptualisasi, Penulisan - review & editing, Supervisi,
Administrasi proyek, Akuisisi pendanaan.
Pernyataan Kepentingan Bersaing
Para penulis menyatakan bahwa mereka tidak mengetahui adanya persaingan
kepentingan keuangan atau hubungan pribadi yang tampaknya dapat
mempengaruhi pekerjaan yang dilaporkan dalam makalah ini.
Pengakuan
Pekerjaan ini didukung oleh Kementerian Sains, Inovasi dan
Universitas Spanyol, dan Dana Pembangunan Regional Eropa (ERDF) di
bawah hibah EXASOCO (PGC2018-101216-B-I00), dan oleh Pemerintah
Daerah Andalusia di bawah hibah EXAISFI (P18-FR -4262). Pablo Mesejo
didanai oleh Komisi Eropa H2020-MSCA-IF-2016 melalui Skeleton-ID
Marie Curie Individual Fellowship [referensi 746592]. Pekerjaan Dr.
Ibáñez didanai oleh Kementerian Sains, Inovasi, dan Universitas
Spanyol-CDTI, program Neotec 2019 [referensi EXP-00122609/
SNEO-20191236].
584
Neurocomputing 456 (2021) 575–585
Referensi
[1] EA Thibault, LM Lynch, RB McBride, G. Walsh, Manajemen Polisi Proaktif, Prentice
Hall Upper Saddle River, NJ, 2004.
[2] MJ Thali, B. Brogdon, MD Viner, Radiologi Forensik, CRC Press, 2002.
[3] WC Roentgen, Tentang sinar jenis baru, British Journal of Radiology 4 (1895) 32– 153.
[4] PC Goodman, Cahaya baru: penemuan dan pengenalan sinar-x, American Journal of
Roentgenology 165 (5) (1995) 1041–1045.
[5] BG Brogdon, JE Lichtenstein, radiologi forensik dalam perspektif sejarah, Tinjauan
Kritis dalam Pencitraan Diagnostik 41 (1) (2000) 13–42.
[6] A. Schuller, Das rontgenogram der stirhnhohle: ein hilfsmittel fur die
identitatsbestimmung von schadeln, dalam bahasa Jerman, Monatenschrift fur
Ohrenheilkunde 55 (1921) 1617–1620.
[7] WL Culbert, FM Law, Identifikasi dengan perbandingan roentgenograms: sinus
aksesori hidung dan proses mastoid, Journal of American Medical Association 88
(21) (1927) 1634–1636.
[8] FR Dutra, Identifikasi orang dan penentuan penyebab kematian dari sisa-sisa
kerangka, Arsip Patologi 38 (1944) 339–349.
[9] AC Singleton, Identifikasi roentgenologis para korban bencana noronic, The
American Journal of Roentgenology and Radium Therapy 66 (3) (1951) 375–384.
[10] E. Streetman, TW Fenton, Bab 22 – radiografi medis komparatif: Praktek dan validasi,
dalam: KE Latham, EJ Bartelink, M. Finnegan (Eds.), Perspektif Baru dalam
Identifikasi Kerangka Manusia Forensik, Academic Press, 2018, hlm. 251 –264.
[11] T. Kahana, J. Hiss, Identifikasi sisa-sisa manusia: radiologi forensik, Jurnal Kedokteran
Forensik Klinis 4 (1) (1997) 7–15.
[12] AM Christensen, GM Hatch, Kemajuan dalam penggunaan sinus frontal untuk identifikasi
manusia, dalam: Perspektif Baru dalam Identifikasi Kerangka Manusia Forensik, Elsevier,
2018, hlm. 227–240..
[13] AL Vickers, Daubert, kritik dan interpretasi: Apa studi empiris memberitahu kita
tentang penerapan daubert, USFL Review 40 (2005) 109.
[14] NJ Kirk, RE Wood, M. Goldstein, Identifikasi kerangka menggunakan daerah sinus
frontal: studi retrospektif dari 39 kasus, Jurnal Ilmu Forensik 47 (2) (2002) 318–323.
[15] M. Yoshino, S. Miyasaka, H. Sato, S. Seta, Sistem klasifikasi pola sinus frontal dengan
radiografi. penerapannya untuk identifikasi sisa-sisa kerangka yang tidak diketahui,
Forensic Science International 34 (4) (1987) 289–299.
[16] RF da Silva, FB Prado, IGC Caputo, KL Devito, T. de Luscena Botelho, ED Júnior,
Pentingnya forensik dari radiografi sinus frontal, Jurnal Kedokteran Forensik dan
Hukum 16 (1) (2009) 18–23.
[17] D. Gibelli, M. Cellina, A. Cappella, S. Gibelli, MM Panzeri, AG Oliva, G. Termine, D. De
Angelis, C. Cattaneo, C. Sforza, Sebuah superimposisi 3D–3D yang inovatif untuk
menilai keunikan anatomi sinus frontal melalui segmentasi pada CT scan,
International Journal of Legal Medicine 133 (4) (2019) 1159-1165.
[18] HL Runolfsdottir, G. Sigurdsson, L. Franzson, OS Indridason, Perbandingan gender
faktor yang terkait dengan perbedaan terkait usia dalam kepadatan mineral tulang,
Arsip Osteoporosis 10 (1) (2015) 1–9.
[19] LS Bell, MF Skinner, SJ Jones, Kecepatan perubahan post mortem pada kerangka
manusia dan signifikansi taphonomicnya, Forensic Science International 82 (2)
(1996) 129-140.
[20] BHD Gerard, J. Tortora, Prinsip Anatomi dan Fisiologi [Dengan Atlas Singkat
Kerangka, Anatomi Permukaan], Ed 12, Wiley, 2008.
[21] JI. Toriwaki, Y. Suenaga, T. Negoro, T. Fukumura, Pengenalan pola gambar rontgen
dada, Comput Vision Graph 2 (3) (1973) 252–271.
[22] W. Yang, Y. Liu, L. Lin, Z. Yun, Z. Lu, Q. Feng, W. Chen, Segmentasi bidang paru-paru
dalam radiografi dada dari peta batas oleh detektor tepi terstruktur, IEEE Journal of
Biomedical and Health Informatics 22 (3) (2018) 842–851.
[23] H. Boussaid, I. Kokkinos, N. Paragios, Pembelajaran diskriminatif model kontur yang
dapat dideformasi, ISBI, IEEE (2014) 624–628.
[24] Y. Zhu, S. Prummer, P. Wang, T. Chen, D. Comaniciu, M. Ostermeier, Pemisahan
lapisan dinamis untuk DSA koroner dan peningkatan dalam urutan fluoroscopic,
MICCAI (2009) 877–884.
[25] O. Ronneberger, P. Fischer, T. Brox, U-Net: Jaringan konvolusi untuk segmentasi citra
biomedis, MICCAI (2015) 234–241.
[26] JR Falguera, FPS Falguera, AN Marana, Pengenalan sinus frontal untuk identifikasi
manusia, dalam: Teknologi Biometrik untuk Identifikasi Manusia V, vol. 6944,
Masyarakat Internasional untuk Optik dan Fotonik, 2008, hal. 69440S..
[27] Z. Tabor, D. Karpisz, L. Wojnar, P. Kowalski, Pengenalan otomatis sinus frontal dalam
gambar x-ray tengkorak, IEEE Transactions on Biomedical Engineering 56 (2) (2008)
361–368.
[28] AX Falc ao, FP Bergo,, Segmentasi volume interaktif dengan transformasi image
foresting diferensial, Transaksi IEEE pada Pencitraan Medis 23 (9) (2004) 1100–1108.
[29] J. Caple, J. Byrd, CN Stephan, analisis fourier elips: fundamental, aplikasi, dan nilai
untuk antropologi forensik, International Journal of Legal Medicine 131 (6) (2017)
1675–1690.
[30] AM Christensen, Menguji keandalan sinus frontal dalam identifikasi positif, Jurnal
Ilmu Forensik 50 (1) (2005) 18–22.
[31] AB Maxwell, AH Ross, Sebuah studi radiografi tentang kegunaan kerangka kubah
tengkorak untuk identifikasi positif, Jurnal Ilmu Forensik 59 (2) (2014) 314–318.
HAI. Gomez, P. Mesejo, . Ibanez dkk. Neurocomputing 456 (2021) 575–585

[32] AK Jain, H. Chen, Pencocokan gambar x-ray gigi untuk identifikasi manusia,
Pengenalan Pola 37 (7) (2004) 1519–1532.
[33] O. Nomir, M. Abdel-Mottaleb, Sebuah sistem untuk identifikasi manusia dari HAIbekas luka GHaimez menerima gelar Ph.D. dalam Ilmu
radiografi gigi x-ray, Pengenalan Pola 38 (8) (2005) 1295–1305. Komputer pada tahun 2020 dari Universitas Granada, Spanyol.
[34] O. Gómez, P. Mesejo, O. Ibáñez, A. Valsecchi, O. Cordón, Arsitektur dalam untuk Minat penelitiannya meliputi visi komputer, pembelajaran mesin,
segmentasi gambar rontgen dada multi-organ resolusi tinggi, Neural Computing dan pengoptimalan yang ditujukan untuk mengotomatisasi
and Applications (2019), sedang dicetak.
masalah antropologi forensik.
[35] D. Ulyanov, A. Vedaldi, VS Lempitsky, Normalisasi instans: Bahan yang hilang untuk
stilisasi cepat, CoRR abs/1607.08022 (2016).
[36] L. Chen, G. Papandreou, I. Kokkinos, K. Murphy, AL Yuille, DeepLab: Segmentasi
gambar semantik dengan jaring konvolusi yang dalam, konvolusi atrous, dan CRF
yang terhubung penuh, CoRR abs/1606.00915 (2016).
[37] T. Kahana, El aporte de la radiología al avance de la antropología forense:
perspectiva profesional (dalam bahasa Spanyol), Ph.D. tesis, Universitas Granada
(2009).
[38] S. Damas, O. Cordón, O. Ibá nez, J. Santamaria, I. Alemán, M. Botella, F. Navarro,
Identifikasi forensik dengan superimposisi kraniofasial berbantuan komputer:
survei, ACM Computing Surveys 43 (4 ) (2011) 1–27..
[39] CN Stephan, B. Amidan, H. Trease, P. Guyomarc'h, T. Pulsipher, JE Byrd, Oscar Ibanez saat ini menjabat sebagai CEO/CTO di Panacea
Perbandingan morfometrik garis klavikula dari pemindaian tulang 3D dan
Cooperative Research dan peneliti terafiliasi di DASCI
radiografi dada 2D: alat daftar pendek untuk membantu identifikasi radiografi
Research Institute. Ia menerima EUSFLAT Best Ph.D.
kerangka manusia, Jurnal Ilmu Forensik 59 (2) (2014) 306–313.
Penghargaan Tesis dan Penghargaan IFSA untuk Aplikasi
[40] SS D'alonzo, P. Guyomarc'h, JE Byrd, CN Stephan, Sebuah uji sampel besar dari mesin
Teknologi Fuzzy yang Luar Biasa. Penghargaan penting
pencari klavikula semi-otomatis untuk membantu identifikasi kerangka dengan
perbandingan radiografi, Jurnal Ilmu Forensik 62 (1) ( 2017) 181–186.. lainnya termasuk IEEE CIS Outstanding CIM Paper Award
[41] E. Niespodziewanski, CN Stephan, P. Guyomarc'h, TW Fenton, Identifikasi manusia dan Best Ph.D. penghargaan "Frances Allen" pada tahun
melalui radiografi patela lateral: Studi validasi, Jurnal Ilmu Forensik 61 (1) (2016) 2016, sebagai co-director dari salah satu dari empat PhD
134-140. yang dia sarankan (satu lagi dalam proses). Dia ikut menulis
[42] O. Gómez, O. Ibáñez, A. Valsecchi, O. Cordón, T. Kahana, pendaftaran gambar siluet 3 paten, lebih dari 80 artikel ilmiah (31 JCRindexed, H-index
3D–2D untuk identifikasi forensik berbasis radiografi komparatif, Pengenalan Pola 17), dan berpartisipasi di lebih dari 20 proyek R&D UE,
83 (2018) 469–480. nasional dan regional.
[43] O. Gómez, P. Mesejo, O. Ibá nez, A. Valsecchi, O. Cordón, Pendekatan registrasi
berbasis algoritma evolusioner kode nyata untuk identifikasi forensik
menggunakan perbandingan radiografi sinus frontal, dalam: Kongres IEEE pada
Komputasi Evolusioner, 2020, hlm. 1–8..
Pablo Mesejo menerima gelar M.Sc. dan Ph.D. gelar dalam
[44] . Gómez, Soft computing y visión por ordenador para la identificación forense
mediante comparación de radiografías, Ph.D. tesis, Universidad de Granada (2020). ilmu komputer dari Universidade da Corunã (Spanyol) dan
Università degli Studi di Parma (Italia), masing-masing.
[45] B.Lei, S.Huang, R.Li, C.Bian, H.Li, Y.-H. Chou, J.-Z. Cheng, Segmentasi anatomi Setelah itu, selama hampir lima tahun, ia bekerja sebagai
payudara untuk gambar ultrasound seluruh payudara otomatis dengan jaringan peneliti postdoctoral di Université d'Auvergne (Prancis) dan
encoder-decoder convolutional batas yang diatur, Neurocomputing 321 (2018) 178– Inria Grenoble Rhône-Alpes (Prancis). Saat ini, beliau
186. memegang Posisi Peneliti Berpengalaman Marie Curie di
[46] JL Rueda, I. Erlich, Optimalisasi pemetaan varians rata-rata hibrida untuk Universitas Granada (Spanyol). Dia adalah salah satu pendiri
memecahkan masalah persaingan IEEE-CEC 2013, IEEE Congress on Evolutionary SME Panacea Cooperative Research. Minat penelitiannya
Computation (CEC) 2013 (2013) 1664–1671. meliputi analisis dan desain pembelajaran mesin, visi
[47] KL Bontrager, J. Lampignano, Buku teks penentuan posisi radiografi dan anatomi komputer, dan metode kecerdasan komputasional yang
terkait, Ilmu Kesehatan Elsevier (2013).
terutama ditujukan untuk memecahkan masalah analisis
[48] I. Erlich, GK Venayagamoorthy, N. Worawat, Algoritma optimasi varians rata-rata,
citra biomedis.
dalam, Kongres IEEE tentang Komputasi Evolusi (CEC) 2010 (2010) 1–6.

[49] T. Sørensen, Sebuah metode pembentukan kelompok amplitudo yang sama dalam
sosiologi tumbuhan berdasarkan kesamaan spesies dan penerapannya untuk
analisis vegetasi di Denmark commons, Kongelige Danske Videnskabernes Selskab
5 (1948) 1-34.
[50] P. Jaccard, Distribusi flora di zona alpine. 1, Phytologist Baru 11 (2) (1912) 37–50.

[51] M. Beauchemin, KP Thomson, G. Edwards, Pada jarak Hausdorff yang digunakan

untuk evaluasi hasil segmentasi, Canadian Journal of Remote Sensing 24
(1) (1998) 3–8.
[52] C. Campomanes-Alvarez, O. Ibá nez, O. Cordón, C. Wilkinson, Penyatuan informasi
hierarkis untuk pengambilan keputusan dalam superimposisi kraniofasial,
Penggabungan Informasi 39 (2018) 25–40..

Oscar CordHain adalah Profesor Penuh di Universitas

Granada, Spanyol. Direktur Pendiri Virtual Learning Center
(2001-05) dan VP Digital University (2015-19). Peneliti
pendiri European Center for Soft Computing (2006-15).
Dianugerahi dengan IEEE CIS Outstanding Early Career
Award (2011), National Award on Computer Science (2014),
IEEE Fellow (2018) dan IFSA Fellow (2019). Anggota
Kelompok Pakar Tingkat Tinggi untuk Strategi Litbang
Spanyol tentang AI (2019). 105 makalah jurnal terindeks JCR,
19 Ph.D. disertasi disarankan, 38 proyek/kontrak penelitian
(>9jt€) terkoordinasi, dan paten internasional di bawah
eksploitasi AI untuk
identifikasi forensik. Termasuk dalam 1% peneliti yang paling banyak dikutip di dunia
(WOK).

585