Machine Translated by Google

Diterima: 19 November 2018 Revisi: 26 Januari 2019 Diterima: 24 Februari 2019

DOI: 10.1002/spektrum 1312

TINJAUAN LANJUTAN

Penyebab dan penjelasan kecerdasan buatan dalam kedokteran

Andreas Holzinger1 | Georg Langs2 | Helmut Denk3 | Kurt Zatloukal3 | Heimo Müller1,3

1
Institut Informatika Medis, Statistik dan
Dokumentasi, Universitas Kedokteran Graz, Graz, Kecerdasan buatan (AI) yang dapat dijelaskan menarik banyak minat dalam kedokteran.
Austria Secara teknis, masalah penjelasan sudah setua AI itu sendiri dan AI klasik mewakili pendekatan
2
Departemen Pencitraan Biomedis dan Terapi yang dapat ditelusuri kembali dan dipahami. Namun, kelemahan mereka adalah menghadapi
Berpanduan Gambar, Penelitian Pencitraan Komputasi
ketidakpastian dunia nyata. Melalui pengenalan pembelajaran probabilistik, aplikasi menjadi
Lab, Universitas Kedokteran Wina, Wina,
Austria semakin sukses, namun semakin buram.
3
Institut Patologi, Universitas Kedokteran Graz, AI yang dapat dijelaskan berkaitan dengan penerapan transparansi dan ketertelusuran metode
Graz, Austria pembelajaran mesin kotak hitam statistik, khususnya pembelajaran mendalam (DL).
Korespondensi Kami berpendapat bahwa ada kebutuhan untuk melampaui AI yang dapat dijelaskan. Untuk
Andreas Holzinger, Institut Informatika Medis,
mencapai tingkat obat yang dapat dijelaskan, kita membutuhkan kausabilitas. Dengan cara yang
Statistik dan Dokumentasi, Universitas
Kedokteran Graz, A-8036, Austria.
sama bahwa encom kegunaan melewati pengukuran untuk kualitas penggunaan, kausabilitas
Email: andreas.holzinger@medunigraz.at mencakup pengukuran untuk kualitas penjelasan. Dalam artikel ini, kami memberikan beberapa
Informasi pendanaan definisi yang diperlukan untuk membedakan antara kemampuan menjelaskan dan penyebab serta
FeatureCloud, Nomor Hibah/Penghargaan: 826078
kasus penggunaan interpretasi DL dan penjelasan manusia dalam histopatologi. Kontribusi utama
Proyek UE H2020; ruang kuliah
dari artikel ini adalah pengertian tentang kausabilitas, yang dibedakan dari kemampuan menjelaskan
Infrastrukturmittelfonds; MEFO, Hibah/Penghargaan
Nomor: MEFO-Graz; Karya ini sebagian didukung bahwa kausabilitas adalah milik seseorang, sedangkan penjelasan adalah milik suatu sistem.
oleh Austrian Science Fund FWF
(I2714-B31) dan UE di bawah H2020 (765148)
Artikel ini dikategorikan dalam:
[Koreksi ditambahkan pada 11 Juni 2019, setelah
Konsep Dasar Data dan Pengetahuan > Pusat Manusia dan Pengguna
publikasi online pertama: “explainabilty” telah
Interaksi
dikoreksi menjadi “explainability” pada judul artikel.]

KATA KUNCI

kecerdasan buatan, kausabilitas, penjelasan, AI yang dapat dijelaskan, histopatologi, kedokteran

1 | PENDAHULUAN DAN MOTIVASI

Kecerdasan buatan (AI) mungkin merupakan bidang ilmu komputer tertua dan sangat luas, berurusan dengan semua aspek meniru fungsi kognitif
untuk pemecahan masalah dunia nyata dan membangun sistem yang belajar dan berpikir seperti manusia. Oleh karena itu, sering disebut kecerdasan
mesin (Poole, Mackworth, & Goebel, 1998) untuk membedakannya dengan kecerdasan manusia (Russell & Norvig, 2010). Bidang berputar di sekitar
persimpangan ilmu kognitif dan ilmu komputer (Tenenbaum, Kemp, Griffiths, & Goodman, 2011). AI sekarang menimbulkan minat yang sangat besar
karena keberhasilan praktis dalam pembelajaran mesin (ML). Dalam AI selalu ada hubungan yang kuat dengan kemampuan menjelaskan, dan contoh
awal adalah Advice Taker yang diusulkan oleh McCarthy pada tahun 1958 sebagai “program dengan akal sehat” (McCarthy, 1960). Itu mungkin
pertama kalinya mengusulkan kemampuan penalaran akal sehat sebagai kunci AI. Penelitian terbaru semakin menekankan bahwa sistem AI harus
mampu membangun model kausal dunia yang mendukung penjelasan dan pemahaman, daripada hanya menyelesaikan masalah pengenalan pola
(Lake, Ullman, Tenen baum, & Gershman, 2017).

Ini adalah artikel akses terbuka di bawah ketentuan Lisensi Atribusi Creative Commons, yang mengizinkan penggunaan, distribusi, dan reproduksi dalam media apa pun, asalkan karya asli dikutip
dengan benar. © 2019 Para Penulis. Penambangan
Data dan Penemuan Pengetahuan WIRE diterbitkan oleh Wiley Periodicals, Inc.

WIREs Data Mining Knowl Discov. 2019;9:e1312. https:// 1 dari 13

wires.wiley.com/dmkd
doi.org/10.1002/widm.1312
Machine Translated by Google
2 dari 13 HOLZINGER ET AL.

4
12 ML adalah bidang AI yang sangat praktis dengan tujuan untuk mengembangkan perangkat lunak yang dapat secara otomatis belajar dari
data sebelumnya untuk mendapatkan pengetahuan dari pengalaman dan secara bertahap meningkatkan perilaku belajarnya untuk membuat
prediksi berdasarkan data baru (Michalski, Carbonell, & Mitchell, 1984) . Tantangan besar adalah dalam pembuatan akal, dalam pemahaman
konteks, dan dalam pengambilan keputusan di bawah ketidakpastian (Holzinger, 2017). ML dapat dilihat sebagai pekerja keras AI dan adopsi
metode ML intensif data sementara itu dapat ditemukan di mana-mana, di seluruh sains, teknik, dan bisnis, yang mengarah ke pengambilan
keputusan yang lebih berbasis bukti (Jordan & Mitchell, 2015). Kemajuan besar dalam ML telah didorong oleh pengembangan algoritme
pembelajaran statistik baru seiring dengan ketersediaan set data yang besar dan komputasi berbiaya rendah (Abadi et al., 2016). Salah satu
metode yang sangat populer saat ini adalah deep learning (DL).
DL adalah keluarga model ML berdasarkan jaringan saraf konvolusional dalam yang memiliki sejarah panjang (Schmidhuber, 2015).
DL sangat populer saat ini karena mereka mencapai hasil yang luar biasa bahkan pada kinerja tingkat manusia (LeCun, Bengio, & Hinton,
2015). Contoh praktik terbaik adalah karya terbaru dari kelompok Thrun, di mana mereka mencapai kinerja dengan pendekatan DL yang
setara dengan dokter medis, menunjukkan bahwa pendekatan semacam itu mampu mengklasifikasikan kanker kulit dengan tingkat
kompetensi yang sebanding dengan dokter kulit manusia (Esteva et al., 2017). Contoh lebih lanjut adalah hasil yang menjanjikan dalam
mengidentifikasi retinopati diabetik dan penyakit mata terkait (Ting et al., 2017). Semua ini adalah contoh yang sangat baik dari kemajuan
dan kegunaan AI, tetapi bahkan pendukung paling menonjol dari pendekatan (otomatis) ini baru-baru ini menekankan bahwa kecerdasan
yang dapat digunakan sulit dijangkau karena kita tidak hanya perlu belajar dari data sebelumnya, untuk mengekstrak pengetahuan, untuk
menggeneralisasi, dan untuk melawan kutukan dimensi, tetapi untuk mengurai faktor penjelas yang mendasari data untuk memahami konteks
dalam domain aplikasi (Bengio, Courville, & Vincent, 2013), di mana sampai saat ini seorang dokter- in-the-loop sangat diperlukan (Holzinger,
2016).
Kedokteran sebagai domain aplikasi adalah salah satu tantangan terbesar AI/ML/DL. Dalam dukungan keputusan medis, kami
dihadapkan pada ketidakpastian, dengan probabilistik, tidak diketahui, tidak lengkap, tidak seimbang, heterogen, berisik, kotor, keliru, tidak
akurat, dan kumpulan data yang hilang dalam ruang dimensi tinggi yang sewenang-wenang (Holzinger, Dehmer, & Jurisica, 2014) , (Lee &
Holzinger, 2016). Seringkali kita hanya kekurangan kumpulan data besar (Holzinger, 2016). Tujuan besar kedokteran masa depan adalah
memodelkan kompleksitas pasien untuk menyesuaikan keputusan medis, praktik kesehatan, dan terapi untuk masing-masing pasien (Holzinger, 2014).
Hal ini menimbulkan tantangan terutama dalam integrasi, fusi dan pemetaan berbagai data terdistribusi dan heterogen hingga analisis visual
dari data heterogen tersebut (Turkay, Jeanquartier, Holzinger, & Hauser, 2014). Akibatnya, menjelaskan AI yang mampu dalam konteks
kedokteran harus memperhitungkan bahwa beragam data dapat berkontribusi pada hasil yang relevan. Ini mengharuskan profesional medis
harus memiliki kemungkinan untuk memahami bagaimana dan mengapa keputusan mesin dibuat (Holzinger, Biemann, Pattichis, & Kell,
2017).
Penjelasan setidaknya setua AI itu sendiri dan lebih merupakan masalah yang disebabkan olehnya. Pada hari-hari perintis AI (Newell,
Shaw, & Simon, 1958), metode penalaran bersifat logis dan simbolis. Pendekatan ini berhasil, tetapi hanya dalam ruang domain yang sangat
terbatas dan dengan penerapan praktis yang sangat terbatas. Contoh tipikal adalah MYCIN (Shortliffe & Buchanan, 1975), yang merupakan
sistem pakar yang dikembangkan di Lisp untuk mengidentifikasi bakteri yang menyebabkan infeksi parah dan merekomendasikan antibiotik.
MYCIN tidak pernah digunakan dalam rutinitas klinis, mungkin karena sifatnya yang berdiri sendiri dan upaya yang tinggi dalam
mempertahankan basis pengetahuannya. Namun, sistem AI awal ini bernalar dengan melakukan beberapa bentuk inferensi logis pada simbol
yang dapat dibaca manusia, dan mampu memberikan jejak langkah inferensi mereka. Ini adalah dasar untuk penjelasan, dan ada beberapa
karya terkait awal tersedia, misalnya, (Johnson, 1994; Lacave & Diez, 2002; Swartout, Paris, & Moore, 1991). Di sini, kami harus menyebutkan
bahwa ada tiga jenis penjelasan: (1) penjelasan peer-to-peer seperti yang dilakukan antara dokter selama pelaporan medis; (2) penjelasan
edukatif seperti yang dilakukan antara guru dan siswa; (3) Penjelasan ilmiah dalam arti sempit teori sains (Popper, 1935). Kami menekankan
bahwa dalam artikel ini yang kami maksud adalah jenis penjelasan pertama.

Dalam kedokteran, ada permintaan yang meningkat untuk pendekatan AI, yang tidak hanya berkinerja baik, tetapi juga dapat dipercaya,
transparan, dapat ditafsirkan, dan dapat dijelaskan untuk pakar manusia; dalam kedokteran, misalnya kalimat bahasa alami (Hudec, Bed
nrov, & Holzinger, 2018). Metode dan model diperlukan untuk menghidupkan kembali proses pengambilan keputusan mesin, untuk
mereproduksi dan memahami proses pembelajaran dan ekstraksi pengetahuan. Ini penting, karena untuk mendukung keputusan perlu
memahami kausalitas representasi yang dipelajari (Gershman, Horvitz, & Tenenbaum, 2015; Pearl, 2009; Peters, Janzing, & Schölkopf, 2017).

Selain itu, AI yang dapat dijelaskan dapat membantu meningkatkan kepercayaan profesional medis dalam sistem AI di masa depan.
Riset untuk membangun sistem AI yang dapat dijelaskan untuk penerapan dalam pengobatan memerlukan tingkat kinerja pembelajaran yang
tinggi untuk berbagai ML dan teknik interaksi manusia-komputer. Ada ketegangan yang melekat antara kinerja ML (akurasi prediktif) dan
kemampuan menjelaskan. Seringkali metode dengan kinerja terbaik seperti DL adalah yang paling tidak transparan, dan metode yang
memberikan penjelasan yang jelas (misalnya pohon keputusan) kurang akurat (Bologna & Hayashi, 2017).
Saat ini, penjelasan mengapa prediksi dibuat, atau bagaimana parameter model menangkap mekanisme biologis yang mendasarinya
sulit dipahami. Kendala lebih lanjut adalah bahwa manusia terbatas pada penilaian visual atau tinjauan penjelasan untuk jumlah (besar).
Machine Translated by Google
HOLZINGER ET AL. 3 dari 13

4
12
aksioma. Ini menghasilkan salah satu pertanyaan utama: Bisakah kita mendeduksikan sifat-sifat tanpa eksperimen—langsung dari pengamatan murni?
(Peters et al., 2017).
Memahami, menafsirkan, atau menjelaskan sering digunakan secara sinonim dalam konteks AI yang dapat dijelaskan (Doran, Schulz, & Besold,
2017), dan berbagai teknik interpretasi telah diterapkan di masa lalu. Ada diskusi bermanfaat tentang "Mitos interpretasi model" oleh Lipton (2016).
Dalam konteks AI yang dapat dijelaskan, istilah "pemahaman" biasanya berarti pemahaman fungsional model, berbeda dengan pemahaman algoritmik
tingkat rendah tentangnya, yaitu berusaha mengkarakterisasi perilaku kotak hitam model, tanpa mencoba untuk menjelaskan cara kerjanya atau
representasi internalnya. Montavon, Samek, dan Müller (2017) membedakan dalam pekerjaan mereka antara interpretasi, yang mereka definisikan
sebagai pemetaan konsep abstrak ke dalam domain yang dapat dipahami dan dipahami oleh pakar manusia; dan penjelasan, yang mereka definisikan
sebagai kumpulan fitur dari domain yang dapat ditafsirkan, yang telah berkontribusi pada contoh yang diberikan untuk menghasilkan keputusan.

Kami berpendapat bahwa dalam kedokteran AI yang dapat dijelaskan sangat dibutuhkan untuk banyak tujuan termasuk pendidikan kedokteran,
penelitian, dan pengambilan keputusan klinis (Holzinger, 2018). Jika profesional medis dilengkapi dengan sistem AI yang canggih dan dalam beberapa
kasus, sistem AI masa depan bahkan memainkan peran besar dalam proses pengambilan keputusan, pakar manusia harus tetap memiliki sarana—
sesuai permintaan—untuk memahami dan menelusuri kembali proses keputusan mesin.
Pada saat yang sama, menarik untuk diketahui bahwa meskipun sering diasumsikan bahwa manusia selalu dapat menjelaskan keputusan mereka,
seringkali tidak demikian! Terkadang para ahli tidak mampu memberikan penjelasan berdasarkan berbagai sumber informasi yang berbeda-beda dan
heterogen. Akibatnya, AI yang dapat dijelaskan membutuhkan kepercayaan, keselamatan, keamanan, privasi, etika, keadilan, dan kepercayaan
(Kieseberg, Weippl, & Holzinger, 2016), dan membawa kegunaan (Holzinger, 2005) dan Interaksi Manusia-AI menjadi fokus baru dan penting (Miller,
Howe, & Sonenberg, 2017). Semua aspek ini bersama-sama sangat penting untuk penerapan dalam kedokteran secara umum, dan untuk pengobatan
pribadi di masa depan, khususnya (Hamburg & Collins, 2010).
Pertama kami memberikan beberapa definisi untuk menjelaskan jenis penjelasan yang kami maksud — ini akan membawa kita ke istilah
"Causability" berbeda dengan istilah "Kausalitas" yang terkenal; kemudian kita membahas secara singkat kecanggihan beberapa model yang dapat
dijelaskan saat ini, dan melanjutkan dengan contoh dan kasus penggunaan medis dari histopatologi. Kami menyimpulkan dengan menunjuk pada
kebutuhan mendesak dari skala kausabilitas sistem untuk mengukur kualitas penjelasan (Hoffman, Mueller, Klein, & Litman, 2018), yang juga harus
mencakup aspek sosial komunikasi manusia (Miller, 2019).

2 | DARI PENJELASAN MENJADI KAUSABILITAS

Dalam dunia yang ideal, pernyataan manusia dan mesin akan identik, dan sesuai dengan kebenaran dasar, yang didefinisikan untuk mesin dan manusia
secara setara. Namun, di dunia nyata kita menghadapi dua masalah:
(i) Kebenaran dasar tidak selalu dapat didefinisikan dengan baik, terutama saat membuat diagnosis medis. (ii)
Model manusia (ilmiah) seringkali didasarkan pada kausalitas sebagai tujuan akhir untuk memahami mekanisme yang mendasarinya, dan
sementara korelasi diterima sebagai dasar keputusan, korelasi dipandang sebagai langkah perantara. Sebaliknya, algoritme ML yang sukses saat ini
biasanya didasarkan pada model probabilistik dan hanya memberikan dasar kasar untuk membangun model sebab-akibat lebih lanjut. Saat membahas
penjelasan dari pernyataan mesin, oleh karena itu kami mengusulkan untuk membedakan antara:

Penjelasan dalam pengertian teknis menyoroti bagian yang relevan dengan keputusan dari representasi yang digunakan dari algoritma dan bagian aktif dalam model algoritmik,
yang berkontribusi pada akurasi model pada set pelatihan, atau pada prediksi spesifik untuk satu pengamatan tertentu. Itu tidak mengacu pada model
manusia yang eksplisit.

Penyebab sebagai sejauh mana penjelasan suatu pernyataan kepada seorang ahli manusia mencapai tingkat pemahaman kausal tertentu dengan efektif,
efisiensi dan kepuasan dalam konteks penggunaan tertentu.

Karena kausabilitas diukur dalam hal keefektifan, efisiensi, kepuasan terkait dengan pemahaman kausal dan transparansi bagi pengguna, ini
mengacu pada model yang dapat dipahami manusia. Ini selalu mungkin untuk penjelasan tentang pernyataan manusia, karena penjelasan itu sendiri
didefinisikan terkait dengan model manusia. Namun, untuk mengukur penyebab dari penjelasan pernyataan mesin, ini harus didasarkan pada model
sebab-akibat, yang tidak berlaku untuk sebagian besar algoritme ML, atau pemetaan antara keduanya harus ditentukan.

Di sini, kita harus membedakan antara model yang dapat dijelaskan ("AI yang dapat dijelaskan") dan antarmuka penjelasan yang membuat hasil
yang diperoleh dalam model yang dapat dijelaskan tidak hanya dapat digunakan tetapi juga berguna bagi pakar. Sebagai ukuran untuk kegunaan
antarmuka interaksi Manusia-AI, kami mengusulkan untuk menggunakan istilah kausabilitas (lihat Gambar 1).
Istilah AI itu sendiri sebenarnya tidak menguntungkan untuk rekayasa, karena fenomena kecerdasan sangat sulit untuk didefinisikan dan bergantung
pada banyak faktor yang berbeda; Oleh karena itu, kami membatasi diri di sini hanya pada fakta yang relevan secara eksplisit untuk dapat dijelaskan.
Machine Translated by Google
4 dari 13 HOLZINGER ET AL.

4
12 Mengapa algoritma melakukan itu?
Bisakah saya mempercayai hasil ini?

Bagaimana cara memperbaiki kesalahan?

Solusi yang mungkin

Antarmuka
penjelasan

Pakar domain dapat memahami mengapa...

Dapat dijelaskan
Model

Pakar domain dapat mempelajari dan memperbaiki kesalahan...

Pakar domain dapat memberlakukan kembali sesuai permintaan...

generalisasi yang sangat baik dari titik data yang sangat sedikit.
1
Saya
N

Vxxa.

N
Saya

= di Vxxa.
1 N
N
var[aT X]= –Nÿn=1aT Xi – – ÿj=1

Menjelaskan (Interpretasi) berarti memberikan penyebab dari fenomena yang diamati dengan cara yang dapat dipahami melalui deskripsi
N
X = aT J

1n X
var[aT X]= –1 ÿnn=1aT Xi – – ÿj=1

linguistik dari hubungan logis dan kausalnya. Dalam teori sains, menurut model hipotetis-deduktif dari Karl Popper, penjelasan kausal merupakan
landasan sains untuk menurunkan fakta dari hukum dan kondisi dengan cara deduktif. Akibatnya, kausalitas dan penalaran kausal adalah area
yang sangat penting untuk AI yang dapat dijelaskan (Pearl & Mac kenzie, 2018). Memahami dan menjelaskan adalah prasyarat untuk
retraceability. Pertanyaannya tetap terbuka: "Apa yang pada prinsipnya dapat dimengerti oleh manusia?".
J

Dapat dimengerti secara langsung, sehingga dapat dijelaskan untuk manusia adalah data, objek, atau representasi grafis apa pun ÿR3 , misalnya,
gambar (susunan piksel, mesin terbang, fungsi korelasi, grafik, proyeksi 2D/3D, dll., atau teks (urutan bahasa alami).
Manusia dapat memahami data sebagai gambar atau kata-kata dan memprosesnya sebagai informasi dalam pengertian fisiologis, secara
kognitif menafsirkan informasi yang diekstraksi dengan mengacu pada pengetahuan subjektif mereka sebelumnya (manusia memiliki banyak
pengetahuan sebelumnya) dan mengintegrasikan pengetahuan baru ini ke dalam pengetahuan mereka sendiri. ruang pengetahuan kognitif.
Tegasnya, harus ada pembedaan antara memahami gambar (gambar) alam, memahami teks (simbol) dan memahami bahasa lisan.
Tidak dapat dipahami secara langsung, sehingga tidak dapat dijelaskan bagi manusia adalah ruang vektor abstrak >R3 (misalnya penyisipan
kata) atau tidak terdokumentasi, yaitu fitur input yang sebelumnya tidak dikenal (misalnya, urutan teks dengan simbol yang tidak diketahui
2

2
Memasukan data

Memasukan data

GAMBAR 1 Pendekatan statistik dengan kinerja terbaik saat ini adalah kotak hitam dan tidak menumbuhkan pemahaman, kepercayaan, dan koreksi kesalahan (di atas). Ini menyiratkan kebutuhan mendesak tidak hanya

untuk model yang dapat dijelaskan, tetapi juga untuk antarmuka penjelasan — dan sebagai ukuran untuk interaksi manusia-AI, kita memerlukan konsep kausabilitas — analog dengan kegunaan dalam interaksi manusia-

komputer klasik

Pemahaman tidak hanya mengenali, memahami, dan mereproduksi (stimulus-respons pada tingkat fisiologis), dan bukan hanya pemahaman
konten dan representasi fakta belaka, tetapi pemahaman intelektual tentang konteks di mana fakta-fakta ini muncul. Sebaliknya, pemahaman
dapat dilihat sebagai jembatan antara persepsi dan penalaran. Dari menangkap konteks, tanpa diragukan lagi merupakan indikator kecerdasan
yang penting, AI canggih saat ini masih sangat jauh. Di sisi lain, orang sangat mampu menangkap konteks secara instan dan membuat

(misalnya, bahasa Mandarin untuk penutur bahasa Inggris). Sebuah contoh akan mengilustrasikannya: dalam apa yang disebut penyematan
kata (Mikolov, Chen, Corrado, & Dean, 2013), kata dan/atau frasa ditugaskan ke vektor. Secara konseptual, ini adalah penyisipan matematis
ruang dengan satu dimensi per kata ke dalam ruang vektor kontinu dengan dimensi yang diperkecil Metode untuk menghasilkan "pemetaan"
seperti itu termasuk, misalnya, jaring saraf yang dalam dan model probabilistik dengan representasi eksplisit dalam kaitannya dengan konteks
di mana kata-kata itu muncul.
Untuk perincian lebih lanjut tentang teori di balik penjelasan ilmiah, kami mengacu pada prinsip-prinsip penalaran abduktif (Ma et al., 2010)
dan menunjuk ke beberapa karya saat ini (Babiker & Goebel, 2017; Goebel et al., 2018).

3 | PENDEKATAN UMUM DARI MODEL AI YANG DAPAT DIJELASKAN

Kita dapat membedakan dua jenis AI yang dapat dijelaskan, yang dapat didenominasi dengan nama Latin yang digunakan dalam hukum
(Fellmeth & Hor witz, 2009): penjelasan posthoc = “(lat.) setelah ini”, terjadi setelah peristiwa yang dimaksud; misalnya, menjelaskan apa yang
diprediksi model dalam hal apa yang siap ditafsirkan; penjelasan ante-hoc = "(lat.) sebelum ini", terjadi sebelum
Machine Translated by Google
HOLZINGER ET AL. 5 dari 13

4
12
acara yang bersangkutan; misalnya, menggabungkan kemampuan menjelaskan secara langsung ke dalam struktur model AI, kemampuan menjelaskan melalui
desain.
Sistem posthoc bertujuan untuk memberikan penjelasan lokal untuk keputusan tertentu dan membuatnya dapat direproduksi sesuai permintaan (alih-alih
menjelaskan keseluruhan perilaku sistem). Contoh representatif adalah penjelasan model-agnostik lokal yang dapat ditafsirkan (LIME) yang dikembangkan
oleh Ribeiro, Singh, dan Guestrin (2016b), yang merupakan sistem model-agnostik, di mana x 2 Rd adalah representasi asli 2 Rd0 digunakan untuk
tasi dari suatu contoh yang dijelaskan, dan x menjadi
0

menunjukkan vektor untuk representasinya yang dapat ditafsirkan (misalnya, x mungkin merupakan
vektor fitur yang berisi penyematan kata, dengan x di kumpulan
atas
0

kata-kata). Tujuannya adalah untuk mengidentifikasi model Rd0 yang dapat ditafsirkan ! R,
representasi yang dapat ditafsirkan yang setia secara lokal ke pengklasifikasi. Model penjelasannya adalah g : di mana G adalah kelas g2G,
model yang berpotensi dapat ditafsirkan, seperti model linier, pohon keputusan, atau daftar aturan; diberikan model g 2 G, dapat divisualisasikan sebagai
penjelasan kepada pakar manusia (untuk detail silakan lihat (Ribeiro, Singh, & Guestrin, 2016a)).
Contoh lain untuk sistem posthoc adalah penjelasan kotak hitam melalui pendekatan transparan (BETA), kerangka kerja model agnostik untuk menjelaskan
perilaku setiap pengklasifikasi kotak hitam dengan secara bersamaan mengoptimalkan kesetiaan pada model asli dan interpretasi penjelasan yang
diperkenalkan oleh Lakkaraju, Kamar , Caruana, dan Leskovec (2017).
Bach dkk. (2015) menyajikan solusi umum untuk masalah pemahaman keputusan klasifikasi dengan dekomposisi pixel-bijaksana dari pengklasifikasi
nonlinier yang memungkinkan visualisasi kontribusi piksel tunggal untuk prediksi untuk pengklasifikasi berbasis kernel di atas sekumpulan fitur kata dan untuk
jaringan saraf berlapis-lapis.
Sistem ante-hoc dapat ditafsirkan dengan desain menuju pendekatan kotak kaca (Holzinger et al., 2017, 2018); contoh khas termasuk regresi linier,
pohon keputusan dan sistem inferensi fuzzy. Yang terakhir memiliki tradisi panjang dan dapat dirancang dari pengetahuan pakar atau dari data dan menyediakan
—dari sudut pandang interaksi Manusia-AI—kerangka kerja yang baik untuk interaksi antara pengetahuan pakar manusia dan pengetahuan tersembunyi dalam
data (Guillaume, 2001). Contoh lebih lanjut disajikan oleh Caruana et al. (2015), di mana model aditif umum berkinerja tinggi dengan interaksi berpasangan
(GAM) diterapkan pada masalah dari domain medis yang menghasilkan model yang dapat dipahami, yang mengungkap pola mengejutkan dalam data yang
sebelumnya telah mencegah model yang dipelajari kompleks untuk diterjunkan dalam domain ini; yang penting adalah bahwa mereka menunjukkan skalabilitas
metode tersebut ke kumpulan data besar yang berisi ratusan ribu pasien dan ribuan atribut sambil tetap dapat dipahami dan memberikan akurasi yang
sebanding dengan metode ML terbaik (tidak dapat dipahami). Contoh lebih lanjut untuk metode ante-hoc dapat dilihat di Poulin et al. (2006), di mana mereka
menggambarkan kerangka kerja untuk menjelaskan secara visual keputusan dari setiap pengklasifikasi yang dirumuskan sebagai model aditif dan menunjukkan
bagaimana menerapkan kerangka kerja ini dalam konteks tiga model: naïve Bayes, mesin vektor dukungan linier dan regresi logistik, yang mereka
mengimplementasikan kesuksesan sepenuhnya ke dalam aplikasi bioinformatika (Szafron et al., 2004).

3.1 | Contoh: menafsirkan jaringan saraf yang dalam

Deep neural network (DNN), khususnya convolutional neural network (CNN) dan recurrent neural network (RNN) telah terbukti dapat diterapkan untuk berbagai
masalah praktis, mulai dari pengenalan citra (Simonyan & Zisserman, 2014) dan klasifikasi citra (Esteva et al., 2017) untuk pengenalan gerakan (Singh et al.,
2017). Pada saat yang sama, pendekatan ini juga luar biasa dari sudut pandang ilmiah, karena mencerminkan proses manusia. Misalnya, manusia mengatur
ide-ide mereka secara hierarkis (Bengio, 2009; Schmidhuber, 2015), dan karya terbaru telah mengamati bukti tentang bagaimana model yang dipelajari di
CNN serupa dengan yang ditemukan di jalur ventral visual manusia (Khaligh-Razavi & Kriegeskorte, 2014 ).

Sejak tahap awal penelitian tentang jaringan saraf tiruan, orang telah mencoba membuatnya dapat dijelaskan. Salah satu pendekatan awal adalah pendekatan
gradien dalam bentuk analisis sensitivitas (Simonyan & Zisserman, 2014).
Jaringan saraf tiruan (NN) adalah kumpulan neuron yang diatur dalam urutan beberapa lapisan, di mana neuron menerima sebagai input aktivasi neuron
dari lapisan sebelumnya, dan melakukan perhitungan sederhana (misalnya, jumlah bobot input diikuti oleh aktivasi nonlinier). Neuron jaringan bersama-sama
mengimplementasikan pemetaan nonlinier kompleks dari input ke output. Pemetaan ini dipelajari dari data dengan mengadaptasi bobot masing-masing neuron
menggunakan propagasi balik, yang berulang kali menyesuaikan bobot koneksi dalam jaringan untuk meminimalkan perbedaan antara vektor keluaran saat
ini dan vektor keluaran yang diinginkan. Sebagai hasil dari penyesuaian bobot, unit tersembunyi internal yang bukan bagian dari input atau output datang untuk
mewakili fitur penting dari domain tugas, dan keteraturan dalam tugas ditangkap oleh interaksi unit-unit ini (lihat makalah asli dari Rumelhart, Hinton, dan
Williams (1986) dan ulasan oleh Widrow dan Lehr (1990) untuk gambaran umum).

Biasanya, jaringan saraf dalam dilatih menggunakan pembelajaran terawasi pada kumpulan data yang besar dan dianotasi dengan hati-hati. Namun,
kebutuhan akan kumpulan data tersebut membatasi ruang lingkup masalah yang dapat diatasi. Di satu sisi, hal ini menyebabkan proliferasi hasil pembelajaran
mendalam pada tugas yang sama menggunakan kumpulan data terkenal yang sama (Rolnick, Veit, Belongie, & Shavit, 2017). Di sisi lain, relevansi yang
muncul dari pendekatan yang lemah dan tidak diawasi yang bertujuan untuk mengurangi kebutuhan akan anotasi (Schlegl, Seeböck, Waldstein, Schmidt-
Erfurth, & Langs, 2017; Seeböck et al., 2018).
Machine Translated by Google
6 dari 13 HOLZINGER ET AL.

4
12 Ada beberapa pendekatan untuk menyelidiki dan menafsirkan jaringan saraf yang dalam (Kendall & Gal, 2017). Ketidakpastian
memberikan ukuran seberapa kecil gangguan data pelatihan akan mengubah parameter model, yang disebut ketidakpastian model atau
ketidakpastian epistemik, atau bagaimana perubahan parameter input akan memengaruhi prediksi untuk satu contoh tertentu,
ketidakpastian prediktif, atau variabilitas aleatorik (Gal , 2016). Dalam pendekatan Bayesian Deep Learning, Pawlowski, Brock, Lee,
Rajchl, dan Glocker (2017) mendekati parameter model melalui metode variasional, menghasilkan informasi ketidakpastian bobot model,
dan sarana untuk memperoleh ketidakpastian prediktif dari keluaran model. Memberikan ketidakpastian memfasilitasi penggunaan
prediksi model yang tepat dalam skenario di mana berbagai sumber informasi digabungkan seperti biasanya dalam kasus kedokteran.
Kita selanjutnya dapat membedakan ketidakpastian aleatorik, menjadi ketidakpastian homoskedatik yang tidak bergantung pada input
tertentu, dan ketidakpastian heteroskedatik yang mungkin berubah dengan input berbeda pada sistem.
Metode atribusi berusaha menghubungkan output tertentu dari jaringan saraf dalam ke variabel input. Sundararajan, Taly, dan Yan
(2017) menganalisis gradien output ketika mengubah variabel input individu. Dalam arti ini melacak ketidakpastian prediksi kembali ke
komponen input multivariat. Zhou, Khosla, Lapedriza, Oliva, dan Torralba (2016) menggunakan peta aktivasi untuk mengidentifikasi
bagian gambar yang relevan untuk prediksi jaringan. Baru-baru ini pendekatan atribusi untuk model generatif telah diperkenalkan.
Baumgartner, Koch, Tezcan, Ang, dan Konukoglu (2017) menunjukkan bagaimana area gambar yang spesifik untuk kelas latar depan di
Wasserstein Generative Adversarial Networks (WGAN) dapat diidentifikasi dan disorot dalam data. Biffi et al. (2018) mempelajari fitur
yang dapat ditafsirkan untuk enkoder otomatis variasional (VAE) dengan mempelajari gradien di ruang penyematan laten yang ditautkan
ke hasil klasifikasi.
Maksimalisasi aktivasi (Montavon et al., 2017) mengidentifikasi pola input yang mengarah pada aktivasi maksimal yang berkaitan
dengan kelas spesifik di lapisan output (Berkes & Wiskott, 2006; Simonyan & Zisserman, 2014). Hal ini memungkinkan visualisasi
prototipe kelas, dan menilai properti mana yang ditangkap model untuk kelas1 (Erhan, Bengio, Courville, & Vincent, 2009). Untuk data
pemetaan pengklasifikasi jaringan saraf menunjuk x ke satu set kelas (ÿc)c, pendekatan ini mengidentifikasi wilayah yang sangat mungkin
terjadi di ruang input, yang menciptakan probabilitas output tinggi untuk kelas tertentu. Posisi ini dapat ditemukan dengan memperkenalkan
model kerapatan data dalam fungsi tujuan standar logp(ÿc | x) ÿ ÿkxk2 yang dimaksimalkan selama pelatihan model. Alih-alih regularizer
ÿ2-norm yang mengimplementasikan preferensi untuk input yang dekat dengan asal, model kepadatan atau "pakar" (Montavon et al.,
2017) menghasilkan istilah logp(ÿc| x) + logp(x ) yang harus dimaksimalkan. Di sini tipe proto didorong untuk secara bersamaan
menghasilkan respon kelas yang kuat dan menyerupai data. Dengan menerapkan aturan Bayes, tujuan yang baru didefinisikan dapat
diidentifikasi, hingga kesalahan pemodelan dan suku konstanta, sebagai kerapatan data yang dikondisikan kelas p(x| ÿc ). Dengan
demikian, prototipe yang dipelajari sesuai dengan input x yang paling mungkin untuk kelas ÿc (Gambar 2).
Pilihan yang mungkin bagi pakar adalah mesin Boltzmann terbatas Gaussian (RBM). RBM adalah model grafis dua lapis, bipartit,
tidak terarah dengan satu set unit tersembunyi biner p(h), satu set unit terlihat (biner atau bernilai nyata) p(v), dengan koneksi metrik
simetris antara dua lapisan diwakili oleh matriks bobot W. Semantik probabilistik untuk RBM didefinisikan oleh fungsi energinya (untuk
detailnya lihat bab oleh Hinton (2012). Fungsi probabilitasnya dapat ditulis sebagai:

log pð Þx = P f jð Þxÿ
J
1
2 x>ÿÿ1x + cst:, di mana f jð Þx = log 1 + exp w> x + bj
J adalah faktor dengan parameter yang dipelajari dari

data. Saat menginterpretasikan konsep yang lebih kompleks seperti kelas citra alami, model kerapatan lain seperti RBM konvolusional
(Lee, Grosse, Ranganath, & Ng, 2009) atau pixel RNN (Oord, Kalchbrenner, & Kavukcuoglu, 2016) cocok.
Pemilihan yang disebut ahli p(x) memainkan peran penting. Pada dasarnya, ada empat kasus berbeda: Dalam kasus di mana "pakar"
tidak ada, yaitu, masalah optimisasi direduksi menjadi maksimalisasi fungsi probabilitas kelas p

GAMBAR 2 Tinjauan tentang seberapa dalam model pembelajaran dapat diselidiki untuk informasi mengenai ketidakpastian, atribusi, dan prototipe
Machine Translated by Google
HOLZINGER ET AL. 7 dari 13

4
12
(ÿc| x). Dalam kasus di mana kita melihat ekstrem lain, yaitu, pakar dipasok pada beberapa distribusi data, dan dengan demikian, masalah optimisasi pada
dasarnya adalah pemaksimalan pakar p(x) itu sendiri.
Saat menggunakan maksimalisasi aktivasi untuk tujuan validasi model, seorang ahli yang overfit harus dihindari, karena yang terakhir dapat
menyembunyikan mode kegagalan yang menarik dari model p(ÿc| x). Pakar yang agak kurang fit (kasus b), misalnya, yang hanya menyukai gambar
dengan warna alami, sudah cukup. Di sisi lain, ketika menggunakan AM untuk mendapatkan pengetahuan tentang konsep ÿc yang diprediksi dengan
benar, fokusnya harus mencegah underfitting. Memang, seorang ahli yang kurang fit akan memaparkan optima dari p(ÿc| x) yang berpotensi jauh dari data,
dan oleh karena itu, prototipe x? tidak akan benar-benar mewakili ÿc.
Pembelajaran tanpa pengawasan dan model generatif. Dalam aplikasi tertentu, akan sangat membantu untuk tidak hanya memprediksi berdasarkan
data input, tetapi juga mempelajari struktur kumpulan contoh pelatihan, baik untuk memberikan representasi parametrik dari densitas p(x), atau setidaknya
dapat mengambil sampel dari ini. contoh pembangkit kepadatan dari jenis yang sama dengan contoh pelatihan. Contohnya adalah mesin Boltzmann,
autoencoder, atau generative adversarial network) yang tidak menyediakan fungsi densitas secara langsung, tetapi dapat diambil sampelnya, biasanya
melalui dua langkah berikut:

1. Contoh dari distribusi sederhana qð Þ z Nð Þ 0, I yang didefinisikan dalam ruang kode abstrak Z; 2. Terapkan ke
sampel fungsi decoding g : Z ! X, yang memetakannya kembali ke domain input asli.

Ada dua aspek model yang dipelajari dengan pembelajaran tanpa pengawasan yang relevan dalam konteks kemampuan menjelaskan. Pertama,
representasi laten yang dipelajari dalam model ini dapat memiliki struktur yang mencerminkan pola hubungan yang relatif kompleks dalam data. Misalnya,
dalam Mikolov et al. (2013) penulis menunjukkan bahwa penyisipan kata dapat mencerminkan kesamaan semantik. Kedua, mampu menghasilkan instance,
atau bahkan instance yang sedekat mungkin dengan pengamatan, menyediakan sarana untuk mempelajari perbedaan contoh ke kelas. Ini relevan dalam
kedokteran, di mana penemuan dan studi anomali yang berpotensi terkait dengan penyakit relevan Schlegl et al. (2017).

Salah satu contohnya adalah generative adversarial network (GAN) yang diperkenalkan oleh Goodfellow et al. (2014). Ini terdiri dari dua model: model
generatif G yang menangkap distribusi data, dan model diskriminatif D yang memperkirakan probabilitas sampel berasal dari data pelatihan daripada dari
G. Prosedur pelatihan untuk G adalah memaksimalkan probabilitas D membuat kesalahan—yang berfungsi seperti minimax (meminimalkan kemungkinan
kerugian untuk kasus terburuk kerugian maksimum) permainan dua pemain. Di ruang fungsi arbitrer G dan D, ada solusi unik, dengan G memulihkan
distribusi data pelatihan di mana-mana; dalam kasus di mana G dan D ditentukan oleh perceptron berlapis-lapis, seluruh sistem bisa
dan D sama 12

dengan dilatih dengan backpropagation.

Untuk mempelajari distribusi generator pg pada data x, a prior harus didefinisikan pada variabel derau input pz(z), dan kemudian pemetaan ke ruang
data sebagai G(z; ÿg), di mana G adalah fungsi yang dapat dibedakan yang diwakili oleh a multilayer perceptron dengan parameter ÿg. Perceptron
multilayer kedua D(x; ÿd) menghasilkan skalar tunggal. D(x) mewakili probabilitas bahwa x berasal dari data daripada pg. D dapat dilatih untuk
memaksimalkan kemungkinan pemberian label yang benar untuk contoh pelatihan dan sampel dari G. Secara bersamaan G dapat dilatih untuk
meminimalkan log(1 ÿ D(G(z))); dengan kata lain, D dan G memainkan permainan minimax dua pemain berikut dengan fungsi nilai V(G, D):

min maks V Dð Þ , G
G D = Expdatat Þx ½ log Dð Þx + Ezpzð Þz ½ log 1ð Þ ÿ D Gð Þ ð Þz :

Nguyen, Dosovitskiy, Yosinski, Brox, dan Clune (2016) mengusulkan pembuatan prototipe untuk ÿc dengan menggabungkan
model generatif dalam kerangka maksimalisasi aktivasi. Masalah optimasi didefinisikan ulang sebagai:
ð1Þ

2
maks log p c jgð z ÿÿk kz , ð2Þ
z2Z

di mana suku pertama adalah komposisi dari dekoder yang baru diperkenalkan dan pengklasifikasi asli, dan di mana suku kedua adalah masalah optimisasi
?
regularizer ÿ2-norm di ruang kode. Setelah solusi z diperoleh dengan ditemukan, prototipe untuk ÿc adalah
?
mendekode solusinya, yaitu x? = g(z ).
Regularizer ÿ2-norm di ruang input dapat dipahami dalam konteks data gambar sebagai mendukung gambar yang tampak abu-abu. Efek dari
regularizer ÿ2-norm dalam ruang kode malah dapat dipahami sebagai mendorong kode yang memiliki probabilitas tinggi. Kode probabilitas tinggi tidak
harus dipetakan ke wilayah kepadatan tinggi dari ruang input; untuk lebih jelasnya lihat tutorial bagus yang diberikan oleh Montavon et al. (2017).

3.2 | Contoh kasus penggunaan histopatologi

Bagian ini menunjukkan kompleksitas penjelasan dari ahli patologi manusia. Untuk diagnosis berikut
Machine Translated by Google
8 dari 13 HOLZINGER ET AL.

4
12 Inti sel
endotel sinusoid
Jalur portal

Sel Kupfer

GAMBAR 3 Fitur dalam slide histologi dianotasi oleh ahli patologi manusia
Saluran empedu Vena portal

Inti hepatosit
Tetesan
lipid besar hepatosit
Pembuluh darah

Eritrosit

Steatohepatitis dengan portal ringan dan fibrosis septum tidak lengkap dan fibrosis sentrilobular ringan tipe kawat
ayam. Gambaran morfologis sesuai dengan steatohepatitis alkoholik. Sejarah penyalahgunaan alkohol?

3.2.1 | Contoh penjelasan posthoc manusia Kami

meminta ahli patologi berpengalaman untuk menjelaskan apa yang dianggapnya relevan dalam slide histologi. Sebagian kecil dari
bagian histologis ditunjukkan pada Gambar 3 sebagai ilustrasi. Untuk diagnosis khusus ini ahli patologi memberikan fakta-fakta
berikut sebagai penjelasan posthoc:

• Biopsi hati dengan 10 bidang portal yang dapat

dievaluasi. • Arsitektur lobulus
diawetkan. • Sel-sel hati tersusun dalam pelat-pelat biasa
setebal satu lapis sel. • Lapangan portal sedikit melebar
dan sedikit fibrotik. • Porto-portal dan septa porto-sentral
terisolasi yang tidak lengkap. • Bidang portal sedikit meradang dengan sel campuran (limfosit, granulosit neutrofil sporadis) inflatrates inflamasi.
Peradangan terbatas pada bidang
portal. • Pelat batas parenkim utuh, sel hati dengan anisokaryosis rendah, droplet fatty liver sedang (diperkirakan degenerasi lemak
parenkim pada 30% area parenkim).
• Sel hepatik sentral lobular membengkak, sitoplasma ringan dengan penggabungan badan Mallory-Denk. •
Sebagian besar sel hati ini dikelilingi oleh granulosit neutrofil dan sebagian diselingi (satelliteosis). • Fibrosis perivenular
minor (=sklerosis sentral). • Sel Kupffer sedikit
meningkat secara difus, nodul sel Kupffer terisolasi dapat terdeteksi. • Pada parenkim
minor noda Berliner blue dan siderosis sel Kupffer.

3.2.2 | Contoh struktur penjelasan ante-hoc Kami juga

meminta ahli patologi untuk menjelaskan proses dan konsep yang paling relevan dalam patologi hati. Harap dicatat, bahwa uraian
berikut hanya menunjukkan struktur dan kompleksitas dan jauh dari buku teks tentang patologi hati. Ahli patologi menggambarkan
prosedur dan pengamatan berikut sebagai penjelasan ante-hoc untuk patologi hati:

• Jelaskan dalam evaluasi makroskopis dari bagian histologis fitur berikut: – jenis, jumlah dan
ukuran spesimen (spesimen bedah atau biopsi) – kohesi jaringan
biopsi – kualitas pewarnaan
(H & E/CAB/Sirius red/iron/ev. PAS, immunohsistochemistry) – jaringan eksogen
yang sudah terlihat (tumor)
• Jelaskan dalam evaluasi mikroskopis pada perbesaran rendah ciri-ciri berikut:
–arsitektur lobular diawetkan/diganggu dalam arti fibrosis atau nekrosis/hancur dalam konteks sirosis atau tumor –jumlah bidang
portal yang dapat dinilai (optimal 10–15 per slide) –pelat sel hati
(hepatosit) reguler-tebal satu lapisan sel/ beberapa lapisan sel tebal
Machine Translated by Google
HOLZINGER ET AL. 9 dari 13

4
12 – perubahan inflamasi portal / lobular / gabungan; necrosis lobular peripheral/lobular central) – ada atau tidak adanya
jaringan
• Jelaskan dalam evaluasi mikroskopis pada perbesaran yang lebih tinggi ciri-ciri berikut:

– Saluran portal: regular/extended/fibrotic/rounded/edematous – batas

parenkim jaringan ikat: tajam/tidak tajam – pelat batas parenkim:
diawetkan/hancur sebagian/sebagian besar hancur/tidak ada infiltrat inflamasi portal/- antarmuka periportal, jarang/ketat/terlokalisir -folikular/ limfositik/
limfohistiositik/neutrofil-granulositik/ stres-eosino fil-granulositik/granulomatous; – konten abnormal bidang portal tidak ada (sel tumor/benda asing/parasit) –
pembuluh portal (arteria hepatica, vena
portae, dan pembuluh limfatik) ada/melebar/menyempit/inflamasi;

– Saluran empedu: ada / memanjang / tidak ada / epitel satu lapis / epitel multilayer / epitel polimorfik / inflamasi
perubahan/rusak sebagian/bekas luka/isi (trombus empedu/porfirintrombus);
– reaksi duktal tidak ada / rendah / diucapkan / kolestasis duktal. –lobulus
(lobulus, parenkim hati): Sel-sel hati besar/menggelembungkan/atrofi kecil/anisositosis/apoptosis –sitoplasma: granular/seperti jaring/
sitoplasma ringan-kaya-glikogen/menyebar homogen/dihomogenisasi secara fokal –inklusi sitoplasma lemak tetesan besar/ tetesan
kecil lemak/butiran lipofuscin/butiran siderin/inklusi AAT/inklusi Fibrinogen/badan Mallory Denk (MDB), badan hialin/bilirubin

- bilirubinostasis kanalikuli

– Nekrosa disebarluaskan/bertemu/lobular sentral/lobular pinggiran/menjembatani porto-sentral/menjembatani sentro-sentral/masif;

—inti sel hati anisocaryosis/pycnosis/punch cores/“sand cores”/inklusi inti;
– Sel Kupffer secara fokal meningkat (nodular)/difusi meningkat/membesar/inklusi (siderin, pigmen, eritrosit, patogen, bahan asing); –sel bintang (sel stelata)
meningkat –kandungan
abnormal/dilatasi sinusoidal (misalnya
darah, fibrin, dan sel tumor) –lumen vena sentral terbuka/menyempit/lenyap/meradang/
fibrosis dinding. –fibrosis: portal/perisinusoidal/pericellular/perivenular/septal/porto-portal/
porto-central/centro-central/meshed wire fibrosi
s / sirosis tidak lengkap / sirosis.
–jaringan asing (jaringan tumor akan dicirikan secara morfologis, primer/sekunder-metastatik/tidak jelas).
Untuk kasus tertentu, nilai dari semua fitur di atas berkontribusi pada diagnosis dengan bobot berbeda dan hubungan sebab akibat sebelumnya
dikirim dalam model manusia tentang patologi hati, yang diperoleh seorang ahli melalui pelatihan dan pengalaman.

4 | PANDANGAN MASA DEPAN

4.1 | Pembelajaran yang diawasi dengan lemah

Pembelajaran yang diawasi sangat mahal dalam domain medis karena rumit untuk mendapatkan informasi pengawasan yang kuat dan label yang sepenuhnya
benar. Khususnya, pelabelan gambar histopatologis tidak hanya memakan waktu tetapi juga merupakan tugas penting untuk diagnosis kanker, karena secara
klinis penting untuk mengelompokkan jaringan kanker dan mengelompokkannya ke dalam berbagai kelas (Xu, Zhu, Chang, Lai, & Tu, 2014 ). Gambar patologi
digital umumnya memiliki beberapa masalah yang harus dipertimbangkan, termasuk ukuran gambar yang sangat besar (dan masalah yang terlibat untuk DL),
gambar yang tidak diberi label secara memadai (data pelatihan kecil yang tersedia), waktu yang dibutuhkan dari ahli patologi (pelabelan mahal), label yang tidak
mencukupi. (wilayah minat), tingkat perbesaran yang berbeda (menghasilkan tingkat informasi yang berbeda), variasi warna dan artefak (diiris dan ditempatkan
pada slide kaca) dll. (Komura & Ishikawa, 2018).
Pembelajaran yang diawasi dengan lemah (Xu et al., 2014) adalah istilah umum untuk berbagai metode untuk membangun model prediksi dengan belajar
dengan pengawasan yang lemah; lemah karena pengawasan yang tidak lengkap, tidak tepat atau tidak akurat. Dalam tugas supervisi yang kuat kita ingin
mempelajari f : X ! Y dari kumpulan data pelatihan D = (x1, y1), … (xm, ym), di mana X adalah ruang fitur dan (xi, yi) selalu diasumsikan sebagai data yang
terdistribusi secara identik dan independen (yang tidak terjadi di masalah dunia nyata!).
Dalam konteks pembelajaran yang diawasi dengan lemah, kami mengusulkan untuk mengklasifikasikan seluruh gambar slide menurut sistem penilaian
yang banyak digunakan berdasarkan asosiasi dengan karakteristik histomorfologis dan skor prediksi keseluruhan, dan untuk menyediakan tambahan peta
relevansi yang dihasilkan dengan mengamati ahli manusia selama pembuatan diagnosis. . Dengan kombinasi ciri-ciri manusia yang terkenal dan pengklasifikasi
morfologi multiskala baru, model kausal manusia di satu sisi dapat diperluas dan di sisi lain model CNN dapat dijelaskan dengan fitur histomorfologi yang
diketahui. Kami mengusulkan untuk mengekstraksi dari inti sel tunggal jinak dan ganas dan untuk mengklasifikasikan organisasi kromatin (Araujo et al., 2017) di
dalam inti untuk mengkorelasikannya dengan fitur histopatologis dan penanda molekuler.
Machine Translated by Google
10 dari 13 HOLZINGER ET AL.

4
12
4.2 | Model kausal struktural

Arah yang sangat penting adalah penelitian terhadap model kausal struktural (Pearl, 2009; Pearl & Mackenzie, 2018; Peters et al., 2017). AI saat ini berfungsi
baik dalam mode statistik atau mode bebas model. Hal ini memerlukan batasan yang ketat pada efektivitas dan kinerja. Sistem seperti itu tidak dapat
beralasan tentang intervensi dan retrospeksi dan, oleh karena itu, tidak dapat berfungsi untuk AI yang kuat (Pearl & Mackenzie, 2018). Untuk mencapai
kecerdasan tingkat manusia, AI memerlukan panduan model realitas, serupa dengan yang digunakan dalam tugas inferensi kausal. Akibatnya, kami
mengusulkan untuk: (1) mengembangkan teknik visualisasi baru yang dapat dilatih oleh ahli medis, karena mereka dapat mengeksplorasi faktor penjelas
yang mendasari data dan (2) memformalkan model kausal struktural pengambilan keputusan manusia dan fitur pemetaan di ini untuk pendekatan DL. Dalam
patologi digital, model mekanistik semacam itu dapat digunakan untuk menganalisis dan memprediksi respons perilaku jaringan fungsional terhadap fitur dalam
slide histologi, data molekuler, dan riwayat keluarga.

4.3 | Mengembangkan kausabilitas sebagai bidang keilmuan baru

Komunitas interaksi manusia-komputer telah menetapkan berbagai metode kegunaan (Holzinger, 2005). Mirip dengan metodologi, metode, dan pengujian
kegunaan ini, kita memerlukan pengembangan metodologi, metode, dan pengujian kausabilitas, yang didasarkan pada prinsip ilmiah dan teori kausalitas yang
jelas untuk menetapkan kausabilitas sebagai bidang ilmiah yang akan menjadi perlu dengan peningkatan penggunaan AI. Sama seperti langkah-langkah
kegunaan memastikan "kualitas penggunaan" (Bevan, 1995), langkah-langkah kausa harus memastikan "kualitas penjelasan".

Menurut Hierarki Kausal Tiga Lapisan oleh Pearl (2018): Level 1: Asosiasi P(y|
x) dengan aktivitas tipikal “melihat” dan pertanyaan termasuk “Bagaimana melihat X mengubah keyakinan saya pada Y?”, dalam penggunaan kami -kasus
di atas ini adalah pertanyaan tentang "apa fitur dalam histologi menggeser ahli patologi tentang suatu penyakit?"

Level 2: Intervensi P(y| do(x), z) dengan aktivitas tipikal “melakukan” dan pertanyaan termasuk “Bagaimana jika saya melakukan X?”, dalam kasus
penggunaan kami di atas, ini adalah pertanyaan “bagaimana jika profesional medis merekomendasikan perawatan X — akankah pasien
sembuh?”

Level 3: Kontrafaktual P(yx| x , y

0 0

) dengan aktivitas tipikal “retrospeksi” dan pertanyaan termasuk “Apakah Y penyebabnya

untuk X?”, dalam kasus penggunaan kami di atas, ini adalah pertanyaan “apakah pengobatan yang menyembuhkan pasien?”
Untuk masing-masing level ini kita harus mengembangkan metode untuk mengukur keefektifan (apakah penjelasan menggambarkan pernyataan dengan
tingkat detail yang memadai), efisiensi (apakah ini dilakukan dengan waktu dan upaya minimum) dan kepuasan pengguna (seberapa puas pabrik itu?
penjelasan untuk proses pengambilan keputusan). Sekali lagi kami harus menyebutkan bahwa ada tiga jenis penjelasan: (1) penjelasan peer-to-peer seperti
yang dilakukan antara dokter selama pelaporan medis; (2) penjelasan edukatif seperti yang dilakukan antara guru dan siswa; (3) Penjelasan ilmiah dalam arti
sempit teori sains (Popper, 1935). Kami tegaskan bahwa dalam artikel ini kami selalu mengacu pada jenis penjelasan yang pertama.

5 | KESIMPULAN

AI sudah menjadi salah satu teknologi utama dalam perekonomian kita. Ini akan membawa perubahan yang mirip dengan pengenalan mesin uap atau listrik.
Namun, kekhawatiran tentang potensi hilangnya kendali dalam hubungan Manusia-AI semakin meningkat. Isu-isu seperti mengemudi otonom dan pengambilan
keputusan kendaraan yang tidak jelas, misalnya, dalam kasus ekstrim sesaat sebelum tabrakan kecelakaan, telah lama menjadi bahan perdebatan publik. Hal
yang sama berlaku untuk pertanyaan sejauh mana AI dapat atau harus mendukung keputusan medis atau bahkan membuatnya sendiri. Dalam banyak kasus,
penting untuk memahami bagaimana keputusan mesin dibuat dan untuk menilai kualitas penjelasannya.

Sementara solusi berbasis aturan AI awal pada 1950-an mewakili pendekatan "kotak kaca" yang dapat dipahami, kelemahan mereka terletak pada
ketidakpastian dunia nyata. Banyak masalah dari kehidupan kita sehari-hari tidak dapat diwakili oleh aturan logika matematis. Kegagalan algoritme semacam
itu untuk memecahkan masalah yang relatif sederhana bagi manusia, seperti bahasa alami, mengenali wajah, atau memahami lelucon, pada akhirnya
menyebabkan "musim dingin AI" pada 1980-an. Hanya melalui kemenangan metode pembelajaran probabilistik dan statistik sehubungan dengan keberhasilan
jaringan saraf tiruan (“pembelajaran mendalam”) aplikasi AI menjadi semakin sukses.

Saat ini, algoritme DL sangat berguna dalam kehidupan kita sehari-hari: mengemudi secara otonom, pengenalan wajah, pemahaman ucapan, sistem
rekomendasi, dll. sudah bekerja dengan sangat baik. Namun, sangat sulit bagi orang untuk memahami bagaimana algoritme ini mengambil keputusan. Pada
akhirnya, ini disebut model "kotak hitam". Masalahnya adalah bahwa bahkan jika kita memahami prinsip dan teori matematika yang mendasarinya, model
seperti itu tidak memiliki representasi pengetahuan deklaratif yang eksplisit. Solusi AI awal (pada saat itu disebut sistem pakar) memiliki tujuan dari awal
membuat solusi dapat dipahami, dimengerti
Machine Translated by Google
HOLZINGER ET AL. 11 dari 13

4
12
dan dengan demikian dapat dijelaskan, yang juga mungkin dalam masalah yang didefinisikan sangat sempit. Tentu saja, kami harus menyebutkan bahwa banyak
masalah mungkin tidak memerlukan penjelasan untuk semuanya kapan saja.
Di sini, bidang AI yang dapat dijelaskan tidak hanya berguna dan perlu, tetapi juga merupakan peluang besar untuk solusi AI secara umum. Keburaman AI
yang dituduhkan secara umum dapat dikurangi dan kepercayaan yang diperlukan dibangun. Justru ini dapat meningkatkan penerimaan dengan pengguna di
masa depan secara permanen.
Masalah utama dari sistem ML paling sukses saat ini, yang baru-baru ini ditekankan oleh Pearl (2018), adalah sistem tersebut bekerja pada mode bebas
model atau statistik, yang memerlukan batasan parah pada kinerjanya. Sistem seperti itu tidak dapat memahami konteksnya, karenanya tidak dapat bernalar
tentang intervensi dan retrospeksi. Namun, pendekatan semacam itu membutuhkan panduan model manusia yang mirip dengan yang digunakan dalam penelitian
kausalitas (Pearl, 2009; Pearl & Mackenzie, 2018) untuk menjawab pertanyaan “Mengapa?”. Penetapan kausabilitas sebagai bidang ilmiah yang solid dapat
membantu di sini.

“Data dapat memberi tahu Anda bahwa orang yang minum obat pulih lebih cepat daripada mereka yang tidak meminumnya, tetapi mereka tidak
dapat memberi tahu Anda alasannya. Mungkin mereka yang minum obat melakukannya karena mereka mampu membelinya dan akan sembuh
secepat mungkin tanpa obat itu.”

Judea Pearl (2018), The Book of Why: The New Science of Cause and Effect

UCAPAN TERIMA KASIH

Kami berterima kasih atas dukungan dari mitra industri kami Kapsch, Biobank Graz, tim BBMRI.at, proyek fitur EUCloud dan tinjauan kritis dari rekan-rekan kami
di Medical University Graz. Last but not least, kami ingin berterima kasih kepada pengulas anonim atas kritik dan komentar mereka yang berguna.

KONFLIK KEPENTINGAN
Penulis telah menyatakan tidak ada konflik kepentingan untuk artikel ini.

CATATAN AKHIR

1
Dipresentasikan sebagai poster selama lokakarya ICML 2009 tentang Hirarki Fitur Pembelajaran, http://www.cs.toronto.edu/rsala khu/deeplearning/program.html.

ORCID

Andreas Holzinger https://orcid.org/0000-0002-6786-5194

REFERENSI
Abadi , M. , Agarwal , A. , Barham , P. , Brevdo , E. , Chen , Z. , Citro , C. , Corrado , GS , Davis , A. , Dean , J. , & Devin , M. ( 2016). Tensorflow: Pembelajaran mesin berskala besar
pada sistem terdistribusi heterogen. arXiv:1603.04467.
Araujo , T. , Aresta , G. , Castro , E. , Rouco , J. , Aguiar , P. , Eloy , C. , ... Campilho , A. (2017). Klasifikasi citra histologi kanker payudara menggunakan convolutional neural
jaringan. PLoS Satu, 12, e0177544.
Babiker, HKB, & Goebel, R. (2017). Pengantar penjelasan visual yang mendalam. arXiv:1711.09482.
Bach, S., Binder, A., Montavon, G., Klauschen, F., Müller, K.-R., & Samek, W. (2015). Tentang penjelasan berdasarkan piksel untuk keputusan pengklasifikasi non-linear dengan rel berdasarkan lapisan

propagasi evance. PLoS Satu, 10, e0130140.

Baumgartner, CF, Koch, LM, Tezcan, KC, Ang, JX, & Konukoglu, E. (2017). Atribusi fitur visual menggunakan wasserstein gans. Makalah yang disajikan pada Prosiding
konferensi masyarakat komputer IEEE tentang visi komputer dan pengenalan pola.
Bengio, Y. (2009). Mempelajari arsitektur mendalam untuk AI. Dasar dan Tren dalam Pembelajaran Mesin, 2, 1–127.
Bengio, Y., Courville, A., & Vincent, P. (2013). Pembelajaran representasi: Tinjauan dan perspektif baru. Transaksi IEEE pada Analisis Pola dan Mesin Intelli
gence, 35, 1798–1828.
Berkes, P., & Wiskott, L. (2006). Pada analisis dan interpretasi bentuk kuadrat homogen sebagai bidang reseptif. Komputasi Syaraf, 18, 1868–1895.
Bevan, N. (1995). Mengukur kegunaan sebagai kualitas penggunaan. Jurnal Kualitas Perangkat Lunak, 4, 115–130.
Biffi, C., Oktay, O., Tarroni, G., Bai, W., De Marvao, A., Doumou, G., … Rueckert, D. (2018). Mempelajari fitur anatomi yang dapat ditafsirkan melalui model generatif yang dalam: Aplikasi untuk remodeling
jantung. Makalah yang dipresentasikan pada konferensi Internasional tentang komputasi citra medis dan intervensi dengan bantuan komputer (hlm. 464–471). Peloncat.

Bologna, G., & Hayashi, Y. (2017). Karakterisasi aturan simbolik yang tertanam dalam jaringan dimlp yang dalam: Tantangan terhadap transparansi pembelajaran mendalam. Jurnal Arti
Riset Intelijen Resmi dan Komputasi Lunak, 7, 265–286.
Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Model yang dapat dipahami untuk perawatan kesehatan: Memprediksi risiko pneumonia dan penerimaan kembali rumah sakit
selama 30 hari. Makalah yang dipresentasikan pada konferensi internasional ACM SIGKDD ke-21 tentang penemuan pengetahuan dan penambangan data (KDD '15) (hlm. 1721–1730). ACM.
Doran, D., Schulz, S., & Besold, TR (2017). Apa sebenarnya arti AI yang bisa dijelaskan? Sebuah konseptualisasi perspektif baru. arXiv:1710.00794.
 4
12
Machine Translated by Google
12 dari 13

Erhan, D., Bengio, Y., Courville, A., & Vincent, P. (2009). Memvisualisasikan fitur lapisan yang lebih tinggi dari jaringan yang dalam. Laporan Teknis Universitas Monetreal Nr. 1341.
Esteva, A., Kuprel, B., Novoa, RA, Ko, J., Sweter, SM, Blau, HM, & Thrun, S. (2017). Klasifikasi kanker kulit tingkat dokter kulit dengan jaring saraf dalam
bekerja. Alam, 542, 115–118.
Fellmeth, AX, & Horwitz, M. (2009). Panduan untuk bahasa Latin dalam hukum internasional. Oxford, Inggris: Oxford University Press.
Gal, Y. (2016). Ketidakpastian dalam pembelajaran yang mendalam. Cambridge, Inggris: University of Cambridge.
Gershman, SJ, Horvitz, EJ, & Tenenbaum, JB (2015). Rasionalitas komputasi: Paradigma konvergen untuk kecerdasan di otak, pikiran, dan mesin. Sains,
349, 273–278.
Goebel R, Chander A, Holzinger K, Lecue F, Akata Z, Stumpf S, Kieseberg P, & Holzinger A (2018). Dapat Dijelaskan Ai: 42 baru?. Makalah disajikan di
Catatan kuliah Springer dalam ilmu komputer LNCS 11015 (hlm. 295–303). Peloncat.

Buletin, 15, 6–14.

Holzinger, A. (2016). Pembelajaran mesin interaktif untuk informatika kesehatan: Kapan kita membutuhkan human-in-the-loop? Brain Informatics, 3, 119–131.

com/2504-4990/1/1/1
HOLZINGER ET AL.

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., … Bengio, Y. (2014). Jaring permusuhan generatif. Dalam Z. Ghahramani, M. Welling, C. Cortes, ND Lawrence, & KQ
Weinberger (Eds.), Kemajuan dalam sistem pemrosesan informasi saraf (NIPS) (hlm. 2672–2680). Montreal, Kanada: Yayasan Sistem Pemrosesan Informasi Saraf.

Guillaume, S. (2001). Merancang sistem inferensi fuzzy dari data: Tinjauan berorientasi interpretabilitas. Transaksi IEEE pada Sistem Fuzzy, 9, 426–443.
Hamburg, MA, & Collins, FS (2010). Jalan menuju pengobatan pribadi. Jurnal Kedokteran New England, 363, 301–304.
Hinton, GE (2012). Panduan praktis untuk melatih mesin boltzmann terbatas. Di jaringan Neural: Trik perdagangan, catatan kuliah di LNCS ilmu komputer
(Vol. 7700, hlm. 599–619). Heidelberg: Peloncat.
Hoffman, RR, Mueller, ST, Klein, G., & Litman, J. (2018). Metrik untuk AI yang dapat dijelaskan: Tantangan dan prospek. arXiv:1812.04608.
Holzinger, A. (2005). Metode rekayasa kegunaan untuk pengembang perangkat lunak. Komunikasi ACM, 48, 71–74.
Holzinger, A. (2014). Tren penemuan pengetahuan interaktif untuk pengobatan yang dipersonalisasi: Ilmu kognitif bertemu dengan pembelajaran mesin. Informatika Cerdas IEEE

Holzinger, A (2018). Dari pembelajaran mesin hingga AI yang bisa dijelaskan. Makalah yang dipresentasikan pada Simposium Dunia 2018 tentang kecerdasan digital untuk sistem dan mesin (DISA).
Holzinger, A., Biemann, C., Pattichis, CS, & Kell, DB (2017). Apa yang kita butuhkan untuk membangun sistem AI yang dapat dijelaskan untuk domain medis? arXiv:1712.09923.
Holzinger, A., Dehmer, M., & Yurisica, I. (2014). Penemuan pengetahuan dan penambangan data interaktif dalam bioinformatika—Tantangan dan penelitian masa depan yang canggih
arah. Bioinformatika BMC, 15, I1.
Holzinger, A., Plass, M., Holzinger, K., Crisan, GC, Pintea, C.-M., & Palade, V. (2017). Pendekatan pembelajaran mesin interaktif kotak kaca untuk memecahkan masalah np-hard
lem dengan human-in-the-loop. arXiv:1708.01104.
Holzinger, A., Plass, M., Kickmeier-Rust, M., Holzinger, K., Crian, GC, Pintea, C.-M., & Palade, V. (2018). Pembelajaran mesin interaktif: Bukti eksperimental untuk
manusia dalam loop algoritmik. Kecerdasan Terapan, 1–14.
Hudec, M., Bednrov, E., & Holzinger, A. (2018). Memperluas penyebaran data statistik dengan kalimat-kalimat singkat dari bahasa alami. Jurnal Statis Resmi
tics (JOS), 34, 981–1010.
Johnson, WL (1994). Agen yang belajar menjelaskan diri mereka sendiri. Makalah yang dipresentasikan pada konferensi nasional ke-12 tentang kecerdasan buatan (AAAI '94) (hlm. 1257–1263).
AAAI.

Jordan, MI, & Mitchell, TM (2015). Pembelajaran mesin: Tren, perspektif, dan prospek. Sains, 349, 255–260.
Kendall, A., & Gal, Y. (2017). Ketidakpastian apa yang kita butuhkan dalam pembelajaran mendalam bayesian untuk visi komputer? Dalam Kemajuan dalam sistem pemrosesan informasi saraf
(hlm. 5574–5584). Long Beach, CA: Yayasan Sistem Pemrosesan Informasi Syaraf.
Khaligh-Razavi, S.-M., & Kriegeskorte, N. (2014). Model yang diawasi secara mendalam, tetapi bukan tanpa pengawasan, dapat menjelaskan representasi kortikal TI. Biologi Komputasi PLoS,
10, e1003915.
Kieseberg, P., Weippl, E., & Holzinger, A. (2016). Percayai dokter-in-the-loop. Dalam berita Konsorsium Riset Eropa untuk Informatika dan Matematika (ERCIM): Menangani data besar dalam ilmu kehidupan
(Vol. 104, hlm. 32–33). Sophia Antipolis, Prancis: Konsorsium Riset Eropa untuk Informatika dan Matematika.
Komura, D., & Ishikawa, S. (2018). Metode pembelajaran mesin untuk analisis gambar histopatologis. Jurnal Bioteknologi Komputasi dan Struktural, 16, 34–42.
Lacave, C., & Diez, FJ (2002). Tinjauan metode penjelasan untuk jaringan Bayesian. Tinjauan Rekayasa Pengetahuan, 17, 107–127.
Danau, BM, Ullman, TD, Tenenbaum, JB, & Gershman, SJ (2017). Membuat mesin yang belajar dan berpikir seperti manusia. Ilmu Perilaku dan Otak, 40, e253.
Lakkaraju, H., Kamar, E., Caruana, R., & Leskovec, J. (2017). Perkiraan model kotak hitam yang dapat ditafsirkan dan dijelajahi. arXiv:1707.01154.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Pembelajaran mendalam. Alam, 521, 436–444.
Lee, H., Grosse, R., Ranganath, R., & Ng, AY (2009). Jaringan keyakinan mendalam yang konvolusional untuk pembelajaran representasi hierarkis tanpa pengawasan yang dapat diskalakan. Kertas
dipresentasikan pada konferensi internasional tahunan ke-26 tentang pembelajaran mesin (ICML '09) (hlm. 609–616). ACM.
Lee, S., & Holzinger, A. (2016). Penemuan pengetahuan dari data dimensi tinggi yang kompleks. Dalam S. Michaelis, N. Piatkowski, & M. Stolpe (Eds.), Memecahkan skala besar
tugas belajar. Tantangan dan algoritme, catatan kuliah dalam kecerdasan buatan, LNAI 9580 (hlm. 148–167). Heidelberg, Jerman: Springer.
Lipton, ZC (2016). Mitos interpretasi model. arXiv:1606.03490.
Ma, J., Broda, K., Goebel, R., Hosobe, H., Russo, A., & Satoh, K. (2010) Penalaran abduktif spekulatif untuk sistem agen hierarkis. Makalah dipresentasikan di Interna
lokakarya nasional tentang logika komputasi dalam sistem multi-agen (hlm. 49–64). Peloncat.
McCarthy, J. (1960). Program dengan akal sehat (hlm. 75–91). Pusat Komputasi RLE dan MIT.
Michalski, RS, Carbonell, JG, & Mitchell, TM (1984). Pembelajaran mesin: Pendekatan kecerdasan buatan. Heidelberg, Jerman: Springer.
Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Estimasi representasi kata yang efisien dalam ruang vektor. arXiv:1301.3781.
Miller, T. (2019). Penjelasan dalam kecerdasan buatan: Wawasan dari ilmu sosial. Kecerdasan Buatan, 267, 1–38.
Miller, T., Howe, P., & Sonenberg, L. (2017) AI yang Dapat Dijelaskan: Waspadalah terhadap narapidana yang menjalankan suaka atau: Bagaimana saya belajar untuk berhenti khawatir dan mencintai sosial dan perilaku
ilmu vioural. arXiv:1712.00547.

Montavon, G., Samek, W., & Müller, K.-R. (2017). Metode untuk menafsirkan dan memahami jaringan saraf yang dalam. arXiv:1706.07979.
Newell, A., Shaw, JC, & Simon, HA (1958). Program permainan catur dan masalah kompleksitas. Jurnal Penelitian dan Pengembangan IBM, 2, 320–335.
Nguyen, A., Dosovitskiy, A., Yosinski, J., Brox, T., & Clune, J. (2016). Mensintesis input yang disukai untuk neuron dalam jaringan saraf melalui jaringan generator yang dalam.
Dalam DD Lee, M. Sugiyama, UV Luxburg, I. Guyon, & R. Garnett (Eds.), Kemajuan dalam sistem pemrosesan informasi saraf 29 (NIPS 2016) (hlm. 3387–3395).
Barcelona, Spanyol: Yayasan Sistem Pemrosesan Informasi Saraf.
Oord, A. vd, Kalchbrenner, N., dan Kavukcuoglu, K. (2016). Jaringan saraf berulang piksel. arXiv:1601.06759.
Pawlowski, N., Brock, A., Lee, MC, Rajchl, M., & Glocker, B. (2017). Ketidakpastian bobot implisit dalam jaringan saraf. pracetak arXiv arXiv:1711.01297.
Mutiara, J. (2009). Kausalitas: Model, penalaran, dan inferensi (2nd ed.). Cambridge, Inggris: Cambridge University Press.
Mutiara, J. (2018). Hambatan teoretis untuk pembelajaran mesin dengan tujuh percikan dari revolusi kausal. arXiv:1801.04016.
Pearl, J., & Mackenzie, D. (2018). Buku mengapa. New York, NY: Buku Dasar.
Peters, J., Janzing, D., & Schölkopf, B. (2017). Elemen inferensi kausal: Yayasan dan algoritma pembelajaran. Cambridge, MA: MIT-Press.
 4
12
Machine Translated by Google
HOLZINGER ET AL.

Poole, DL, Mackworth, AK, & Goebel, R. (1998). Kecerdasan komputasi: Pendekatan logis. New York, NY: Oxford University Press.
Popper, K. (1935). Logika penelitian. Tentang epistemologi ilmu pengetahuan modern. Wina, Austria: Springer-Verlag.

Ribeiro, MT, Singh, S., & Guestrin, C. (2016a). Interpretabilitas model-agnostik dari pembelajaran mesin. arXiv:1606.05386.
Ribeiro, MT, Singh, S., & Guestrin, C. (2016b). Mengapa saya harus mempercayai Anda?: Menjelaskan prediksi dari pengklasifikasi apa pun. Makalah yang dipresentasikan pada Prosiding
konferensi internasional ACM SIGKDD ke-22 tentang penemuan pengetahuan dan penambangan data (hlm. 1135–1144). ACM.
Rolnick, D., Veit, A., Belongie, S., & Shavit, N. (2017). Pembelajaran mendalam kuat untuk kebisingan label besar-besaran. arXiv:1705.10694.
Rumelhart, DE, Hinton, GE, & Williams, RJ (1986). Mempelajari representasi dengan kesalahan propagasi balik. Alam, 323, 533–536.
Russell, SJ, & Norvig, P. (2010). Kecerdasan buatan: Pendekatan modern (edisi ke-3). Sungai Pelana Atas: Prentice Hall.
Schlegl, T., Seeböck, P., Waldstein, SM, Schmidt-Erfurth, U., & Langs, G. (2017). Deteksi anomali tanpa pengawasan dengan jaringan permusuhan generatif untuk memandu
penemuan penanda. Dalam konferensi Internasional tentang pemrosesan informasi dalam pencitraan medis (hlm. 146–157). Heidelberg, Jerman: Springer.
Schmidhuber, J. (2015). Pembelajaran mendalam di jaringan saraf: Gambaran umum. Jaringan Neural, 61, 85–117.
Seeböck, P., Waldstein, SM, Klimscha, S., Bogunovic, H., Schlegl, T., Gerendas, BS, … Langs, G. (2018). Identifikasi kandidat penanda penyakit tanpa pengawasan
dalam data pencitraan oct retina. Transaksi IEEE pada Pencitraan Medis., 1.
Shortliffe, EH, & Buchanan, BG (1975). Model penalaran yang tidak tepat dalam kedokteran. Biosains Matematika, 23, 351–379.
Simonyan, K., & Zisserman, A. (2014). Jaringan konvolusional yang sangat dalam untuk pengenalan gambar berskala besar. arXiv:1409.1556.
Singh, D., Merdivan, E., Psychoula, I., Kropf, J., Hanke, S., Geist, M., & Holzinger, A. (2017). Pengenalan aktivitas manusia menggunakan jaringan saraf berulang. Dalam A. Holzinger, P.
Kieseberg, AM Tjoa, & E. Weippl (Eds.), Pembelajaran mesin dan ekstraksi pengetahuan: Catatan kuliah dalam ilmu komputer LNCS 10410 (hlm. 267–274). Cham: Springer.

Sundararajan, M., Taly, A., & Yan, Q. (2017). Atribusi aksiomatik untuk jaringan dalam. pracetak arXiv arXiv:1703.01365.
Swartout, W., Paris, C., & Moore, J. (1991). Penjelasan dalam sistem pengetahuan: Desain untuk sistem pakar yang dapat dijelaskan. Pakar IEEE, 6, 58–64.
Szafron, D., Lu, P., Greiner, R., Wishart, DS, Poulin, B., Eisner, R., … Fyshe, A. (2004). Analis proteome: Prediksi khusus dengan penjelasan dalam alat berbasis web
untuk anotasi proteome throughput tinggi. Penelitian Asam Nukleat, 32, W365–W371.
Tenenbaum, JB, Kemp, C., Griffiths, TL, & Goodman, ND (2011). Cara menumbuhkan pikiran: Statistik, struktur, dan abstraksi. Sains, 331, 1279–1285.
Ting, DSW, Cheung, CY-L., Lim, G., Tan, GSW, Quang, ND, Gan, A., … Lee, SY (2017). Pengembangan dan validasi sistem deep learning untuk dia
retinopati betic dan penyakit mata terkait menggunakan gambar retina dari populasi multietnis dengan diabetes. Jama, 318, 2211–2223.
13 dari 13

Poulin, B., Eisner, R., Szafron, D., Lu, P., Greiner, R., Wishart, DS, … Anvik, J. (2006). Penjelasan visual bukti dengan pengklasifikasi aditif. Dalam konferensi Nasional tentang kecerdasan
buatan (hlm. 1822–1829). Cambridge, MA: Pers MIT.

Turkay, C., Jeanquartier, F., Holzinger, A., & Hauser, H. (2014). Pada analisis visual data heterogen yang ditingkatkan secara komputasi dan penerapannya dalam informatika biomedis. Dalam A.
Holzinger & I. Jurisica (Eds.), Penemuan pengetahuan interaktif dan penambangan data: Tantangan canggih dan masa depan dalam informatika biomedis.
Catatan kuliah dalam ilmu komputer LNCS 8401 (hlm. 117–140). Heidelberg, Jerman: Springer.
Widrow, B., & Lehr, MA (1990). 30 tahun jaringan saraf adaptif: Perceptron, madaline, dan backpropagation. Prosiding IEEE, 78, 1415–1442.
Xu, Y., Zhu, J.-Y., Chang, EIC, Lai, M., & Tu, Z. (2014). Segmentasi dan klasifikasi citra kanker histopatologi yang diawasi secara lemah. Analisis Gambar Medis,
18, 591–604.
Zhou, B., Khosla, A., Lapedriza, A., Oliva, A., & Torralba, A. (2016). Mempelajari fitur mendalam untuk pelokalan diskriminatif. Makalah yang dipresentasikan pada Proceedings of the
Konferensi IEEE tentang visi komputer dan pengenalan pola (2921–2929).