PERSPEKTIF DAN

PANDANGAN GLOBAL
Kerangka Audit Kecerdasan Buatan
(Artificial Intelligence) - IIA
Aplikasi Praktis, Bagian A
Edisi Khusus
Global Perspectives:
Artificial Intelligence II

globaliia.org
 Global Perspectives:
Artificial Intelligence II

Daftar Isi
Pendahuluan ............................................................................................ 2
Dewan Penasehat
Kerangka Audit Kecerdasan Buatan - IIA ................................................ 2
Strategi AI ................................................................................................ 3 Anggota dari IIA – Malaysia
Ketahanan Siber ............................................................................... 3
IIA
Kompetensi AI ................................................................................... 4
Federasi Afrika
Tata Kelola ............................................................................................... 5
Akuntabilitas, Tanggungjawab, dan Pengawasan ............................ 5
IIA – Belanda
Regulator .................................................................................... 5
Badan Pengarah/ Dewan/ Komite Audit ..................................... 6
Manajemen Senior ..................................................................... 6
Lini Pertahanan Pertama ............................................................ 6
Carolyn Saint, CIA, CRMA, CPA –
Lini Pertahanan Kedua ............................................................... 7
IIA – Amerika Utara
Lini Pertahanan Ketiga ............................................................... 7
Audit Eksternal............................................................................ 7
Kepatuhan Terhadap Peraturan ....................................................... 8
Arsitektur & Infrastruktur Data ............................................................... 10
Terbitan Sebelumnya
Kualitas Data ......................................................................................... 11
Tindakan Perbaikan Facebook .............................................................. 12
Menggunakan Standar untuk Audit AI ................................................... 13
www.theiia.org/gpi.
Penutup ................................................................................................. 13
Masukan Pembaca

Diterjemahkan dan diselaraskan oleh IIA Indonesia Volunteers:

1. I Made Suandi Putra, MSc, CIA, CRMP

2. I Gde Wiyadnya, CISA, CERG, ERMCP, CA

3. Agnes Maria Widiyanti, CCSA, ERMCP, CA

4. Stephanus Eko Wijikusuma, CISA, CA

globaliia.org
1
 Global Perspectives:
Artificial Intelligence II
Catatan: Laporan ini
adalah laporan
kedua dari seri tiga
bagian. Untuk
informasi lebih lanjut,
lihat laporan
pertama: Kecerdasan
Buatan –
Pertimbangan untuk
Profesi Audit Internal
2 globaliia.org
Pendahuluan
Sebuah proyek baru Google yang disebut AutoML siap untuk menjadikan kecerdasan
buatan (artificial intelligence / AI) - sebuah istilah luas yang mengacu pada teknologi
yang membuat mesin "cerdas" - ke tingkat yang lain. ML, singkatan dari machine
learning, mengacu pada algoritma komputer yang menganalisa data untuk belajar
melakukan tugas-tugas. AutoML adalah algoritma machine-learning yang belajar untuk
membangun algoritma machine-learning lainnya.
Teknisi Google Jeff Dean menggambarkan proyek ini sebagai cara bagi perusahaan
untuk membangun sistem dengan AI walaupun mereka tidak memiliki keahlian yang
luas. Dia memperkirakan hanya beberapa ribu perusahaan yang memiliki kemampuan
yang tepat untuk membangun AI saat ini, namun banyak organisai lainnya telah
memiliki data yang diperlukan. "Kami ingin bergerak dari ribuan organisasi yang telah
memecahkan masalah dengan machine-learning menjadi jutaan," katanya kepada The
New York Times.
Google adalah salah satu dari banyak organisasi yang berinvestasi dalam penelitian
dan penerapan AI untuk mengotomatisasi, menambah, atau meniru kecerdasan
manusia - analisis manusia dan pengambilan keputusan. Mengikuti jalur penciptaan
yang dibuat oleh ilmu komputer, Microsoft baru-baru ini meluncurkan sebuah alat untuk
membantu pemrogram membangun "jaringan syaraf mendalam", sejenis algoritma
komputer yang menghilangkan "banyak beban berat, "menurut Joseph Sirosh, seorang
wakil presiden di Microsoft, di The Times. Fokus yang diberikan untuk memfasilitasi
inisiatif AI organisai ini memiliki arti bahwa semakin penting bagi profesi audit internal
untuk sepenuhnya bersiap dalam menghadapi AI saat ini.
Terdapat banyak istilah lain yang terkait dengan AI selain mechine-learing, seperti
pembelajaran mendalam, pengenalan gambar, pemrosesan bahasa alami, komputasi
kognitif, penguatan kecerdasan, peningkatan kognitif, peningkatan kecerdasan mesin,
dan peningkatan kecerdasan. AI, seperti yang digunakan dalam Kerangka Audit IIA
(Framework), mencakup semua konsep ini.
Kerangka Audit Kecerdasan Buatan - IIA
Seperti yang dijelaskan dalam tulisan sebelumnya, Kecerdasan Buatan - Pertimbangan
untuk Profesi Audit Internal, peran audit internal dalam AI adalah untuk "membantu
organisasi dalam mengevaluasi, memahami, dan mengkomunikasikan tingkatan di
mana kecerdasan buatan akan memiliki dampak (negatif atau positif) terhadap
kemampuan organisasi untuk menciptakan nilai dalam jangka pendek, menengah, atau
panjang. "
Untuk membantu audit internal memenuhi peran ini, auditor internal dapat
memanfaatkan Kerangka Audit IIA dalam memberikan layanan konsultasi, asurans,
atau gabungan konsultasi/ asurans yang terkait AI, yang sesuai dengan organisasi.
Kerangka ini terdiri dari tiga komponen menyeluruh - Strategi AI, Tata Kelola, dan
Faktor Manusia - dan tujuh elemen: Ketahanan Siber; Kompetensi AI; Kualitas Data;
Arsitektur & Infrastruktur Data; Pengukuran Kinerja; Etika; dan Kotak Hitam (The Black
Box)
 Global Perspectives:
Artificial Intelligence II

Audit internal harus mempertimbangkan berbagai penugasan atau

pengendalian, dan aktivitas atau prosedur dalam menerapkan Kerangka dan
menyediakan jasa konsultasi, asurans atau gabungan jasa
konsultasi/assurans dari Audit Internal yang berhubungan dengan kegiatan
AI organisasi. Tujuan dan kegiatan atau prosedur yang relevan yang
membahas Strategi (elemen Ketahanan Siber dan AI) dan Tata Kelola
(elemen Arsitektur & Infrastruktur Data dan Kualitas Data) dari Kerangka ini
disediakan dalam laporan ini. Tujuan dan kegiatan atau prosedur yang
relevan yang membahas tata kelola (ElemenPengukuran Kinerja) dan
elemen Faktor Manusia (Etika dan Kotak Hitam) akan diberikan di Bagian III
dari seri tiga bagian ini.

Strategi AI
Strategi AI masing-masing organisasi akan unik yang sesuai dengan
pendekatan organisasi untuk memanfaatkan peluang yang diberikan AI.
Strategi AI organisasi mungkin merupakan perluasan keseluruhan strategi
data digital atau strategi big data organisasi. Strategi AI harus secara jelas
mengartikulasikan hasil kegiatan AI yang diinginkan. Strategi AI harus
dikembangkan secara kolaboratif antara pimpinan bisnis organisasi yang
dapat mengartikulasikan hasil kegiatan AI yang diinginkan serta memahami
bagaimana hasil tersebut dapat dihubungkan dengan tujuan organisasi, dan
pemimpin teknologi yang memahami kemampuan, kendala, dan aspirasi
teknologi AI organisasi tersebut. Baik pemimpin bisnis maupun profesional
teknologi juga perlu dilibatkan dalam mengelola pelaksanaan strategi AI.

AI bergantung pada big data, sehingga strategi big data organisasi harus Sebelum Audit Internal
dikembangkan dan diterapkan sepenuhnya sebelum mempertimbangkan
mencoba mengevaluasi
AI. AI dapat membantu organisasi dalam menangkap pandangan (insight)
dari big data. Seperti yang dijelaskan dalam Panduan Audit Teknologi strategi AI organisasi, Audit
Global IIA: Memahami dan Mengaudit Big Data , dengan menggunakan Internal harus menentukan
pandangan tersebut, "organisasi dapat membuat keputusan yang lebih
strateginya sendiri untuk
baik, menargetkan pelanggan baru dengan cara yang kreatif dan berbeda,
memberikan layanan kepada pelanggan yang ada dengan model menangani AI dengan
penyampaian yang menyasar dan lebih baik, yang unik untuk setiap memasukkannya dalam
individu, dan menawarkan layanan dan kemampuan baru yang benar-
penilaian risiko dan
benar membedakan perusahaan dari pesaingnya". Organisasi yang
memanfaatkan peluang AI dapat mengembangkan keunggulan kompetitif mempertimbangkan apakah
yang dapat bertahan, dan strategi AI harus dikembangkan serta diterapkan AI harus dimasukkan dalam
dengan berlandaskan pada ketahanan siber dan kompetensi AI.
rencana audit berbasis risiko.

Ketahanan Siber
Kemampuan organisasi untuk melawan, bereaksi, dan pulih dari serangan .
siber, termasuk penyalahgunaan teknologi AI organisasi yang secara
sengaja dengan cara jahat, menjadi semakin penting (lihat Tindakan
Perbaikan Facebook di halaman 12). Kepala Audit Internal (KAI) harus cepat
membangun kompetensi keamanan siber dalam tim mereka, terus
memantau risiko AI / kemanan siber, dan mengkomunikasikan kepada
manajemen eksekutif dan dewan mengenai tingkat risiko terhadap
organisasi dan upaya untuk mengatasi risiko tersebut.
globaliia.org
3
 Global Perspectives:
Artificial Intelligence II
Tujuan dan aktivitas atau
prosedur yang relevan yang
diidentifikasi oleh IIA tidak
mencakup rencana audit yang
telah ditentukan, namun
merupakan contoh yang
berguna dalam
mengidentifikasi tujuan
penugasan atau pengendalian,
dan dalam merencanakan dan
melaksanakan penugasan
audit AI.
Penugasan audit AI harus
sesuai dengan Standar IIA
2200: Perencanaan
Penugasan. Rencana audit AI
dan tujuan dan prosedur
penugasan AI harus selalu
disesuaikan untuk memenuhi
kebutuhan organisasi
Tujuan dan Aktivitas atau Prosedur yang Relevan dengan Strategi AI
Tujuan Penugasan atau Pengendalian
Terlibat aktif dalam proyek AI sejak
awal, memberikan saran dan
pandangan yang berkontribusi
terhadap kesuksesan implementasi
Organisasi telah mendefinisikan strategi AI Tentukan apakah strategi AI telah didokumentasikan dan jika sudah, periksa bahwa
Memberikan asurans atas kesiapan dan
reaksi terhadap ancaman siber
.
Adanya kecukupan sumber daya (staf
dan anggaran) untuk menerapkan
strategi AI.
Memberikan pertimbangan apakah
strategi telah mempertimbangkan
ancaman dan peluang AI secara
memadai.
4 globaliia.org
Kompetensi AI
Sebagaimana tertulis di dalam Kecerdasan Buatan - Pertimbangan untuk
Profesi Audit Internal, kumpulan professional berbakat di bidang teknologi
dengan keahlian AI dinyatakan jumlahnya sedikit. Bahkan jika proyek
seperti AutoML (lihat halaman 2) berhasil, memungkinkan organisasi untuk
membangun sistem dengan AI walaupun mereka tidak memiliki keahlian
yang luas, organisasi masih perlu mengisi kesenjangan pengetahuan
melalui staf yang memiliki pemahaman mendalam tentang AI walaupun
mereka tidak bisa "melakukan" AI.
Staf perlu:
 Mengetahui bagaimana AI bekerja
 Memahami risiko dan peluang yang diberikan AI
 Menentukan apakah hasil AI seperti yang diharapkan
 Mampu merekomendasikan atau melakukan tindakan perbaikan jika
diperlukan
Kompetensi semacam itu akan dibutuhkan dalam audit internal dan di
antara lini pertahanan pertama dan kedua. Manajemen senior dan dewan
direksi juga harus mengetahui bagaimana AI bekerja dan memahami risiko
dan peluang yang dihadirkan AI.
Audit Internal harus juga memiliki kemampuan untuk menentukan
apakah penyedia teknologi AI pihak ketiga telah kompeten.
Aktivitas atau Prosedur
Menghadiri pertemuan tim proyek AI
.
strategi:
 Mengartikulasikan hasil kegiatan AI yang diinginkan (tujuan strategis)
 Mengartikulasikan pada tataran tinggi bagaimana tujuan AI akan tercapai (rencana
strategis)
Memanfaatkan kerangka keamanan siber yang mapan, bekerja sama dengan TI
dan pihak-pihak lain untuk memastikan pertahanan dan tanggapan yang efektif
diterapkan.
Meninjau proses untuk menentukan kebutuhan staf dan anggaran untuk mendukung AI
Meninjau setiap penilaian mengenai ancaman dan peluang AI yang
tersedia. Jika tidak ada penilaian, berikan rekomendasi untuk melangkah
maju (bagaimana organisasi dapat merencanakan untuk mengidentifikasi
ancaman dan peluang AI).
 Global Perspectives:
Artificial Intelligence II

Tata Kelola
Tata Kelola AI merujuk kepada struktur, proses, dan prosedur yang diterapkan
untuk mengarahkan, mengatur, dan mengawasi kegiatan AI dalam organisasi.
Struktur dan formalitas Tata Kelola akan beragam sesuai dengan karakter
spesifik dari organisasi tersebut. Tata Kelola AI:
 Membentuk akuntabilitas, tanggungjawab, dan pengawasan.
 Membantu meyakinkan bahwa pihak yang bertanggungjawab AI memiliki
keterampilan dan keahlian.
 Membantu meyakinkan bahwa kegiatan AI dan keputusan serta tindakan
terkait AI telah sesuai dengan nilai organisasi, serta tanggungjawab etis,
sosial dan hukum.

Kebijakan dan prosedur AI harus dibentuk untuk keseluruhan siklus hidup AI —

dari masukan sampai dengan hasil keluarannya. Kebijakan dan prosedur juga
harus dibentuk untuk pelatihan, pengukuran kinerja dan pelaporan.

Akuntabilitas, Tanggungjawab, dan Pengawasan

AI berpotensi untuk menciptakan keuntungan maupun kerugian besar. Pada
akhirnya, para pemangku kepentingan akan tetap meminta Dewan dan
Eksekutif Senior untuk bertanggungjawab atas hasil dari pemanfaatan AI
organisasi. Pada saat menilai tata kelola AI, auditor internal dapat
“Kerangka Audit Kecerdasan
menggunakan pendekatan Tiga Lini Pertahanan (three lines of defense).
Ketiga lini pertahanan, bersama-sama dengan manajemen senior, badan Buatan (Artificial
pengarah, auditor eksternal, dan pemerintah, semuanya memiliki peran dalam Intelligence) – IIA adalah
AI. Auditor internal harus memahami peran dari masing-masing pihak, dan
sebuah alat yang sangat
bagaimana audit internal berhadapan dengan peran-peran tersebut.
praktis untuk membantu
Regulator audit internal untuk
Regulator memberi informasi serta mengendalikan aktivitas tertentu (seperti memberikan keyakinan
perbankan, perawatan kesehatan, atau keamanan makanan) di tingkat
nasional, regional maupun lokal. Regulator “memberi informasi” melalui independen atas proses
aktifitas seperti pengadaan penelitian, berpartisipasi dalam pembentukan manajemen risiko,
standar dan pedoman, serta komunikasi dengan pemangku kepentingan. pengendalian dan tata
Regulator “mengendalikan” melalui aktifitas seperti pengawasan, dan
penentuan serta penegakan peraturan. Seperti disebutkan dalam The IIA kelola terkait AI.”
Position Paper: The Three Lines of Defense in Effective Risk Management and
Nur Hayati Baharuddin,
Control, pemerintah terkadang menetapkan ketentuan untuk memperkuat
pengendalian dalam suatu organisasi dan dalam kesempatan lain melakukan Anggota, IIA–Malaysia
fungsi yang independen dan obyektif untuk menilai keseluruhan atau sebagian
dari lini pertahanan pertama, kedua atau ketiga terhadap ketentuan-ketentuan
tersebut.

Sampai saat ini, belum terdapat peraturan khusus mengenai AI. Namun,
bagian dari peraturan yang sudah ada dapat berkaitan dengan aktifitas AI, dan
pemerintah serta penyusun kebijakan di seluruh dunia telah menunjukkan
kepeduliannya melalui penelitian-penelitian, bahan diskusi, rekomendasi, dan
pedoman (lihat Kepatuhan terhadap Peraturan di halaman 8).

globaliia.org
5
 Global Perspectives:
Artificial Intelligence II
“Dalam memberikan
asurans atas kegiatan
AI, audit internal harus
meyakini bahwa komite
audit dan dewan telah
diperlengkapi untuk
memahami peran
mereka dalam
mengarahkan
keuntungan dan risiko
terkait dengan AI di
perusahaan yang
mereka layani.”
Carolyn Saint,
KAI, University of
Virginia
6 globaliia.org
Regulator telah mengetahui pentingnya audit AI. Sebagai contoh, dalam
pedomannya di Off-The-Shelf (OTS) Software Use in Medical Devices,
departemen U.S. Food and Drug Administration mengetahui pentingnya
melakukan audit atas perangkat lunak berbasis pengetahuan OTS (sebagai
contoh, AI, expert system, dan perangkat lunak neural net). Mereka
menyatakan bahwa produsen diharapkan memberikan keyakinan “bahwa
metodologi pengembangan produk yang digunakan oleh pengembang
perangkat lunak OTS sudah benar dan memadai untuk penggunaan yang
dimaksudkan..” dan “merekomendasikan audit terhadap metodologi desain
dan pengembangan yang dipergunakan dalam konstruksi perangkat lunak
OTS. Audit ini harus melalui penilaian yang menyeluruh terhadap
pengembangan dan dokumentasi kualifikasi untuk perangkat lunak OTS”.
Auditor harus tetap memahami hal yang dilakukan oleh pemerintah dan
pengatur kebijakan dalam bidang AI, memberi saran yang penting kepada
manajemen dan Dewan dan menilai apakah tujuan pengendalian organisasi
terkait kepatuhan terhadap peraturan telah mencerminkan perkembangan
peraturan, standar dan pedoman.
Badan Pengarah/ Dewan/ Komite Audit
Dewan bertanggungjawab untuk pengawasan utama atas kegiatan AI
organisasi. Dewan dan Manajemen Senior harus diikutsertakan dalam
mendefinisikan strategi AI organisasi.
Audit internal harus memahami dan mendapat informasi yang memadai
tentang AI secara umum, khususnya kegiatan AI organisasi. Dalam
memberikan asurans atas kegiatan AI, audit internal harus menawarkan saran
dan pandangan untuk membantu meyakinkan bahwa Dewan telah siap untuk
perannya dalam AI.
Manajemen Senior
Bersama dengan dewan, manajemen senior mendefinisikan strategi AI
organisasi. Manajemen senior juga mengatur tujuan AI dan mengembangkan
rencana untuk menerapkan strategi AI.
Audit internal harus terwakilkan dalam tim manajemen senior. Audit internal
harus mendapat informasi yang jelas mengenai perakarsa AI dari senior
manajemen terkait dengan manajemen risiko, tata kelola dan pengendalian
AI. Audit internal harus menjadi penasehat terpercaya manajemen senior.
Lini Pertahanan Pertama
Manajer operasional harus memiliki dan mengelola risiko AI dalam kegiatan
sehari-hari. Audit internal harus menilai kebijakan dan prosedur AI dalam level
operasional, membuktikan bahwa tujuan pengendalian telah memadai dan
bekerja seperti yang direncanakan.
 Global Perspectives:
Artificial Intelligence II

Lini Pertahanan Kedua

Kepatuhan, etika, manajemen risiko, privasi dan keamanan informasi
adalah fungsi lini pertahanan kedua yang kemungkinan besar akan
mengawasi beberapa aspek risiko AI. Audit internal harus menilai
kebijakan dan prosedur terkait AI pada lini pertahanan kedua serta
membuktikan bahwa pengendalian sudah memadai dan bekerja seperti
yang direncanakan.
“Munculnya penggunaan
Lini Pertahanan Ketiga AI menuntut agar audit
Audit internal juga harus memberikan jaminan independen terhadap risiko, tata
secara khusus menyasar
kelola dan pengendalian AI. Kerangka kerja Audit AI dari IIA dapat
memfasilitasi peran ini. Pemerintah dan pengatur kebijakan telah mengetahui logika yang digunakan
potensi AI dalam manajemen risiko dan kepatuhan. Menurut laporan Financial dalam perancangan
Stabilities Board (FSB) - Artificial intelligence and machine learning in financial
algoritma.”
services, “penggunaan AI dan mesin pembelajaran di layanan keuangan dapat
membawa keuntungan utamanya untuk kestabilan keuangan dalam bentuk Hans Nieuwlands,
efisiensi dalam penyediaan layanan keuangan dan peraturan pengawasan Pejabat Eksekutif
risiko sistemik. Aplikasi internal (back-office) dari AI dan pembelajaran mesin Tertinggi (CEO),
(machine learning) dapat meningkatkan manajemen risiko, pendeteksian
IIA–Belanda
kecurangan, dan kepatuhan terhadap peraturan, sebisa mungkin pada biaya
terkecil.” Demikian pula, departemen audit internal yang paling maju akan
mulai menggunakan algoritma untuk meningkatkan inisiatif audit dan
pengawasan berkelanjutan untuk mencapai efektifitas dan efisiensi.

Audit Eksternal
Audit eksternal adalah pihak ketiga tanpa kepentingan pribadi terhadap
organisasi dan mengungkapkan opini apakah laporan keuangan telah disusun
sesuai dengan kerangka kerja dan peraturan yang berlaku terkait perlaporan
keuangan. Terkait AI, audit eksternal kemungkinan besar akan fokus pada
hasil – sebagai contoh, algoritma dibelakang model atau penilaian manajemen
risiko, dan apakah algoritma tersebut memiliki dampak material terhadap
laporan keuangan organisasi.

The Three Lines of Defense Model

globaliia.org
7
 Global Perspectives:
Artificial Intelligence II

Kepatuhan Terhadap Peraturan

Peraturan pada umumnya tertinggal oleh perubahan teknologi, termasuk
teknologi AI. Namun, seperti dilaporkan The Hill, CEO Tesla, Elon Musk
memperingatkan National Governors Association (U.S.) bahwa peraturan
diperlukan lebih cepat dan bukan malah tertinggal. Sebagai tambahan,
peraturan privasi seperti Undang-undang Portabilitas dan Akuntabilitas
Asuransi Kesehatan Amerka Serikat Tahun 1996 (HIPAA) dan Peraturan
Proteksi Data Uni Eropa (GDPR), yang efektif pada Mei 2018, dapat
mempersulit implementasi AI. Kedua peraturan ini melindungi informasi pribadi
yang umumnya akan menjadi masukan (input) bagi teknologi AI.

Misalnya, Aturan Privasi HIPAA "menetapkan standar nasional untuk

perlindungan informasi kesehatan, seperti yang diterapkan pada tiga jenis
entitas berikut: perencana kesehatan, pemroses sistem informasi
perawatan kesehatan dan penyedia jasa kesehatan yang melakukan
transaksi perawatan kesehatan secara elektronik. Laporan FSB mengenai
AI dan Machine Learning dalam industri keuangan menyatakan, "beberapa
bagian GDPR sangat relevan dengan AI: Pasal 11 memberikan hak untuk
'penjelasan tentang keputusan yang dicapai melalui penilaian secara
algoritma; Pasal 9 melarang pemrosesan “data pribadi yang sensitif"; Pasal
22 mengatur hak atas data yang memenuhi syarat untuk dikecualikan dari
keputusan dengan konsekuensi hukum atau konsekuensi signifikan yang
semata-mata berdasarkan pemrosesan otomatis; dan Pasal 24
menetapkan bahwa keputusan tidak boleh didasarkan pada kategori
khusus dari data pribadi.

Beberapa masalah peraturan lainnya yang diakui secara umum termasuk

kepatuhan terhadap undang-undang antidiskriminasi dan kewajiban
hukum, terutama yang berkaitan dengan pihak ketiga yang menyediakan
layanan AI kepada organisasi tersebut. FSB menyimpulkan kekhawatiran
mengenai pihak ketiga dengan mengatakan "Banyak penyedia AI dan
machine learning saat ini di bidang jasa keuangan mungkin berada di luar
batas peraturan atau mungkin tidak terbiasa dengan peraturan perundang-
undangan yang berlaku. Dimana lembaga keuangan bergantung pada
penyedia layanan AI dan machine learning pihak ketiga untuk fungsi
kritikalnya, dan peraturan tentang alih daya (outsourcing) mungkin tidak
dipahami oleh penyedia layanan dan penyedia layanan ini mungkin tidak
diwajibkan memiliki supervisi dan pengawasan. Demikian pula, jika
penyedia alat semacam itu mulai memberikan layanan keuangan kepada
nasabah institusi atau ritel, hal ini dapat melibatkan kegiatan keuangan
yang berada di luar batas peraturan. "

8 globaliia.org
 Global Perspectives:
Artificial Intelligence II

Organisasi tidak boleh menunggu sampai terbitnya peraturan terkait teknologi. Bahkan jika peraturan yang ada tidak
secara khusus membahas AI, organisasi harus menanyakan apakah aktivitas AI mereka sesuai hukum yang ada.
Salah satu pendekatannya adalah melakukan skenario dan analisis “bagaimana jika” ("what if)? untuk menentukan
apakah aktivitas AI berpotensi digunakan untuk tindak kejahatan, atau mengakibatkan konsekuensi yang tidak
diinginkan yang menyebabkan kerusakan. Mereka yang bertanggung jawab atas tata kelola organisasi juga harus
mempertimbangkan bahwa aktivitas AI dapat berpotensi mengurangi pengendalian internal jika AI belajar untuk
menggantikan (override) peraturan yang telah ditetapkan atau jika sistem AI belajar berkomunikasi satu sama lain dan
"bekerja" bersama tanpa sepengetahuan organisasi. Pendekatan proaktif dalam mempertimbangkan hukum yang ada
akan membantu organisasi menjadi lincah saat peraturan baru diberlakukan dan menjadi efektif.

Tujuan dan Aktivitas atau Prosedur Audit yang Relevan dengan Tata Kelola AI
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedur

Memberikan assurans bahwa struktur
tata kelola AI telah ditetapkan,
didokumentasikan, dan berfungsi
sebagaimana mestinya.
Meninjau model bisnis dan struktur organisasi; menentukan apakah model
bisnis dan struktur organisasi mencerminkan strategi organisasi terkait AI.
Meninjau seluruh kebijakan dan prosedur terkait AI; menentukan apakah kebijakan
dan prosedur organisasi mengidentifikasi secara jelas peran dan tanggung jawab AI
terkait strategi AI, tata kelola, arsitektur data, kualitas data, tuntutan etis, dan
pengukuran kinerja.

Menilai apakah orang-orang dengan
tanggung jawab AI memiliki kompetensi
yang diperlukan untuk melaksanakan
tugasnya. Misalnya, mereka yang
bertanggung jawab atas keharusan etis
harus kompeten dalam menilai perilaku etis
para pihak yang memberikan input manusia
ke dalam AI, dan harus independen
terhadap aktivitas AI
Memberika asurans bahwa kebijakan
dan prosedur terkait AI telah
ditetapkan dan didokumentasikan.
Memberikan asurans bahwa jejak audit
(audit trails) terkait aktivitas AI
memberikan informasi yang memadai
untuk memahami dan menjelaskan
keputusan AI.
Memberikan asurans bahwa kebijakan
dan prosedur telah dilaksanakan dan
sesuai dengan desain pengendalian,
serta bahwa karyawan mematuhi
peraturan tersebut.
Mewawancari mereka yang bertanggung jawab atas AI.
Meninjau uraian pekerjaan terkait AI, keterampilan yang diperlukan, dll., Dan
memeriksa apakah mereka yang bertanggung jawab memiliki kualifikasi yang
diperlukan.
Meninjau kebijakan dan prosedur terkait AI dan menentukan apakah mereka
cukup menangani risiko AI.
Menentukan apakah kebijakan dan prosedur menyediakan perencanaan analisis
atau skenario "what if" secara periodik.
Meninjau jejak audit (audit trails) AI
Menentukan apakah jejak audit memberikan informasi yang memadai untuk
memahami dan menjelaskan keputusan AI
Mengamati karyawan yang menerapkan prosedur AI.
Meninjau laporan saluran bantuan/ saluran pelaporan dan meninjau tindak lanjut
atas laporan yang mengarah kepada ketidakpatuhan atau bahaya yang terkait
dengan AI.
Mewawancarai karyawan yang dipilih secara acak dan menentukan apakah
mereka mengetahui tentang kebijakan dan prosedur AI
Mengidentifikasi and Meninjau kebijakan dan prosedur akses AI
Menevaluasi Kebijakan akses dan Menguji pengedalian akses
Menilai apakah tujuan pengendalian peraturan mencerminkan peraturan, standar,
dan panduan yang terbaru.

globaliia.org
9
 Global Perspectives:
Artificial Intelligence II

Arsitektur & Infrastruktur Data

“Infrastruktur dan
Arsitektur data, serta
Kualitas Data seringkali
saling terkait. Tujuan
penugasan atau
pengendalian serta
aktivitas dan prosedur
yang sesuai di dalam satu
area dapat tumpang tindih
atau mempengaruhi
tujuan, aktivitas, dan
prosedur di area lainnya.”
Lesedi Lesetedi,
Wakil Direktur Eksekutif
(Wakil CEO) – Strategy &
Corporate Services
Botswana College of Distance &
Open Learning (BOCODOL)
Arsitektur dan infrastruktur data AI kemungkinan akan menjadi satu dan
sama, atau setidaknya hampir sama, sebagai arsitektur dan infrastruktur
organisasi untuk menangani big data. Meliputi pertimbangan untuk:
 Cara data diakses (metadata, taksonomi, pengenal unik, dan
kesepakatan penamaan).
 Privasi dan keamanan informasi di seluruh siklus hidup data
(pengumpulan data, penggunaan, penyimpanan, dan
pemusnahan).
 Peran dan tanggung jawab terkait kepemilikan dan penggunaan
data selama siklus hidup data.
Menurut InfoWorld, organisasi harus fokus pada tiga area utama
pengembangan perangkat lunak untuk memastikan keberhasilan integrasi
AI:
 Integrasi data - data dari berbagai sumber harus diintegrasikan
sebelum AI dapat digabungkan ke dalam aplikasi dan sistem
organisasi.
 Modernisasi aplikasi - pembaruan perangkat lunak perlu dilakukan
secara teratur. Pembaruan yang sering namun kurang intensif harus
menggantikan pembaruan yang jarang namun lebih intensif agar tidak
memperlambat atau mengganggu sistem.
 Pendidikan untuk Pegawai - pengembang perangkat lunak, manajer
proyek, dan staf teknologi lainnya perlu mengikuti perkembangan
machine learning dan setiap aspek teknologi "stack" (perangkat lunak
dan komponen yang menjalankan AI).

Selain itu, data harus dicocokan sehingga modifikasi seperti pembulatan,

demografi, dan variabel lainnya dinormalisasi sebelum data dimasukkan.

Tujuan dan Kegiatan Audit terkait Arsitektur Data dan Infrastruktur yang Relevan dengan AI
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedurs

Memberikan asurans bahwa organisasi memiliki
ketahanan siber. Ketahanan siber ini meliputi, tapi
lebih luas dari pada, keamanan siber. Ketahanan siber
meliputi keamanan (daya tahan), reaksi, dan
pemulihan.
Memahami dan mengaudit Big Data (lihat Panduan
Praktik IIA: Memahami dan Mengaudit Big Data).
Menilai apakah organisasi sedang mempersiapkan kepatuhan
terhadap peraturan teknologi baru, seperti General Data
Protection Regulation (GDPR) Uni Eropa.
Menilai apakah protokol pemulihan bencana organisasi
mencakup kegagalan AI, termasuk rincian kontrol yang
memelihara peraturan yang ditetapkan oleh tata kelola AI.

Memberikan asurans bahwa infrastruktur data memiliki Menilai apakah infrastruktur mampu menangani data terstruktur
kapasitas untuk mengakomodasi ukuran dan kompleksitas dan data tidak terstruktur.
aktivitas AI yang ditetapkan dalam strategi AI.

Memberikan asurans bahwa organisasi telah menetapkan Menilai apakah taksonomi cukup kuat untuk mengakomodasi
taksonomi data. Mengevaluasi kualitas, kelengkapan, dan ukuran dan kompleksitas aktivitas
konsistensi penggunaan untuk taksonomi data
perusahaan.

10 globaliia.org
 Global Perspectives:
Artificial Intelligence II

Kualitas Data
Kelengkapan, keakuratan, dan reliabilitas data dimana algoritma AI
dibangun sangatlah penting. Agar AI dapat sukses, organisasi memerlukan
akses ke sejumlah besar data berkualitas tinggi - data yang didefinisikan
dengan baik dan dalam format standar. Seringkali, sistem tidak
Audit Internal harus
berkomunikasi satu sama lain atau melakukannya melalui pengaya (add-on)
atau penyesuaian yang rumit. Bagaimana data ini direkonsiliasi, disintesis, melihat bagaimana data
dan divalidasi juga sangat penting, sistem yang tidak saling berkomunikasi yang digunakan dalam
atau komunikasi yang dilakukan dengan rumit dapat menggagalkan aktivitas
Laoran Audit Internal telah
AI organisasi.
dicocokan, digabungkan
Selain data yang didefinisikan dengan baik dalam format standar (data dan divalidasi.
terstruktur), teknologi AI dapat bergantung pada data tidak terstruktur
(seperti posting media sosial). Seperti yang dijelaskan dalam "Panduan
Audit Teknologi Global: Memahami dan Mengaudit Big Data" – IIA, data
tidak terstruktur "biasanya lebih sulit dikelola, karena sifatnya yang
berkembang dan tidak dapat diprediksi, dan biasanya bersumber dari data
yang besar, berbeda, dan seringkali bersumber eksternal. Akibatnya, solusi
baru telah dikembangkan untuk mengelola dan menganalisis data ini”.

Ironisnya, organisasi dapat beralih ke machine lerning - sebuah bentuk AI -

untuk meningkatkan kualitas data. Misalnya, mungkin ada beberapa versi
nama vendor di banyak unit bisnis, basis data, dan spreadsheet
perusahaan. Program komputer bisa memindai dan merekonsiliasi semua
variasi nama dalam hitungan jam atau menit.
Tujuan dan Kegiatan Audit yang Relevan dengan Kualitas Data
Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedur

Memberikan asurans atas keandalan algoritma yang
mendasari AI dan data yang digunakan dalam
algoritma.
Memberikan asurans bahwa input data direkonsiliasi dan
dinormalisasi untuk memaksimalkan akurasi.
Mendapatkan sampel data mentah yang merupakan input ke
AI.
Memverifikasi bahwa organisasi telah menerapkan
metodologi untuk memvalidasi hasil AI dengan hasil aktual
dunia nyata, dan bahwa kebijakan dan prosedur tersedia
untuk terus mengukur, memantau, meningkatkan, dan
memperbaiki ketidakkonsistenan antara keduanya.
Memverifikasi bahwa organisasi memiliki kebijakan dan
prosedur untuk terus mengukur, memantau, meningkatkan,
dan memperbaiki akurasi data dan masalah integritas
Mengkonfirmasi bahwa organisasi secara konsisten mengikuti
dan memantau kerangka rekonsiliasi data yang telah
diformalkan, yang mencakup alasan untuk membedakan
metodologi dan hasil jika ada.

Memberikan asurans bahwa data gabungan sudah lengkap. Memverifikasi bahwa organisasi memiliki kebijakan dan
prosedur untuk membatasi bias dalam input data.

Memberikan asurans bahwa kelengkapan data diukur dan
dipantau dan bahwa setiap pengecualian material yang
mempengaruhi pengambilan keputusan diidentifikasi dan
dijelaskan. Hal Ini harus dilakukan meskipun pengecualian
ditentukan oleh manusia maupun AI.
Meninjau laporan metrik adan metrik AI
Menilai apakah mereka yang bertanggung jawab atas
pengambilan keputusan telah menerima dan mempertimbangkan
penjelasan mengenai pengecualian material yang berkaitan
dengan kualitas data

globaliia.org
11
 Global Perspectives:
Artificial Intelligence II

Tindakan Perbaikan Facebook

Tantangan Facebook terhadap AI telah banyak dibicarakan. Jaringan sosial raksasa ini telah mendapat banyak
sorotan mengenai bagaimana teknologinya yang didasari algoritma telah digunakan - atau disalahgunakan –
untuk tindak kejahatan.

Alur Waktu dari Kekhawatiran Utama:

 Pada musim gugur 2016, ProPublica melaporkan bahwa pengiklan dapat menggunakan alat
penargetan iklan Facebook untuk mengecualikan ras tertentu – potensi pelanggaran terhadap
peraturan perumahan dan hak sipil federal.
 Di Bulan September 2017:
o Facebook mengungkapkan bahwa pemegang akun palsu yang berbasis di Rusia membeli iklan
yang cukup besar pada isu-isu yang sensitif menjelang pemilihan presiden 2016.
o ProPublica melaporkan bahwa alat penargetan iklan Facebook memungkinkan pengiklan untuk
menargetkan "pembenci" etnis tertentu.
 Di Bulan Oktober 2017, kekhawatiran tentang berita palsu muncul kembali saat Facebook (dan Google)
mengirimkan informasi palsu mengenai penembakan massal di Las Vegas.
 Dalam kesaksian pada subkomite Senat peradilan pada akhir Oktober, Facebook mengatakan bahwa
jangkauan iklan yang didukung Rusia lebih jauh dari yang mereka duga, mencapai sebanyak 126 juta
orang Amerika sebelum dan selama pemilihan presiden tahun 2016.

Tangggapan Facebook
Pada tanggal 20 September 2017, Chief Operating Officer Facebook, Sheryl Sandberg mengumumkan tiga
tindakan perbaikan:

1. Facebook mengklarifikasi kebijakan periklanannya dan memperketat proses penegakannya untuk

memastikan konten yang bertentangan dengan standar komunitas Facebook tidak dapat digunakan untuk
menargetkan iklan. (Kebijakan dan proses terkait dengan komponen Kerangka Kerja Tata Kelola. Antara
lain, Tata Kelola Pemerintahan harus menetapkan akuntabilitas dan pengawasan terhadap penegakan
hukum.

2. Facebook meningkatkan "review dan pengawasan manusia" dari proses otomatisnya. (Tinjauan dan
pengawasan manusia berkaitan dengan komponen Kerangka Kerja Etika. Antara lain, etika membahas
apakah hasil AI mencerminkan tujuan awal dan apakah keluaran AI digunakan secara legal, etis, dan
bertanggung jawab.)

3. Facebook sedang mengerjakan sebuah program yang akan mendorong pengguna Facebook untuk
melaporkan potensi penyalahgunaan sistem iklannya. (Sistem Pelaporan berkaitan dengan komponen
Kerangka Kerja Pengukuran Kinerja. Sistem pelaporan membantu manajemen memantau kinerja aktivitas
AI. Pengukuran Kinerja akan dibahas dalam laporan Pespektif dan Pandangan Global yang akan datang.)

Dengan memanfaatkan Kerangka Audit IIA, Auditor Internal dapat memberikan jasa asurans dan pemberian
nasehat untuk membantu organisasi memisahkan kebenaran dan fiksi serta menangani risiko pelaporan,
operasi, serta kepatuhan yang terkait dengan AI.

globaliia.org
 Global Perspectives:
Artificial Intelligence II

Menggunakan Standar untuk Audit AI

Fokus Audit
Auditor internal harus memenuhi semua standar IIA yang berlaku saat
merencanakan atau melakukan pemeriksaan AI. Standar Utama IIA yang Standard Utama IIA
sangat relevan dengan AI disajikan pada kotak di samping, namun standar
Standar Internasional Praktik
yang lain juga dapat diterapkan. Profesional Audit Internal IIA terdiri dari
beberapa standar yang sangat relevan
Setiap standar dilengkapi dengan Panduan Implementasi. Panduan dengan AI, termasuk:
pelaksanaan membantu auditor internal dalam menerapkan Standar.
Panduan tersebut secara kolektif membahas pendekatan, metodologi, dan Standar IIA 1210: Kecakapan
pertimbangan audit internal, namun tidak merinci proses atau prosedur. Standar IIA 2010: Perencanaan
Standar IIA 2030: Pengelolaan Sumber
daya
Penutup Standar IIA 2100: Sifat Dasar
Kerangka Audit AI IIA akan membantu auditor internal memberikan jasa Pekerjaan
asurans dan advisori terkait AI secara sistematis dan disiplin. Apakah Standar IIA 2110: Tata Kelola
teknologi dan aktivitas AI organisasi dikembangkan secara internal, melalui Standar IIA 2130: Pengenalian
teknologi fasilitatif seperti AutoML, atau oleh pihak ketiga, audit internal
Standar IIA 2200: Perencanaan
harus disiapkan untuk memberi saran kepada Dewan dan manajemen
Penugasan
senior, berkoordinasi dengan lini pertahanan pertama dan kedua, dan
memberikan asurans atas pengelolaan, tata kelola, dan pengendalian risiko Standar IIA 2201: Pertimbangan
Perencaan
AI.
Standar IIA 2210: Tujuan Penugasan
Naskah ini adalah Bagian II dari seri tiga bagian untuk memberikan saran Standar IIA 2220: Ruang Lingkup
dalam menerapkan komponen Strategi dan Tata Kelola AI dari Kerangka Penugasan
Audit AI - IIA. Bagian III akan memberikan saran lebih lanjut untuk
Standar IIA 2230: Alokasi Sumber
menerapkan komponen Tata Kelola, dan komponen Faktor Manusia.
Daya Penugasan
.
Standar IIA 2240: Program Kerja
Penugasan
Standar IIA 2310: Pengidentifikasian
Informasi

Tentang IIA
Institute of Internal Auditor (IIA) adalah advokat, pendidik, dan penyedia standar, panduan, dan sertifikasi profesi audit internal yang paling banyak
dikenal. Didirikan pada tahun 1941, IIA saat ini melayani lebih dari 190.000 anggota dari lebih dari 170 negara dan teritori. Kantor pusat global IIA
berada di Lake Mary, Florida, AS. Untuk informasi lebih lanjut, kunjungi www.globaliia.org.

Disclaimer
Pendapat yang diungkapkan dalam Perspektif dan Pandangan Global belum tentu merupakan kontribusi masing-masing kontributor atau
pemberi kontribusi.

Hak Cipta
Hak Cipta © 2017 oleh The Institute of Internal Auditors, Inc. Semua hak dilindungi undang-undang.

globaliia.org
13
Global Perspectives:
Artificial Intelligence II

globaliia.org
globaliia.org