EVIDENCE EVALUATION

PROCESS

Rini@magister LIKMI
 Overview

• Evaluating asset safeguarding and data

integrity
1

• Evaluating system effectiveness

2

• Evaluating system efficiency

3
1. Evaluating asset safeguarding
and data integrity
 Introduction

O Evaluasi dapat dilakukan:

O Setelah melakukan tahap awal audit dan mengetahui struktur
kontrolnya
O Setelah melakukan pengujian kontrol
O Setelah melakukan substantive tests
O Faktor-faktor penentu kualitas hasil evaluasi:
O Kemampuan kognitif auditor
O Pengetahuan auditor
O Lingkungan tempat audit dilaksanakan
O Motivasi auditor
Measures of asset safeguarding and data integrity

O Untuk menentukan seberapa baik pengamanan aset telah

dilakukan, auditor dapat mengukur expected loss yang terjadi
jika aset rusak, dicuri, atau digunakan oleh pihak tidak
berwenang.
O Contoh:
O Jika ada peluang 0.3 kehilangan $900,000, jika aset rusak peluang 0.6
kehilangan $1,000,000 dan peluang 0.1 kehilangan 1,200,000
O EL = (900,000 * 0.3) + (1,000,000 * 0.6) + (1,200,000 * 0.1)
= 990,000
O Ukuran yang digunakan dapat berupa ukuran dollar error,
ukuran quantity error, maupun jumlah error yang muncul.
Audit technology to assist the evaluation decision

a) Control matrices
b) Deterministic models
c) Software reliability models
d) Engineering reliability models
e) Bayesian models
f) Simulation models
g) Expert systems
 a. Control matrices (example)
Error

Unauthorised terms and

Unauthorised customer

Untimely processing
Controls

Incorrect

Incorrect
quantity
credit

price
Order-entry operator
M M M M M
well trained
Input screen layout (quality)
screen organization M M M
field captions and entry fields M M M
field alignment, justification, spacing M M M
headings and messages M M M
Input program
valid customer check H
authorised credit H
inventory available M
Note: H = high reliability, M = moderate reliability, L = low reliability
Sales manager
override report M M L L
 b. Deterministic models
O Model ini melakukan estimasi berdasarkan
O Ukuran tiap error * jumlah kemunculan error
O Model ini cukup sederhana, biasanya dilakukan oleh auditor pada
analisis pencil-and paper tentang seberapa baik sistem
mengamankan aset dan mengelola integritas data
 c. Software reliability models
O Model ini menggunakan teknik statistik untuk estimasi
kemungkinan ditemukannya error pada periode tertentu
berdasarkan pola error yang telah terjadi dalam sistem.
O Jenis-jenis model:
Jenis Karakteristik
Time-between failures models Asumsi, waktu antar error akan semakin
panjang setiap kali sebuah error diperbaiki.
Failure-counts models Prediksi jumlah error dalam interval waktu
tertentu. Asumsi, jumlah error akan menurun
pada interval berikutnya
Fault-seeding models Sistem diberi sejumlah error dan dihitung
jumlah error yang ditemukan. Asumsi,
kemampuan sistem dalam menemukan error
akan terus meningkat
 d. Engineering reliability models
O Model ini membantu auditor mengestimasi keseluruhan
reliabilitas sistem dalam bentuk fungsi dari komponen-
komponen individual dan kontrol internal individual yang
membentuk sistem.
O Parameter-parameter dasar:
1) Probabilitas gagalnya sebuah proses dalam sistem
2) Probabilitas bahwa sebuah proses akan memberikan sinyal error saat
terjadi kesalahan
3) Probabilitas bahwa error yang diperbaiki dapat diperbaiki
 e. Bayesian models (1)
O Metode formal untuk memperbaiki estimasi awal tentang
reliabilitas sistem kontrol internal berdasarkan informasi baru
yang diperoleh dalam aktivitas pengumpulan bukti.
O Contoh:
O Diasumsikan ada peluang
O 0.9 bahwa kontrol reliable, dan
O 0.1 bahwa kontrol unreliable
O Estimasi biaya
O Menerima unreliable control $1,000,000
O Menolak reliable control $50,000
O Maka, expected loss dari setiap keputusan
O EL(accept)= (0.9*0)+(0.1*1,000,000)= $100,000
O EL(reject)= (0.9*50,000)+(0.1*0)= $45,000
 e. Bayesian models (2)
O Misalnya sekarang kontrol dieksekusi dan sudah didapat hasilnya.
Ada resiko bahwa hasil tes favorable padahal kontrol unreliable.
O Dengan Bayesian, dapat diestimasi probabilitas
O Mendapat hasil favorable dari sistem yang reliable  P(F|R) = 0.8
O Mendapat hasil favorable dari sistem yang unreliable  P(F|U) = 0.2
O Selanjutnya dapat dihitung peluang sistem reliable dengan hasil
favorable dan peluang sistem unreliable dengan hasil favorable
P(R|F) =
P(U|F) = 1 – P(R|F) = 1 – 0.97 = 0.03
O Sehingga dapat dihitung EL yang baru:
O EL(accept) = (0.97*0)+ (0.03*1,000,000) = $30,000
O EL(reject) = (0.97*50,000)+ (0.03*0) = $48,500
 f. Simulation models
O Dengan model simulasi, auditor dapat mengevaluasi perilaku
sistem dari waktu ke waktu.
O Contoh:
 g. Expert Systems

O Sistem pakar dapat membantu auditor melakukan penilaian

global tentang kemampuan sistem dalam mengamankan aset dan
mengelola integritas data.
O Membantu auditor:
O Menampilkan kelebihan dan kekurangan sistem secara menyeluruh
O Menyediakan pembanding untuk menilai akurasi penilaian manual
auditor
O Hal penting: auditor harus memastikan bahwa sistem pakar yang
digunakan sesuai dengan domain persoalan yang sedang diaudit
 2. Evaluating
system effectiveness
 Introduction
O Tujuan evaluasi efektivitas sistem adalah untuk menentukan
seberapa baik sebuah sistem terhadap sasarannya.
O Meliputi:
a) Identifikasi sasaran SI
b) Memilih ukuran yang digunakan
c) Identifikasi sumber-sumber data
d) Memperoleh nilai sebelum pengukuran
e) Memperoleh nilai setelah pengukuran
f) Menilai pengaruh sistem berdasarkan perbandingan nilai sebelum
dan sesudah pengukuran
A model of IS effectiveness
 a. Evaluating system quality
O Karakteristik kualitas sistem
1) Response time (online)
2) Turnaround time (batch)
3) System reliability/ stability
4) Ease of interaction
5) Functionality usefulness
6) Ease of learning
7) Quality of documentation
and help facilities
8) Extent of integration with
other systems
O Atribut PL yang dapat
mempengaruhi penilaian
efektivitas PL:
O History of repair maintenance
O History of adaptive
maintenance
O History of perfective
maintenance
O Run-time resource
consumption
 b. Evaluating information quality
O Beberapa atribut kualitas informasi yang diukur oleh auditor:
1. Authenticity
2. Accuracy
3. Completeness
4. Uniqueness (nonredundancy)
5. Timeliness
6. Relevance
7. Comprehensibility
8. Precision
9. Conciseness
10. Informativeness
O Fokusnya adalah untuk menilai kemampuan IS merepresentasikan
fenomena di real-world
 c. Evaluating perceived usefulness
O Perceived usefulness = probabilitas subjektif dari calon
pengguna bahwa penggunaan sistem aplikasi tertentu dapat
meningkatkan performansi kerjanya dalam konteks organisasional
O Auditor harus menguji apakah pengguna menganggap SI:
O Membantu mereka bekerja lebih cepat
O Membantu mereka meningkatkan kinerja
O Membantu meningkatkan produktivitas
O Membantu meningkatkan efektivitas kerja
O Memudahkan pekerjaan
O Bermanfaat dalam pekerjaan
O Auditor dapat mengajukan pertanyaan-pertanyaan dalam bentuk
kuesioner atau melalui wawancara
 d. Evaluating perceived ease of use
O Perceived ease of use = tingkat penilaian pengguna bahwa
sistem dapat digunakan tanpa banyak usaha
O Auditor harus menguji apakah pengguna menganggap:
O Mudah dalam mempelajari pengoperasian SI
O Mudah dalam memerintahkan SI melakukan sesuatu
O Interaksi dengan sistem jelas dan mudah dipahami
O Interaksi dengan SI cukup fleksibel
O Dapat segera menguasai SI
O SI mudah digunakan
 e. Evaluating computer self-efficacy
O Computer self-efficacy = penilaian kemampuan seseorang
dalam menggunakan komputer
O Ukuran ini mempengaruhi persepsi pengguna terhadap manfaat
dan kemudahan penggunaan SI.
O Auditor dapat menguji ukuran ini dengan memberikan pertanyaan
tentang kemampuan pengguna dalam menyelesaikan
pekerjaan berbantuan komputer. Jika pengguna mampu
melakukannya, auditor dapat memberikan pertanyaan tambahan
tentang seberapa yakin mereka terhadap kualitas pekerjaan
tersebut.
 f. Evaluating IS use
O Beberapa hal yang harus diuji:
O Apakah pengguna menggunakan sistem dengan sukarela/
tidak
Jika pengguna tidak dengan sukarela, pertimbangkan perbedaan
waktu penggunaan aktual dengan waktu terhubung ke sistem
O Jumlah dan frekuensi penggunaan
Detail: durasi koneksi, jumlah transaksi, jumlah fungsi yang dipanggil,
jumlah data yang diakses, jumlah laporan yang dihasilkan, dll
O Karakteristik penggunaan
Mis. Penggunaan manajerial VS operasional
O Pengguna aktual
Mis: pemilik wewenang, atau asisten
 g. Evaluating individual impact
O Task accomplishment impacts
O SI yang efektif dapat meningkatkan penyelesaian tugas pengguna.
O Mis. Akurasi keputusan, waktu untuk menghasilkan keputusan,
keyakinan terhadap keputusan, efektivitas keputusan, kualitas
produk/ layanan yang dihasilkan, kepuasan pelanggan, waktu untuk
menyelesaikan pekerjaan
O Quality of working life impacts
O Kualitas hidup dan kepuasan kerja memiliki relasi yang sangat kuat
O Contoh ukuran: tingkat ketidakhadiran, tingkat kecelakaan kerja, rasio
jumlah hari sakit dibanding jumlah hari kerja
 h. Evaluating IS satisfaction
O Contoh ukurannya adalah kepuasan terhadap:
O Relasi antar staf SI
O Pemrosesan permintaan perubahan sistem
O Timeliness dari informasi
O Tingkat pelatihan SI yang disediakan bagi pengguna
O Relevansi dan jumlah keluaran
O Kualitas dokumentasi
O Ketergantungan pada SI
i. Evaluating organizational impact
 3. Evaluating
system efficiency
 Introduction
O Mengapa auditor terlibat dalam mengevaluasi efisiensi sistem:
O Untuk mengevaluasi sistem untuk menentukan apakah
performansinya dapat ditingkatkan
O Untuk mengevaluasi sistem alternatif yang akan dibeli, disewa, atau
dikembangkan
O Tahap-tahap evaluasi efisiensi sistem:
1. Formulasikan sasaran
2. Persiapkan anggaran evaluasi
3. Tentukan indeks performansi
4. Kembangkan workload model
5. Kembangkan system (configuration) model
6. Jalankan eksperimen
7. Analisis hasil
8. Berikan rekomendasi
 Performance Indices
O Indeks performansi adalah ukuran efisiensi sistem, yang
menunjukkan apakah sistem sudah memenuhi kriteria efisiensi.
O Beberapa indeks yang dapat digunakan:
O Timeliness: seberapa cepat sistem dapat menghasilkan output
O Throughput: berapa banyak kerja yang dilakukan sistem pada periode
tertentu
O Utilization: proporsi waktu sistem sibuk dibanding jalannya sistem
O Reliability: persentase waktu uptime
 Workload models
O Sekumpulan permintaan sumberdaya/ layanan sistem dalam
sekumpulan pekerjaan yang muncul pada periode tertentu.
O Auditor seringkali harus membangun workload model saat
mengevaluasi sistem, karena penggunaan real workload sangat
mahal, atau bahkan real workload tidak tersedia karena sistem
yang dievaluasi belum beroperasi.
O Sasaran auditor saat membangun workload model:
O Keterwakilan terhadap real workload
O Ketepatan permintaan sumber daya dalam sistem/ komponen sistem
 System models
O Untuk menentukan apakah sebuah sistem dapat diubah untuk
meningkatkan efisiensinya, sistem juga harus dimodelkan.
O Proses pemodelan meliputi penentuan:
O Komponen-komponen sistem
O Antarmuka antar komponen
O Bagaimana sistem beroperasi
O Relasi fungsional antara output dan input
O Tipe-tipe system models:
O Analytical model: dengan rumus matematika
O Simulation model: biasanya untuk memvalidasi analytical model
O Empirical model: dengan pendekatan statistik
Terima kasih ..