Ringkasan
Materi
Kuliah
V
Evaluation
of
Information
Systems:
Asset
Safeguarding,
Data
Integrity,
Effectiveness
and
Efficiency
Dalam
mengevaluasi
pengamanan
aset
dan
integritas
data,
auditor
dapat
menentukan
apakah
aset
tersebut
dapat
dihancurkan,
telah
rusak,
atau
digunakan
untuk
hal-‐hal
yang
tidak
sah,
dan
menguji
seberapa
baik
aspek
kelengkapan,
kemurnian,
dan
kebenaran
data
dipertahankan
oleh
auditor.
Untuk
mempermudah
melakukan
proses
audit
tersebut,
auditor
mengumpulkan
bukti
sedikit
demi
sedikit
yang
didapatkan
dari
kekuatan
dan
juga
kelemahan
sistem
pengendalian
internal
perusahaan.
Evaluasi
pengamanan
aset
dan
integritas
data
menggunakan
beberapa
pengukuran,
yaitu:
• Expected
dollar
loss
for
asset
safeguarding
and
the
dollar
error
• Size
of
quantity
error
• Number
of
errors
a
system
can
produce
for
data
integrity
Faktor-‐faktor
utama
yang
dapat
mempengaruhi
kualitas
pertimbangan
atau
keputusan
evaluasi
auditor
adalah
kemampuan
kognitif,
yang
dapat
dipengaruhi
oleh
kebiasan
heuristik,
pengetahuan
auditor,
yang
dibangun
melalui
edukasi,
pelatihan,
dan
pengalaman,
berbagai
faktor
lingkungan
seperti
teknologi
yang
mereka
gunakan,
tingkat
keterlibatan
auditor,
dan
yang
terakhir
adalah
tingkat
motivasi,
seperti
seberapa
besar
auditor
merasa
tanggung
jawab
untuk
menghasilkan
keputusan
dengan
baik.
Teknologi
yang
dapat
digunakan
auditor
untuk
membantu
auditor
dalam
menghasilkan
judgement
atau
keputusan
adalah
control
matrix,
deterministic
model,
software
reability
model,
engineering
reability
model,
bayesian
model,
dan
expert
system.
Lima
kos
yang
terkait
dengan
implementasi
dan
operasi
pengendalian
sistem;
1)
initial
setup
cost
untuk
mendesain
dan
mengimplementasikan
pengendalian;
2)
kos
untuk
mengeksekusi
pengendalian;
3)
kos
untuk
mencari
error
dan
penyimpangan
baik
saat
masih
berupa
tanda-‐tanda,
sudah
muncul,
dan
mengoreksi
setelah
ditemukannya
kesalahan
dan
penyimpangan
tersebut;
4)
kos
yang
muncul
akibat
dari
tidak
ada
eror
maupun
penyimpangan
yang
berhasil
dideteksi
dan
juga
akibat
dari
gagalnya
mengoreksi
secara
tepat;
dan
5)
kos
guna
untuk
pemeliharaan
agar
memastikan
pengendalian
dilakukan
dengan
benar
dan
telah
sesuai
aturan.
Auditor
harus
berhati-‐hati
dalam
mengevaluasi
penggunaan
sisten
informasi.
Sistem
informasi
harus
dikategorisasikan
sebagai
penggunaan
secara
sukarela
(voluntary)
atau
tidak
(involuntary).
Frekuensi
penggunaan
secara
involuntary
tidak
bisa
menjadi
indikator
yang
baik
dalam
menguji
keefektifan
sistem
informasi.
Tujuan
penggunaan
dan
juga
subjek-‐subjek
yang
menggunakan
sistem
informasi
tersebut
juga
harus
diperiksa
dengan
teliti.
Evaluasi
sistem
pengendalian
internal
harus
mempertimbangkan
cost-‐ effectiveness
framework.
Kos
dan
manfaat
(cost
and
benefit)
terkait
desain,
implementasi,
pemeliharaan
dan
discount
rate
harus
diestimasikan
dengan
baik.
Hingga
pada
akhirnya,
auditor
akan
menghitung
Net
Present
Value
untuk
menilai
apakah
investasi
terhadap
aset
tersebut
bermanfaat
atau
tidak.
Evaluasi
terhadap
keefektifan
sistem
melibatkan
penentuan
seberapa
dalam
suatu
sistem
dapat
memenuhi
tujuan
penggunaannya,
yang
melalui
enam
tahap:
1. Mengidentifikasi
tujuan
dari
sistem
informasi
tersebut
2. Memilih
pengukuran
yang
akan
digunakan
3. Mengidentifikasi
sumber
data
4. Memperoleh
nilai
ex
ante
dari
pengukuran
5. Memperoleh
nilai
ex
post
dari
pengukuran,
dan
6. Menilai
dampak
sistem
dengan
membandingkan
nilai
ex
ante
dan
ex
post
dari
pengukuran
tersebut.
Menentukan
tujuan
perusahaan
terkadang
tidak
semudah
yang
dibayangkan
dan
harus
mempertimbangkan
banyak
perspektif,
terutama
dari
para
pemangku
kepentingan
perusahaan.
Tidak
jarang
juga
pihak
manajemen
akan
meminta
auditor
untuk
mengevaluasi
economic
effectiveness
dari
sistem
informasi
tersebut
yang
dapat
dilakukan
melalui
empat
tahap:
1. Auditor
harus
mengidentifikasi
manfaat
yang
terkait
dengan
sistem
informasi,
baik
itu
manfaat
tangible
maupun
intangible.
Biasanya,
tiap
pemangku
kepentingan
akan
merasakan
manfaat
yang
berbeda-‐beda.
2. Auditor
perlu
mengidentifikasi
kos
yang
terkait
dengan
sistem
informasi.
Seperti
halnya
manfaat,
kos
tangible
maupun
intangible
harus
dipertimbangkan,
dan
tiap
pemangku
kepentingan
akan
mengeluarkan
kos
yang
berbeda-‐beda
pula.
3. Setelah
kos
dan
manfaat
dikumpulkan,
auditor
kemudian
menentukan
nilai
dari
tiap
kos
dan
manfaat
tersebut.
Kendala
yang
mungkin
ditemukan
auditor
yaitu
saat
menilai
kos
dan
manfaat
yang
intangible.
Selain
itu,
pemangku
kepentingan
yang
memiliki
kos
dan
manfaat
yang
sama
dapat
memiliki
value
yang
berbeda.
4. Terakhir
yaitu
menentukan
discount
rate
dan
kemudian
menghitung
Net
Present
Value
investasi
pada
sistem
informasi
tersebut.
Evaluasi
efisiensi
dilakukan
untuk
menentukan
apakah
kinerja
sistem
yang
sudah
ada
dapat
ditingkatkan
lagi
dan
untuk
menilai
kapabilitas
relatif
terhadap
konfigurasi
perangkat
keras
dan
lunak
yang
ditawarkan
untuk
memproses
beban
kerja
(workload)
organisasi.
Delapan
tahap
untuk
melakukan
evaluasi
ini
terdiri
dari;
1)
memformulasikan
tujuan
studi;
2)
mempersiapkan
anggaran;
3)
mendefinisikan
indeks
kinerja;
4)
membangun
model
beban
kerja;
5)
membangun
model
sistem;
6)
menjalankan
eksperimen;
7)
menganalisis
hasil
eksperimen;
dan
8)
memberikan
rekomendasi
atas
hasil
analisis
yang
telah
dilakukan.
Terdapat
empat
tipe
indeks
kinerja
yang
dapat
digunakan
untuk
mengevaluasi
efisiensi
sistem,
yaitu
Indeks
Timeliness
untuk
mengukur
seberapa
cepat
sistem
dapat
memproses
transaksi
pengguna,
Indeks
Throughput
untuk
mengukur
produktivitas
sistem,
Indeks
Utilization
untuk
mengukur
seberapa
sering
sumber
daya
sistem
sibuk
digunakan,
dan
Indeks
Reability
untuk
mengukur
ketersediaan
sistem
untuk
memproses
beban
kerja
pengguna.
Model
beban
kerja
harus
dibangun
untuk
tujuan
kerepresentatifan
dan
kelayakan
sumber
daya.
Model
beban
kerja
dapat
dibangun
secara
natural
atau
buatan/artifisial
dan
ada
yang
dapat
dieksekusi
(executable)
oleh
sistem
operasional
dan
tidak
(nonexecutable).
Beberapa
tipe
model
beban
kerja
antara
lain
adalah
traces,
instruction
mixes,
kernel
programs,
synthetic
jobs,
benchmarks,
dan
probabilistic
workload
models.
Untuk
menilai
dampak
beban
kerja
dan
variabel
sistem
pada
indeks
kinerja,
terdapat
tiga
jenis
model
sistem
yang
dapat
dipilih
oleh
auditor
untuk
dibangun.
Yang
pertama
adalah
analytical
model,
di
mana
auditor
menggunakan
rumus-‐rumus
matematika
untuk
menhubungkan
parameter
beban
kerja,
sistem,
dan
indeks
kinerja.
Kedua,
simulation
model,
di
mana
auditor
membangun
program
komputer
untuk
meniru
properti
statis
dan
dinamis
dari
sistem.
Model
ketiga
yang
dapat
dipilih
yaitu
empirical
model,
di
mana
auditor
menggunakan
analisis
statistikal
untuk
menentukan
hubungan
antara
parameter
beban
kerja,
sistem,
dan
indeks
kinerja.
Model
manapun
yang
dipilih
nantinya,
auditor
harus
memformulasikan
model,
mengestimasi
parameter,
dan
mengimplementasi,
menyelesaikan,
memvalidasi,
sekaligus
mengkalibrasikan
model.
Referensi
Weber,
Ron.
1999.
Information
System
Control
&
Audit.
First
ed..
New
Jersey:
Prentice
Hall.