Evaluasi Sistem Informasi

Evaluasi MIS

Evaluasi MIS adalah proses di mana kinerja MIS organisasi ditentukan

menurut hasil kinerja.
organisasi mengevaluasi dan menerapkan modifikasi yang diperlukan
dalam MIS. Berbagai istilah yang terkait dengan evaluasi MIS adalah
1. Evaluation approaches
2. Evaluation classes
3. Product-based MIS evaluation
4. Cost/benefit-based evaluation
 Evaluation approaches
Berbagai pendekatan digunakan untuk mengevaluasi kinerja MIS organisasi.
• Tinjauan Jaminan Mutu:
Tinjauan jaminan mutu juga dikenal sebagai tinjauan teknis MIS. kualitas kecepatan transmisi data,
penyimpanan utama atau sekunder, dan kapasitas CPU.
• Keandalan dan Akurasi:
Keandalan dan akurasi merupakan indikator kunci untuk mengukur kinerja SIM. Kegunaan informasi yang
dihasilkan biasanya ditentukan oleh presisi data.
• Ketepatan waktu Informasi:
Hasil SIM harus terbaru. ketika mengevaluasi pola, manajemen harus membuat asumsi tentang masa
depan organisasi, berdasarkan data MIS terbaru, pengambilan keputusan selalu mencerminkan realitas
saat ini dan memprediksi dengan tepat dampaknya terhadap bisnis. Jika ada penundaan pengumpulan
dan pemrosesan data, MIS harus memperhitungkan potensi ketidakakuratan penyajian informasi yang
dihasilkan sesuai dengan kemungkinan rentang kesalahan.
Personil pengembangan MIS atau kelompok penjaminan mutu melakukan tinjauan
penjaminan mutu.
Evaluation classes

Untuk mengevaluasi kinerja MIS

• Efektivitas:
Kelas efektivitas menentukan kualitas keluaran MIS. MIS efektif jika kualitas outputnya baik dan
proses menghasilkan outputnya tepat.
• Efisiensi:
Kelas efisiensi menentukan jumlah total sumber daya yang dibutuhkan oleh MIS untuk mendapatkan
output.
• Kelengkapan Informasi:
Untuk keputusan tertentu, SIM yang berhasil menyediakan semua informasi yang paling penting dan
berharga secara lengkap.
Hubungan antara efektivitas dan efisiensi dapat didefinisikan sebagai efektivitas adalah
ukuran kualitas output MIS, sedangkan efisiensi adalah ukuran sumber daya yang
dibutuhkan untuk mencapai output.
Product-based MIS evaluation
Evaluasi MIS berbasis produk juga dikenal sebagai evaluasi efektivitas yang ditentukan dari output
MIS. Untuk menilai output dari efektivitas ada struktur model dapat digunakan.
Struktur Model: struktur yang berisi berbagai atribut informasi seperti ketepatan waktu dan
relevansi. Beberapa atribut yang umum digunakan adalah,
• Ketepatan waktu: Informasi waktu nyata dapat disebut informasi yang dievaluasi dalam waktu yang
sangat singkat.
• Relevansi: Pertanyaan seperti ketepatan waktu, otoritas, atau kebaruan hasil dan juga signifikansi.
• Akurasi: Keakuratan informasi dapat di ukur dari tingkat konsistensinya, kelengkapannya kecil,
keakuratan.
• Kelengkapan: Kelengkapan mengacu pada seberapa komprehensif data tersebut.
• Kecukupan: Kemampuan untuk memperoleh informasi yang diperlukan untuk pengambilan
keputusan secara tepat waktu dan dapat diandalkan.
• Explicitness: Sejauh mana MIS konsisten dengan organisasi tertentu.
• Exception-based: MIS harus dibangun berdasarkan konsep exception-based reporting, yang
menyiratkan kondisi tidak teratur di mana nilai maksimum, minimum, atau prediksi berbeda di luar
batas. Pelaporan pengecualian harus diberikan kepada pengambil keputusan pada tingkat yang
sesuai dalam kasus tersebut.
Cost/benefit-based evaluation

• Evaluasi berbasis biaya dari sistem MIS menentukan manfaat yang

diharapkan dari sistem yang dikembangkan. Pendekatan yang
berbeda digunakan untuk mengukur biaya dan mengevaluasi
berbagai manfaat bagi organisasi.
• Pendekatan analisis biaya-manfaat digunakan untuk mencari solusi
yang layak. Pengukuran biaya/manfaat menentukan efektivitas
biaya sistem.
Indikator Ketidakefektifan Sistem

• waktu henti dan waktu menganggur yang berlebihan

• waktu respons sistem yang lambat
• biaya perawatan yang berlebihan
• ketidakmampuan untuk berinteraksi dengan perangkat keras/perangkat lunak
baru
• keluaran sistem yang tidak dapat diandalkan
• Data hilang
• kebutuhan yang sering untuk pemeliharaan program dan modifikasi
• ketidakpuasan pengguna dengan format keluaran, konten atau ketepatan
waktu.
 B D G I
Model Evaluasi
A gap F

A : faktor yang akan dievaluasi

AB : = apa yang akan diharapkan dari faktor A C E H
BD = rentetan mengenai harapan-harapan
atas faktor A (jika ada)
AC = fakta-fakta mengenai A
CE = proses analisis data AC sehingga
menghasilkan nilai E
DE = adalah gap, yaitu besar perbedaan
antara harapan (D) dan kenyataan (E)
F = suatu tolok ukur uuntuk menilai gap
G = adalah hasil evaluasi menggunakan tolok
ukut F, bahwa faktor A memang bermasalah
H = adalah hasil evaluasi menggunakan tolok
ukur F, bahwa faktor A tidak bermasalah
GI = tindak lanjut hasil evaluasi
Model Evaluasi
Ada beberapa jenis model evaluasi yang dapat dipakai
untuk melakukan evaluasi. Salah satunya adalah model
UCLA yang ditemukan oleh Alkin (1969), dimana model
dibagi menjadi 5 macam yaitu :
• System Assessment
• Program Planning,
• Program Implementation,
• Program Improvement,
• Program Certification
 Model Evaluasi
• System Assessment, yaitu evaluasi yang memberikan informasi
tentang keadaan atau posisi pencapaian suatu sistem yang berjalan.
• Evaluasi ini merupakan penerapan dari model evaluasi diri.
• Program Planning, yaitu evaluasi yang membantu pemilihan
aktivitas dalam program tertentu yang mungkin akan berhasil
memenuhi kebutuhannya.
• Model ini membantu memilih aktivitas terbaik yang akan
dilakukan untuk mencapai keberhasilan sistem.
 Model Evaluasi
• Program Implementation, yaitu evaluasi yang menyiapkan
informasi tentang apakah program sudah diperkenalkan/diterapkan
kepada kelompok/pengguna yang tepat seperti yang telah
direncanakan sehingga sistem akan berhasil.
• Program Improvement, yaitu evaluasi yang memberikan informasi
tentang bagaimana program berfungsi, bagaimana program bekerja,
bagaimana mengantisipasi masalah yang mungkin dapat mengganggu
pelaksanaan kegiatan.
• Program Certification, yaitu evaluasi yang memberikan informasi
mengenai nilai atau manfaat program.
Model Evaluasi

Prosedur Evaluasi
1. Menentukan apa yang akan dievaluasi.
Beberapa aspek penting yang dapat di evaluasi dalam kerangka sistem bisnis
diantaranya adalah :

a. Aspek Strategi Perusahaan

b. Aspek Pemasaran dan Pasar
c. Aspek Operasional
d. Aspek Sumber Daya Manusia
e. Aspek Keuangan
Model Evaluasi

Prosedur Evaluasi lanjutan

2. Merancang kegiatan evaluasi.

3. Pengumpulan data.
4. Pengolahan dan analisis data.
5. Pelaporan hasil evaluasi.
6. Tindak lanjut hasil evaluasi.
 Model Evaluasi
Standart Evaluasi
Beberapa standar yang dikemukakan antara lain adalah :
1. Keakuratan (Accuracy); hasil evaluasi hendaknya memiliki tingkat akurasi yang
tinggi menyangkut aspek -aspek kelengkapan (completeness), kebenaran
(correctness) dan keamanan (security).
2. Kelayakan (Feasibility); Hendaknya proses evaluasi yang dirancang dapat
dilaksanakan secara layak.
3. Manfaat (Utility); Hasil evaluasi hendaknya bermanfaat bagi manajemen untuk
pengambilan keputusan ats sistem yang berjalan.
Jenis Evaluasi untuk Sys. Efektivitas

Evaluasi relatif - auditor membandingkan keadaan pencapaian tujuan. setelah sistem

diimplementasikan, dengan status pencapaian tujuan sebelum sistem
diimplementasikan.
• Peningkatan penyelesaian tugas
• Peningkatan kualitas kehidupan kerja.

Evaluasi mutlak - auditor menilai ukuran pencapaian tujuan setelah sistem

diimplementasikan.
• Efektivitas operasional,
• Efektivitas teknis
• Efektivitas ekonomi.
Peningkatan Pencapaian Tugas

I/S yang efektif meningkatkan pencapaian tugas dari penggunanya.

• Auditor sulit memberikan yang ukuran spesifik untuk mengevaluasi pencapaian masa lalu
• Ukuran kinerja untuk penyelesaian tugas berbeda di seluruh aplikasi dan terkadang di seluruh
organisasi.
• sistem kontrol manufaktur
• jumlah unit keluaran
• jumlah unit yang rusak yang dikerjakan ulang, unit yang dibuang
• jumlah waktu henti/waktu menganggur.
• Penting untuk melacak pencapaian tugas dari waktu kewaktu
Sistem mungkin tampak membaik untuk waktu yang singkat waktu setelah implementasi, tetapi
jatuh ke dalam kekacauan setelahnya.
Quality of Working Life

• Kualitas kehidupan kerja yang tinggi bagi pengguna sistem

merupakan tujuan utama dalam proses desain. Biasanya kurang ada
kesepakatan tentang definisi dan pengukuran konsep kualitas
kehidupan kerja.
• Kelompok yang berbeda memiliki kepentingan pribadi seperti
produtivitas dan sosial
• Keuntungan utama - relatif objektif, dapat diverifikasi, dan sulit
untuk dimanipulasi. Data yang dibutuhkan relatif mudah diperoleh.
• Kelemahan utama - sulit untuk menghubungkannya dengan kualitas
SI dan sulit untuk menentukan tindakan korektif apa yang diperlukan
Tujuan Efektivitas Operasional

Auditor mengevaluasi seberapa baik sistem memenuhi tujuannya

dari sudut pandang pengguna yang berinteraksi dengan sistem
secara teratur. Empat langkah utama
• Frekuensi penggunaan,
• Sifat penggunaan,
• Kemudahan penggunaan, dan
• Kepuasan pengguna.
Frekuensi dan Sifat Penggunaan

• Frekuensi - digunakan secara luas, tetapi bermasalah

terkadang sistem berkualitas tinggi menyebabkan frekuensi penggunaan
yang rendah karena sistem memungkinkan lebih banyak pekerjaan
diselesaikan dalam periode waktu yang lebih singkat.
terkadang kualitas sistem yang buruk menyebabkan frekuensi penggunaan
yang rendah karena pengguna tidak menyukai sistem tersebut
• Alam - dapat menggunakan sistem dalam banyak cara memperlakukan
tingkat terendah sebagai kotak hitam yang menyediakan solusi untuk
penggunaan tingkat tertinggi untuk mendefinisikan kembali bagaimana
tugas, pekerjaan dilakukan dan dilihat
Kemudahan Penggunaan dan Kepuasan
Pengguna

• Kemudahan penggunaan - korelasi positif antara perasaan pengguna

tentang sistem dan sejauh mana sistem itu mudah digunakan. Dalam
mengevaluasi kemudahan penggunaan, penting untuk
mengidentifikasi pengguna primer dan sekunder dari suatu sistem.
• Batasan Lokasi, fleksibilitas pelaporan, kemudahan koreksi kesalahan
• Kepuasan pengguna - menjadi ukuran penting efektivitas operasional
karena kesulitan dan masalah yang terkait dengan ukuran frekuensi
penggunaan, sifat penggunaan, dan kemudahan penggunaan.
• penemuan masalah, pemecahan masalah, input, pengolahan, formulir
laporan
Tujuan Efektivitas Teknis

• Apakah teknologi perangkat keras dan perangkat lunak yang sesuai telah
digunakan untuk mendukung suatu sistem
• apakah perubahan dalam teknologi perangkat keras atau perangkat lunak
pendukung akan memungkinkan sistem untuk mencapai tujuannya dengan
lebih baik.
• Kinerja perangkat keras dapat diukur menggunakan monitor perangkat
keras atau tindakan lebih kasar seperti waktu respons sistem, waktu
henti.
• Efektivitas perangkat lunak dapat diukur dengan memeriksa riwayat
pemeliharaan program, modifikasi, dan konsumsi sumber daya waktu
berjalan.
Tujuan Efektivitas Ekonomi

• Memerlukan identifikasi biaya dan manfaat serta evaluasi biaya

dan manfaat yang tepat
• tugas yang sulit karena biaya dan manfaat bergantung pada sifat
SI.
Misalnya,
beberapa manfaat yang diharapkan dan diperoleh dari SI yang
dirancang untuk mendukung lingkungan layanan sosial akan
berbeda secara signifikan dari sistem yang dirancang untuk
mendukung aktivitas manufaktur.
Mengevaluasi efisiensi sistem

Mengapa auditor terlibat dalam studi efisiensi sistem?

• mengevaluasi sistem operasional yang ada untuk menentukan apakah kinerjanya
dapat ditingkatkan
• mengevaluasi sistem alternatif yang sedang dipertimbangkan untuk dibeli atau
disewa oleh instalasi. Misalnya, manajemen mungkin mempertimbangkan dua
sistem dengan pendekatan manajemen basis data yang berbeda.
• Untuk menentukan apakah suatu sistem efisien, auditor perlu mengidentifikasi
• indeks kinerja yang tepat untuk menilai efisiensi sistem.
• model beban kerja yang sesuai untuk mengukur kinerja sistem dalam konteks itu
Indeks Kinerja

Indeks Kinerja
• Mengukur efisiensi sistem secara kuantitatif seberapa baik sistem mencapai kriteria
efisiensi.
• memungkinkan pengguna untuk memutuskan apakah sistem akan memenuhi kebutuhan,
• mengizinkan perbandingan sistem alternatif, dan
• menunjukkan apakah perubahan pada konfigurasi perangkat keras/perangkat lunak
sistem telah menghasilkan efek yang diinginkan.
• Dinyatakan menggunakan rentang atau probabilitas distribusi - rata-rata mungkin
menipu (lihat variasi waktu respons)
• Dinyatakan dalam bentuk beban kerja - mis., respons waktu sistem interaktif akan
bervariasi tergantung pada jumlah dan sifat pekerjaan dalam sistem.
Indeks - Ketepatan waktu

• Seberapa cepat suatu sistem mampu menyediakan pengguna dengan output

yang mereka butuhkan.
• Untuk sistem batch, biasanya waktu penyelesaian - lamanya waktu antara
penyerahan pekerjaan dan penerimaan output lengkap.
• Untuk sistem interaktif, waktu respons - lamanya waktu antara penyerahan
transaksi input ke sistem dan penerimaan karakter pertama dari output.
• Harus didefinisikan dalam satuan kerja dan kategorisasi prioritas yang
diberikan pada unit kerja.
• Dalam sistem batch, unit kerja biasanya adalah pekerjaan.
• Dalam sistem interaktif mungkin pekerjaan yang terdiri dari beberapa
transaksi, atau satu transaksi.
Indeks - Pemanfaatan Throughput

• Indeks throughput mengukur berapa banyak pekerjaan yang dilakukan

oleh sistem selama periode waktu tertentu.
• Tingkat throughput suatu sistem adalah jumlah pekerjaan dilakukan per
satuan waktu.
• Kemampuan sistem adalah pencapaian maksimum tingkat keluaran.
• Indeks throughput harus didefinisikan dalam hal beberapa unit kerja
pekerjaan, tugas, atau instruksi.
• Semakin responsif suatu sistem, semakin besar throughputnya.
• Indeks pemanfaatan mengukur proporsi waktu sumber daya sistem sibuk.
Misalnya, indeks penggunaan CPU dihitung dengan membagi jumlah
nwaktu CPU sibuk dengan jumlah total waktu sistem berjalan.
Beban kerja

• Beban kerja sistem adalah kumpulan tuntutan sumber daya yang dibebankan
pada sumber daya sistem oleh kumpulan pekerjaan selama periode waktu
tertentu.
• Menggunakan beban kerja nyata dari sistem untuk evaluasi mungkin terlalu
mahal dan terlalu mengganggu.
• Untuk mengukur efisiensi beban kerja yang representatif, jangka waktu
evaluasi mungkin terlalu lama.
• beban kerja sebenarnya tidak dapat digunakan jika sistem yang akan
dievaluasi tidak beroperasi.
• Membutuhkan model beban kerja yang mewakili beban kerja yang
sebenarnya
Model Beban Kerja

• Model beban kerja alami, atau tolok ukur, dibangun dengan mengambil beberapa
bagian dari beban kerja sebenarnya.
• Dalam subset waktu, isi model beban kerja sama dengan beban kerja
sebenarnya, tetapi interval waktu untuk indeks kinerja lebih kecil daripada
interval untuk beban kerja sebenarnya.
• Dalam subset konten, pekerjaan sampel dari beban kerja sebenarnya dipilih
dalam beberapa cara.
• Model beban kerja buatan yang tidak dibangun dari pekerjaan dalam beban kerja
nyata yang digunakan ketika sistem tidak dapat memproses beban kerja alami
• Alami - lebih representatif dan lebih murah untuk dibangun
• Buatan - lebih fleksibel dan lebih kompak