BAG.

1: RANGKUMAN INFORMATION TECHNOLOGY EVALUATION ISSUES AND CHALLENGES -

MARTHANDAN 2010

1. Ruang Lingkup
Manajer bisnis menghadapi masalah dan tantangan dalam mencari tahu bagaimana dan sejauh mana TI mampu
memberikan manfaat yang diinginkan. Tujuan dari makalah ini adalah untuk menguji isu-isu evaluasi TI dan tantangan
yang dihadapi oleh peneliti sistem informasi (IS), spesialis IS, dan manajer bisnis. Ada delapan temuan masalah (issue)
dan tantangan yang diidentidfikasi, yaitu: • ruang lingkup evaluasi, • waktu evaluasi, • unit analisis, • tingkat analisis, •
perspektif yang berbeda, • dimensi yang berbeda, • ukuran yang berbeda, • dan kerangka kerja teoritis yang menopang.
2. Evaluasi
Evaluasi TI dapat dilakukan secara ex-ante, ex-post, atau pada setiap tahap siklus hidup pengembangan sistem
selama evaluasi memenuhi tujuan evaluasi yang disepakati.
2.1. Ruang Lingkup Evaluasi
Ruang lingkup evaluasi memiliki implikasi keseluruhan untuk tujuh masalah lainnya, jadi penting untuk
terlebih dahulu menentukan ruang lingkup evaluasi. Lingkup evaluasi yang terdefinisi dengan baik dapat bermanfaat
karena menyajikan konteks untuk memudahkan pengambilan keputusan. Ruang lingkup evaluasi yang didefinisikan
dengan jelas membantu banyak dalam memberikan petunjuk untuk masalah perspektif pemangku kepentingan,
dimensi evaluasi dan langkah-langkah evaluasi Ruang lingkup dapat mencakup sistem tertentu atau total portofolio
sistem organisasi. Secara umum, organisasi memiliki definisi TI yang berbeda, tetapi definisi tersebut cenderung
mencakup segala sesuatu tentang TI.
2.2. Waktu Evaluasi
Mohd. Yusof et al. (2008) mengusulkan bahwa evaluasi juga dapat dilakukan dalam fase individu dari siklus
hidup pengembangan sistem. Dalam kebanyakan kasus, waktu evaluasi dapat menghasilkan hasil yang berbeda.
Implementasi TI baru tidak selalu membawa manfaat langsung. Ada jeda waktu sebelum manfaat direalisasikan.
Selain itu, pengukuran manfaat dapat diperumit dengan perbaikan organisasi pelengkap lainnya. Bernroider (2008)
mengamati bahwa manfaat yang tidak diinginkan mungkin muncul ketika IT sedang digunakan atau menjadi dewasa
2.3. Unit Analisis
Unit analisis yang tidak tepat dalam studi evaluasi TI dapat menjadi masalah (Grover et al., 1996; Jurison,
1996; Weill, 1992). Unit analisis dapat ditentukan sebagian besar oleh tujuan dan konteks evaluasi (Grover et al.,
1996).
2.4. Tingkat Analisis
Shayo et al. (1999) menyarankan kita juga harus melihat berbagai tingkat analisis, misal grup, departemen,
dan organisasi, untuk model evaluasi TI yang komprehensif dan terintegrasi. Kim et al. (1999) menyebutkan bahwa
nilai sistem dapat diperiksa pada empat tingkatan yang berbeda: sistem, pengguna, organisasi, dan strategis. Setiap
tingkat memerlukan ukuran evaluasi yang berbeda. Tangpong (2008) berpendapat bahwa dampak TI harus diperiksa
pada tingkat organisasi karena organisasi mengharapkan pengembalian investasi TI mereka. Namun, Weill dan
Olson (1989) menyarankan bahwa investasi TI mungkin tidak dinilai secara ideal di tingkat organisasi. Sebagai
gantinya, keterkaitan antara investasi TI dan kinerja organisasi dapat ditunjukkan terbaik di tingkat unit bisnis
strategis. Beberapa peneliti mengusulkan bahwa manfaat TI diwujudkan secara bertahap di berbagai tingkat
organisasi.
2.5. Perspektif yang Berbeda
Lyytinen dan Hirschheim (1987) berpendapat bahwa pemangku kepentingan yang berbeda memiliki nilai yang
berbeda, meskipun kadang-kadang sulit untuk didefinisikan, tetapi gagal memenuhi harapan kelompok pemangku
kepentingan tertentu adalah penyebab umum kegagalan IS. Seddon et al. (1999), menunjukkan bahwa evaluasi IS
dapat dilakukan dari tiga perspektif yang berbeda: pengguna, pengembang, dan manajemen; serta, efektivitas IS 30-
kategori yang mencakup kombinasi pemangku kepentingan dan sistem yang berbeda. Mengetahui bahwa sulit untuk
mempertimbangkan semua perspektif, Cronk dan Fitzgerald (1999) menyarankan mulai dengan ukuran nilai bisnis
umum yang luas, yang memungkinkan konteks IS yang bersangkutan untuk memutuskan langkah-langkah akhir
nanti.
2.6. Dimensi yang Berbeda
Pendekatan multi-dimensi untuk mengukur keberhasilan IS, yang memperhitungkan interdependensi di antara
langkah-langkah, lebih baik daripada pendekatan unidimensional (Rai et al., 2002). Doll dan Torkzadeh (1998)
mengusulkan lima dimensi penggunaan sistem, yaitu penyelesaian masalah, rasionalisasi keputusan, integrasi
horizontal, integrasi vertikal, dan layanan pelanggan. Dalam menilai manfaat organisasi dari IS, Mirani dan Lederer
(1998) mengklasifikasikan manfaat ke dalam tiga kategori dalam hal tujuan organisasi masing-masing IS melayani:
strategis, informasi, dan transaksional. Marsh dan Flanagan (2000) mengusulkan kerangka kerja yang sama untuk
mempertimbangkan manfaat TI dari tiga dimensi, yaitu otomatisasi, informasi, dan transformasional. Eskow (1990)
mengusulkan bahwa ukuran nilai TI dapat dipertimbangkan dari tiga aspek yang berbeda: kinerja dalam hal
pemenuhan tujuan proyek, kualitas dalam hal kepuasan pelanggan, dan produktivitas dalam hal efisiensi sistem
2.7. Pengukuran yang Berbeda
Klein et al. (1997) melakukan penelitian untuk menyelidiki apakah ukuran dan kepentingannya bervariasi
sesuai dengan jenis IS. Mereka menemukan bahwa ada perbedaan di antara IS dalam hal ukuran. Pentingnya setiap
ukuran bervariasi sesuai dengan jenis dan tujuan IS, mis. keputusan dan langkah-langkah dampak organisasi sangat
penting untuk fungsi dukungan tingkat tinggi dari DSS dan sistem pelaporan informasi. Kesimpulan dari Larsen
(2003) tidak ada ukuran keberhasilan IS di tingkat organisasi. Larsen menyarankan bahwa dalam memilih ukuran
keberhasilan IS, peneliti harus menggunakan sistem dan ukuran khusus organisasi.
 2.8. Kerangka Teoritis Penopang
BAG. 2: bahwa
Hallikainen et al. (2002) berpendapat KORELASI & PERTANYAAN
pendekatan pengukuran kinerja yang baik harus didukung oleh
kerangka teori yang mendasarinya. Kerangka atau model teoritis yang mendasari harus diadopsi sedapat mungkin.
Jurnal yang digunakan:
a. Analisa_Kesuksesan_Sistem_Informasi_Akademik.pdf
b. EVALUASI PENERAPAN RAIL DOCUMENT SYSTEM (RDS).pdf*
c. PENGUKURAN EFEKTIVITAS DAN EFISIENSI E-GOVERMENT - SURABAYA SINGLE WINDOWS.pdf
Jurnal A: mengadopsi pendekatan metode penelitian Delone & Mclean IS Success. Jurnal B: menggunakan metode
DMR Result Chain. Jurnal C: menggunakan pendekatan ISO/IEC 25022.

A. Issue Mana Saja Yang Dapat Diselesaikan Dan Issue Mana Saja Yang Belum Terjawab.
1. Ruang Lingkup Evaluasi. Ketiga jurnal mampu memenuhi penyelesaian issue ruang lingkup. Seperti
yang kita ketahui ruang lingkup memiliki implikasi keseluruhan untuk tujuh masalah lainnya, jadi tidak heran
ketiga jurnal mampu mendefinisikan ruang lingkupnya. Ruang lingkup masing-masing jurnal akan dijelaskan
dibawah ini:

Jurnal A mampu mendefinisikan sistem apa yang akan di ukur, tujuan pengukuran, dan manfaatnya. Ruang
lingkup evaluasi penelitian jurnal A dilakukan dengan tujuan mengukur kesuksesan Sistem Informasi
Akademik (SIAKAD) di perguruan tinggi studi kasus pada implementasi SIAKAD yang diterapkan di ITS
Surabaya. SIAKAD bagi ITS Surabaya merupakan media informasi, komunikasi dan proses manajemen yang
memudahkan stakeholder dan civitas akademik ITS serta masyarakat luas untuk mengakses lebih mengetahui
tentang ITS. Keberadaan SIAKAD ITS Surabaya menyederhanakan berbagai proses administrasi mahasiswa
dalam bidang pendidikan, keuangan, serta akademik. Salah satu manfaat yang telah dirasakan adalah
kemudahan dalam proses menyampaikan dan mendapatkan informasi akademik di ITS serta penghematan
biaya yang dikeluarkan karena pemangkasan birokrasi yang panjang dan penghematan dari sisi jumlah SDM
dalam penanganannya. Manfaat yang dapat diperoleh dari penelitian ini adalah rujukan bagi penyedia layanan
SIAKAD maupun perguruan tinggi untuk mengevaluasi pelaksanaan sistem informasi dan memperbaiki
kinerja penerapan
SIAKAD. Selain itu, manfaat yang dapat dicapai adalah pengetahuan dan wawasan tentang pengukuran
kesuksesan sistem informasi pada umumnya dan SIAKAD pada khususnya. Kontribusi penelitian ini adalah
poin pengukuran dan kriteria kesuksesan dari tiap item pengukuran sistem informasi akademik (SIAKAD).

Jurnal B mampu mendefinisikan sistem apa yang akan di ukur, tujuan evaluasi, dan manfaatnya. Ruang
Lingkup Evaluasi pada penelitian jurnal B adalah mengukur manfaat Rail Document System (RDS) sebagai
solusi sistem informasi penanganan surat menyurat pada Unit Dokumen di PT Kereta Api Indonesia (Persero)
Daop 8 Surabaya (UD). Penerapan RDS diharapkan dapat menyelesaikan permasalahan terkait surat-menyurat
yang terjadi ketika menggunakan Microsoft Access. Permasalahan tersebut diantaranya adalah keterbatasan
akses dari sisi lokasi dan waktu, lamanya proses disposisi surat (pengiriman surat ke dalam) dan sulitnya
pelacakan riwayat surat. Dengan pengukuran ini, maka UD dapat diharapkan terhindar dari IT Productivity
Paradox.

Jurnal B mampu mendefinisikan dengan jelas sistem apa yang akan di ukur, bonus tujuan evaluasi, dan
manfaatnya. Ruang Lingkup Evaluasi jurnal C dengan tujuan mengukur tingkat efektivitas dan efisiensi
Surabaya Single Windows (SSW). Surabaya Single Windows (SSW) adalah salah satu bentuk penerapa e-
government berbasis web yang mendukung Pemkot Surabaya untuk memberikan layanan publik. SSW
memudahkan warga Surabaya karena lebih dari 20 layanan dari total 108 layanan yang bisa dilakukan secara
online (terutama dalam pengisian formulir persyaratan). SSW memiliki 2 jalur pelayanan yaitu Sistem Paket
dan Sistem Parsial dan kedua proses memiliki tahapan yang berbeda. Berdasarkan alur tahapan layanan Sistem
Paket dan Sistem Parsial, ruang lingkup observasi pada penelitian ini sebesar 37% persen untuk Sistem Parsial
dari keseluruhan penggunaan SSW dalam suatu pemrosesan berkas. Sedangkan untuk layanan Sistem Paket
sebesar 24%. Prosentase diluar ruang lingkup observasi sebesar 63% untuk Sistem Parsial sedangkan 76%
untuk Sistem Paket. Angka prosentase 63% dan 76% merupakan angka yang tidak bisa dipastikan bahwa
semua bagian tersebut menggunakan SSW dalam memproses berkas. Hal ini dikarenakan peneliti tidak
mengobservasi diluar penerimaan berkas, sehingga besar prosentase diluar observasi tidak bisa dipastikan
apakah semua proses dalam pemrosesan berkas menggunakan SSW. Sedangkan angka 37% dan 24%
merupakan prosentase yang dapat dipastikan bahwa semua bagian tersebut menggunakan SSW dalam
memproses berkas khususnya penerimaaan berkas.

2. Waktu Evaluasi. Ketiga jurnal mampu memenuhi penyelesaian issue waktu evalusasi.
 Jurnal A pendekatan waktu evaluasi dilakukan setelah implementasi Sistem Informasi Akademik (SIAKAD).
Pada jurnal B pendekatan waktu evaluasi dilakukan setelah implementasi Rail Document System (RDS).
Sedangkan jurnal C pendekatan waktu evaluasi juga dilakukan setelah implementasi Surabaya Single
Windows (SSW). Ketiga jurnal menggunakan pendekatan ex-ante dalam melakukan pengukuran.

3. Unit Analisis. Jurnal A dan B mampu memenuhi penyelesaian issue unit analisis. Sedangkan jurnal C
tidak mampu memenuhi penyelesaian issue unit analisis.
Jurnal A unit yang dianalisis meliputi mereka yang berkualifikasi sebagai pengguna Sistem Informasi
Akademik ITS yaitu: mahasiswa, dosen, dan staff karyawan.
Pada jurnal B unit yang dianalisis meliputi orang-orang yang menggunakan RDS di Unit Dokumen PT KAI.
Jurnal C tidak jelas unit mana yang di evaluasi dalam organisasi.

4. Tingkat Analisis. Ketiga jurnal tidak ada yang mampu memenuhi penyelesaian issue tingkat analisis.
Jurnal A tingkat yang dianalisis hanya meliputi level sistem mereka yang berkualifikasi sebagai pengguna
Sistem Informasi Akademik ITS yaitu: mahasiswa, dosen, dan staff karyawan sehingga hanya proses bisnis
yang di evaluasi. Tidak menjawab analisis level organisasi dan strategis. Hal ini yang meenyebabkan
pertanyaan apakah investasi IT kembali tidak bisa terjawab dan level analisis belum kompleks.
Pada jurnal B tingkat yang dianalisis juga hanya meliputi level sistem orang-orang yang menggunakan RDS di
Unit Dokumen PT KAI sehingga hanya proses bisnis yang di evaluasi. Tidak menjawab analisis level
organisasi dan strategis. Hal ini yang menyebabkan pertanyaan apakah investasi IT kembali tidak bisa terjawab
dan level analisis belum kompleks.
Jurnal C tingkat yang dianalisis juga hanya meliputi level sistem SSW sehingga hanya proses bisnis yang di
evaluasi. Tidak menjawab analisis ditingkat atau level organisasi dan strategis. Hal ini yang menyebabkan
pertanyaan apakah investasi IT kembali tidak bisa terjawab dan level analisis belum kompleks.

5. Perspektif yang Berbeda. Ketiga jurnal tidak ada yang mampu memenuhi penyelesaian issue perspektif
yang berbeda.
Jurnal A perspektif yang dianalisis hanya meliputi yang berkualifikasi sebagai pengguna Sistem Informasi
Akademik ITS yaitu: mahasiswa, dosen, dan staff karyawan, dimana mereka ini memiliki kedudukan yang
berbeda dalam menggunakan SIAKAD, maka ada hipotesis bahwa para pengguna ini memiliki perspektif
pengalaman yang berbeda saat menggunakan SIAKAD. Tetapi tidak melihat pada perspektif para pemangku
kepentingan lain di organisasi.
Pada jurnal B perspektif yang dianalisis meliputi level pengguna, yaitu orang-orang yang menggunakan RDS
di Unit Dokumen PT KAI. Tetapi tidak melihat pada perspektif para pemangku kepentingan lain di organisasi.
Jurnal C perspektif yang dianalisis meliputi level pengguna, dan tidak melihat pada perspektif para pemangku
kepentingan lain di organisasi.

6. Dimensi yang Berbeda. Jurnal A dan B mampu memenuhi penyelesaian issue dimensi yang berbeda.
Sedangkan jurnal C tidak mampu memenuhi penyelesaian issue dimensi yang berbeda.
Jurnal A menggunakan pendekatan multi-dimensi SIAKAD yang meliputi Kualitas Informasi, Kualitas
Layanan, Pemakainan, Kepuasan Pengguna, dan Manfaat.
Jurnal B menggunakan pendekatan multi-dimensi RDS outcome (manfaat yang didapatkan). Outcome Jurnal
B RDS meliputi Benefit Register: peningkatan fleksibilitas akses sistem, proses penanganan surat semakin
cepat, riwayat surat jelas, peningkatan efektifitas penanganan surat menyurat; Fleksibilitas Akses Sistem:
peningkatan fleksibilitas akses sistem; Riwayat Surat Jelas; dan Peningkatan Efektifitas Penanganan Surat.
Jurnal C hanya menggunakan pendekatan dua-dimensi SSW yaitu, Efetivitas dan Efisiensi. Menurut DeLone
dan McLean (1992) penggunaan dua variabel tidak cukup baik. Pendekatan multi-dimensi untuk mengukur
keberhasilan IS, yang memperhitungkan interdependensi di antara langkah-langkah, lebih baik daripada
pendekatan unidimensional (Rai et al., 2002).

7. Pengukuran yang Berbeda. Ketiga jurnal mampu memenuhi penyelesaian issue pengukuran yang
berbeda.
Jurnal A melakukan pengukuran menggunakan kuisioner, ahp, dan formula. Pada Jurnal B melakukan
pengukuran manfaat menggunakan metode pengukuran DMR Result Chain dan kuisioner. Jurnal C
pengukuran SSW efektivitas: task completed, error in a task, tasks with error, error intensity; dan efisiensi: :
task time, time productive ratio, fatigue; diukur berdasarkan ISO/IEC 25022 dan Formula Bowen.
 8. Kerangka Kerja teoritis yang Menopang. Ketiga jurnal mampu memenuhi penyelesaian issue Kerangka
kerja teoritis yang menopang.
Jurnal A menggunakan kerangka teori Delone & Mclean. Jurnal B menggunakan kerangka teori DMR Result
Cain . Jurnal C menggunakan kerangka teoritis penopang dari ISO/IEC 25022 dan Formula Bowen.

B. Buat perbandingan dari ketiga pendekatan tersebut, berikan penjelasan yang cukup. Berikan kesimpulan.

DELONE & MCLEON METODE DMR ISO/IEC 25022 DAN

Indikator
IS SUCCESS MODEL RESULT CHAIN FORMULA BOWEN

sistem quality, Alat yang digunakan, Efektivitas (Tasks

information quality, user ketepatan waktu, Completed, Error in Task,
statisfaction, use, ketepatan fungsi, tempat Tasks with Error, Error
Faktor/Variabel individual impact, dan akses Intensity) dan Efisiensi
organizational impact (Task Time, Time
Productive Ratio,
Fatigue)

memberikan pemahaman dapat membuat kita menyediakan pengukuran

komprehensif tentang menentukan kegiatan yang terkait untuk
keberhasilan IS dengan yang harus dilakukan, karakteristik kualitas
mengidentifikasi, mengklarifikasi hasil yang efektifitas dan efesiensi
menggambarkan, dan akan dicapai, dan pada model kualitas yang
Kelebihan menjelaskan hubungan di mengelola realisasi digunakan
antara enam dimensi manfaat.
kesuksesan yang paling
kritis di sepanjang sistem
informasi yang biasanya
dievaluasi

Tidak mendukung Tidak mendukung Tidak mendukung

pengukuran terkait pengukuran terkait peran pengukuran terkait
Kekurangan perangkat keras yang sumber daya manusia perangkat keras yang
digunakan. karena pengguna hanya digunakan.
tunggal

Kesimpulan: Dari ketiga pendekatan diatas setiap pendekatan dalam mengevaluasi memperhatikan level terkait
sistem, pengguna dan proses bisnis. Masing-masing pendekatan memiliki karakteristik yang unik dan ketiga
pendekatan dapat digunakan sesuai dengan kondisi dan kebutuhan yang ada

C. Apakah ketiga pendekatan yang ada dapat saling mendukung Atau masing-masing pendekatan bersifat
independen? (diasumsikan bahwa ketiga pendekatan tersebut mengukur sistem/objek yang sama). Berikan
penjelasan yang cukup.
Ketiga metode pendekatan dapat saling melengkapi satu sama lainnya dimana setiap metode mendukung apabila
sistem yang diukur memiliki karakteristik yang sesuai dengan masing-masing pendekatan. Akan tetapi, pendekatan
besifat independent apabila system yang diukur memiliki karakteristik tertentu

DINI SETIYA RATIH

17082010012 – Pararel A