Machine Translated by Google

Heliyon 8 (2022) e11977

Daftar konten tersedia di ScienceDirect

Heliyon

beranda jurnal: www.cell.com/heliyon

Mengulas artikel

Model dan metode untuk evaluasi keberhasilan proyek sistem informasi –

Tinjauan dan arahan untuk penelitian
A,* B
Jo~ao Gomes C
Jo~ao Varaj~ao , Jo~ao Carlos Lourenço ,

A
Pusat Penelitian ALGORITMI/LASI, Universidade do Minho, Campus de Azurem, 4804-533 Guimaraes, Portugal ~
B
CEGIST, Instituto Superior Tecnico, Universidade de Lisboa, Av. Rovisco Pais 1, 1049-001 Lisboa, Portugal
C
MIEGSI, Uiversidade do Minho, Campus de Azurem, 4804-533 Guimaraes, Portugal ~

INFORMASI ARTIKEL ABSTRAK

Kata kunci: Organisasi sangat bergantung pada sistem informasi untuk meningkatkan efisiensi dan efektivitasnya. Namun, di satu
Evaluasi proyek sisi, proyek sistem informasi sering dipandang sebagai usaha yang bermasalah. Di sisi lain, seseorang dapat bertanya
Penilaian proyek
apakah perspektif ini dihasilkan dari persepsi subjektif atau penilaian objektif. Kami tidak dapat menemukan jawaban
Penilaian proyek
pasti untuk pertanyaan ini dalam literatur. Selain itu, tidak ada informasi terstruktur tentang model dan metode yang
Model evaluasi proyek
tersedia saat ini untuk menilai keberhasilan proyek dalam praktiknya. Makalah ini bertujuan untuk menyajikan hasil
Metode evaluasi proyek
Teknik evaluasi proyek kajian literatur yang dilakukan pada model yang masih ada dan metode untuk mengevaluasi keberhasilan proyek sistem
Kriteria evaluasi informasi. Selain itu, ia juga menawarkan model dan metode dari area lain yang mungkin cocok untuk menilai proyek
Kriteria sukses SI. Hasil menunjukkan bahwa sebagian besar model dan metode yang ditemukan dalam literatur, pada intinya, adalah
Keberhasilan proyek latihan teoritis dengan hanya beberapa bukti penggunaannya dalam praktik, sehingga mendesak untuk penelitian yang
Sistem Informasi lebih berbasis empiris.
Manajemen proyek

1. Perkenalan
Sistem Informasi (SI) sangat penting untuk organisasi kontemporer, hadir di semua
aspek bisnis (Varaj~ao dan Carvalho, 2018; K€ari€ainen et al., 2020). Di dunia VUCA
(Volatile, Uncertain, Complex, and Ambiguous) saat ini, kapasitas untuk mempertahankan
dan memperbarui IS yang ada dan membuat serta mengadopsi fitur IS baru merupakan
pembeda kompetitif ( Patnayakuni dan Ruppel, 2010; Ngereja dan Hussein, 2021). Lebih
jauh lagi, organisasi perlu berinovasi dalam produk, proses, pasar, dan model bisnis
agar tetap berkelanjutan dan berkinerja efektif (David dan Lawrence, 2010). Tanpa
proyek IS, seperti proyek transformasi digital, yang mengacu pada perubahan penawaran
kerja dan bisnis yang dimungkinkan oleh adopsi Teknologi Informasi (TI) dalam suatu
organisasi (Ka€ari€ainen et al., 2020), yang tidak layak.
Dalam dekade terakhir, manajemen proyek telah mendapatkan pengakuan sebagai
disiplin akademis karena semua organisasi mengembangkan proyek dan, untuk ini,
menggunakan manajemen proyek sebagai cara untuk menyusun dan mengelola
investasi mereka. Namun, dalam kasus IS tertentu, proyek terus melaporkan tingkat
kesuksesan yang lebih rendah (Iriarte dan Bayona, 2020), jadi penting untuk memahami
pengaruh kesuksesan proyek (Kendra dan Taplin, 2004) dan bagaimana mengevaluasinya
(Varaj ~ao, 2016, 2018; Pereira et al., 2022).
Selain itu, seringkali dianggap bahwa mencapai kesuksesan dalam proyek-proyek ini
merupakan tantangan (Tam et al., 2020).
Evaluasi keberhasilan berkaitan dengan penilaian tentang pencapaian suatu usaha
(Arviansyah et al., 2015; Pereira et al., 2022), dan metode yang tepat harus diadopsi
untuk mengevaluasi proyek (Pinto dan Slevin, 1987). Keberhasilan proyek secara
tradisional terkait dengan Segitiga Besi, yaitu pencapaian ruang lingkup, biaya dan
waktu. Baru-baru ini, kriteria penting lainnya telah dipertimbangkan dalam evaluasi
keberhasilan, seperti kepuasan pemangku kepentingan atau dampak bisnis (Varaj~ao
et al., 2021).
Di "sisi gelap", ada penelitian yang mengungkapkan tingkat kegagalan yang tinggi,
seperti kasus, misalnya, studi global tentang inisiatif perubahan TI yang mencakup 1471
proyek, yang menyimpulkan bahwa rata-rata satu dari enam proyek berjalan, 200%
melebihi anggaran dan 70% melebihi jadwal (Hoang et al., 2013); beberapa penulis,
seperti Cecez-Kecmanovic dan Nagm (2008) atau Iriarte dan Bayona (2020), juga
menyebutkan tingkat keberhasilan yang mengecewakan. Seperti yang diharapkan,
ketidakpastian realisasi nilai ini meresahkan para praktisi dan peneliti.
Sebaliknya, di “sisi baiknya”, beberapa peneliti dan praktisi (misalnya, Lech (2013))
mempertanyakan angka-angka ini karena dunia di sekitar kita penuh dengan aplikasi TI
yang berguna dan andal (sukses),

* Penulis yang sesuai.

Alamat email: varajao@dsi.uminho.pt (J. Varaj~ao).

https://doi.org/10.1016/j.heliyon.2022.e11977 Diterima
30 Januari 2022; Diterima dalam bentuk revisi 18 April 2022; Diterima 22 November 2022 2405-8440/© 2022
Penulis. Diterbitkan oleh Elsevier Ltd. Ini adalah artikel akses terbuka di bawah lisensi CC BY-NC-ND (http://creativecommons.org/licenses/by nc-nd/4.0/).
Machine Translated by Google
~
J. Varajao dkk.
yang menyangkal perspektif negatif tentang kesuksesan (Varaj~ao et al., 2022b).
Kurangnya rincian (yaitu mengenai sampel atau kriteria) dari sebagian besar
penelitian juga membantu meningkatkan kritik mengenai hasil yang dilaporkan
(Sauer et al., 2007). Selain itu, dalam sebagian besar penelitian, tidak mungkin
untuk memastikan metode atau teknik yang digunakan untuk mengevaluasi dan
melaporkan keberhasilan proyek SI atau apakah (dan bagaimana) proyek secara
formal dinilai dalam praktiknya. Beberapa penelitian yang membahas evaluasi
keberhasilan proyek dalam praktiknya mendukung kekhawatiran ini (Pereira et al.,
2022; Varaj~ao dan Carvalho, 2018).
Kemajuan pesat dalam TI telah mendorong pengembangan proyek IS atau
organisasi untuk mengatur ulang bisnis dan meningkatkan layanan. Proyek
semacam itu membantu organisasi menciptakan dan mempertahankan keunggulan
kompetitif melalui transaksi bisnis yang cepat, proses bisnis yang semakin
terotomatisasi, peningkatan layanan pelanggan, dan dukungan keputusan yang memadai.
penelitian yang ada, memberikan kerangka model dan metode bagi peneliti dan
Mempertimbangkan bahwa keberhasilan berkelanjutan organisasi mana pun
sangat terkait dengan keberhasilan IS dan, akibatnya, dengan keberhasilan proyek
IS, mengevaluasi proyek-proyek ini menjadi sangat penting dalam organisasi
modern (Ma et al., 2013; Pereira et al., 2022).
Meskipun "kesuksesan" adalah topik yang sering didiskusikan, konsensus
mengenai maknanya jarang tercapai. Hal ini disebabkan fakta bahwa kesuksesan
proyek merupakan konsep yang rumit dan sulit dipahami dengan beberapa arti
yang berbeda (McCoy, 1986; Thomas dan Fernandez, 2008). Akibatnya, konsep
kesuksesan dapat memiliki beberapa interpretasi karena perbedaan persepsi
yang dihasilkannya, menyebabkan ketidaksepakatan tentang apa yang dapat
dianggap sebagai proyek yang sukses (Baccarini, 1999). Sejak tahun 1950-an,
banyak penulis telah menerima tiga kendala (waktu, biaya, spesifikasi) sebagai
standar ukuran keberhasilan (Oisen, 1971; Atkinson, 1999). Ini terus menjadi
sangat penting dalam mengevaluasi keberhasilan proyek SI, bersama dengan
kriteria lain seperti kepuasan pemangku kepentingan atau manfaat proyek
(Varaj~ao dan Carvalho, 2018). Namun, sebuah proyek SI tidak selalu dapat
dilihat sebagai keberhasilan atau kegagalan total, dan pemangku kepentingan
yang berbeda mungkin menganggap istilah "sukses" dan "kegagalan" berbeda
(Milis dan Vanhoof, 2006). Untuk membuat hal-hal yang lebih menantang mengenai
evaluasi, efektivitas organisasi bersifat paradoks (Cameron, 1986), dan proyek
memiliki ketegangan prioritas, struktural, dan pelaksanaan (Iivari, 2021).
Meskipun ada beberapa model, metode, dan teknik untuk mengevaluasi
keberhasilan proyek, kurangnya informasi terstruktur tentangnya (misalnya,
karakteristik, konteks, atau hasil yang dicapai dalam praktik) dapat menghambat
penggunaannya oleh para praktisi. Tanpa informasi tersebut, cukup sulit untuk
mengidentifikasi model atau metode mana yang memadai untuk mengevaluasi
keberhasilan proyek, dengan mempertimbangkan kelayakan implementasi,
manfaat, dan keterbatasan masing-masing alternatif. Ini juga mempersulit peneliti
untuk mengidentifikasi peluang untuk kontribusi baru.
Evaluasi keberhasilan proyek tampaknya saat ini merupakan proses informal
dan belum sempurna berdasarkan persepsi, terutama berfokus pada keberhasilan
manajemen proyek dan tidak peduli dengan keberhasilan keluaran proyek
(Varaj~ao dan Carvalho, 2018; Pereira et al. , 2022 ). Dengan kata lain, seringkali
keberhasilan tidak dievaluasi secara formal, dan bahkan ketika evaluasi dilakukan,
itu didasarkan pada seperangkat kriteria yang tidak lengkap atau model evaluasi
yang terbatas. Konsekuensi dari tidak mengevaluasi keberhasilan suatu proyek
secara formal dapat mengakibatkan pemborosan upaya dan sumber daya (Pujari
dan Seetharam, 2015) dan kesalahan persepsi hasil (Turner dan Zolin, 2012).
Gambar 1. Kerangka konseptual.
2
Heliyon 8 (2022) e11977
Selain itu, seperti yang disebutkan di atas, menarik untuk dicatat bahwa
beberapa penelitian melaporkan keberhasilan proyek, tetapi tidak banyak yang
diketahui tentang bagaimana hal itu dievaluasi sehubungan dengan teknik atau
metode yang digunakan oleh manajer proyek dan organisasi. Misalnya, studi
Standish Group (mis., Standish (2018); StandishGroup (2020)) dan studi lain (mis.,
Marnewick (2012)) menyatakan keberhasilan yang dicapai dalam proyek. Masih ada
tidak ada informasi tentang “apakah” dan “bagaimana” penilaian keberhasilan formal
ment dilakukan dalam praktek oleh peserta (seringkali, hanya beberapa kriteria
yang disebutkan, dan keberhasilan yang dilaporkan didasarkan pada "persepsi"
dari peserta penelitian).
Bertujuan untuk mengisi celah ini dalam literatur serta meningkatkan kesadaran
tentang model dan metode yang tersedia saat ini untuk mengevaluasi keberhasilan
proyek IS, kami melakukan tinjauan literatur. Tujuannya adalah untuk meringkas
praktisi yang mengidentifikasi karakteristik mereka, teknik yang mendasari,
konteks aplikasi, manfaat, keterbatasan, dan dukungan empiris. Kami juga
menyajikan tinjauan area proyek lain untuk mendapatkan hasil yang lebih kaya
karena beberapa model dan metode tidak bergantung pada jenis proyek. Selain
itu, diskusi mencakup wawasan utama dan arah masa depan untuk penelitian.
Struktur artikel adalah sebagai berikut: Bagian 2 menyajikan konsep utama;
Bagian 3 membahas pertanyaan penelitian dan metode penelitian; Bagian 4
menyajikan hasil; Bagian 5 membahas temuan utama; dan, akhirnya, Bagian 6
membahas kontribusi dan keterbatasan.
2. Konsep utama
Studi kami berfokus pada model dan metode untuk mengevaluasi keberhasilan
proyek IS. Untuk memungkinkan pemahaman yang komprehensif tentang subjek,
seperti yang digambarkan pada Gambar 1, ada beberapa konsep terkait yang
penting untuk diklarifikasi. Konsep "proyek Sistem Informasi", "keberhasilan
proyek", dan "evaluasi keberhasilan" disajikan pada sub bagian berikutnya. Model
dan metode evaluasi keberhasilan proyek disajikan di Bagian 4 dan dibahas di
Bagian 5.
2.1. proyek sistem informasi
Proyek adalah usaha untuk membuat sesuatu yang belum ada, yang perlu
disampaikan dalam waktu yang ditentukan dan dengan biaya yang disepakati.
Proyek SI mencakup semua karakteristik umum dari proyek lain. Namun, mereka
juga memiliki kekhasan, seperti menyediakan layanan untuk mengimplementasikan
solusi TI, yang pada akhirnya termasuk penilaian hasil proyek (Kutsch dan Maylor,
2009).
Dengan kata lain, proyek SI adalah upaya sementara yang mengarah pada
beberapa keluaran dan hasil unik yang terkait dengan adopsi TI. Keluaran dan
hasil ini dapat berupa, misalnya, perubahan dalam proses bisnis; pembaharuan
infrastruktur TI; adopsi aplikasi perangkat lunak baru; dll.
Di satu sisi, kadang-kadang keberhasilan hasil/proyek dapat dinilai segera setelah
disampaikan (Varaj~ao et al., 2022a). Di sisi lain, sering kali, laporan lengkap
tentang keberhasilan proyek hanya dapat diperoleh lama setelah proyek berakhir;
dengan kata lain, setelah dampak
Machine Translated by Google
~
J. Varajao dkk.
keluaran dan hasil pada perusahaan dirasakan (Varaj~ao dan Car valho, 2018).
2.2. Keberhasilan proyek
Salah satu masalah yang sering muncul terkait keberhasilan proyek berakar pada
definisi “sukses”. Keberhasilan suatu proyek dapat dipahami dalam berbagai cara
menurut pemangku kepentingan yang berbeda.
Di satu sisi, waktu, biaya, dan kepatuhan ruang lingkup merupakan elemen penting
untuk keberhasilan proyek; di sisi lain, kepuasan pemangku kepentingan atau
pencapaian keuntungan bisnis memainkan peran penting. Oleh karena itu, perhatian
utama harus memenuhi kebutuhan nyata klien (Paiva et al., 2011) karena proyek
biasanya dirancang untuk mendapatkan manfaat bagi organisasi sesuai dengan
tujuan bisnis dan nilai yang menjadi perhatian (Keeys dan Huemann, 2017).
Dalam manajemen proyek dan selama bertahun-tahun, konsep sukses telah
mengalami beberapa perubahan signifikan. Pada tahun 1970-an, kesuksesan sebuah
proyek terutama terfokus pada dimensi operasional; fokus pada pelanggan praktis
tidak ada. Sejak manajemen proyek mulai menjadi badan pengetahuan pada
pertengahan abad ke-20, banyak proses, teknik, dan alat telah dikembangkan (Davis,
2014).
Saat ini, mereka mencakup berbagai aspek siklus hidup proyek dan memungkinkan
untuk meningkatkan efisiensi dan efektivitasnya (Varaj~ao, 2016).
Menurut Kerzner (2017), perspektif yang lebih modern menilai keberhasilan dari segi
aspek primer (tepat waktu, sesuai anggaran, dan dengan kualitas yang diharapkan)
dan aspek sekunder (penerimaan pelanggan dan persetujuan pelanggan mengenai
penggunaan namanya sebagai referensi). Untuk De Wit (1988), perbedaan harus
dibuat antara keberhasilan proyek dan keberhasilan manajemen proyek dalam setiap
pembahasan keberhasilan, mengingat bahwa manajemen proyek yang baik dapat
memberikan kontribusi untuk keberhasilan proyek. Menurut Baccarini (1999),
keberhasilan manajemen proyek terutama terkait dengan pencapaian proyek dalam
hal ruang lingkup, waktu, dan biaya, yang menunjukkan efisiensi dan efektivitas
pelaksanaan proyek. Biasanya, keberhasilan manajemen proyek dapat dievaluasi
pada akhir proyek. Keberhasilan output terkait dengan dampak proyek yang
menghasilkan produk/jasa/lainnya pada bisnis (misalnya, manfaat bisnis), dan
evaluasinya hanya mungkin dilakukan nanti, pada pasca proyek. .
Cuellar (2010) menyatakan bahwa keberhasilan proyek dapat dianggap objektif
jika diwakili oleh konstruksi yang terukur seperti waktu, jadwal, dan ruang lingkup,
atau subjektif jika dievaluasi berdasarkan pendapat pemangku kepentingan.
2.3. Evaluasi keberhasilan
Arti penilaian yang berbeda juga telah disajikan sepanjang tahun. Misalnya, APHA
(1960) mencirikan penilaian sebagai "proses penentuan nilai atau jumlah keberhasilan
dalam mencapai tujuan yang telah ditentukan sebelumnya". Scriven (1991: 139)
mendefinisikan penilaian sebagai “proses penentuan manfaat, nilai atau nilai dari
sesuatu”. DAC (2002) telah mencirikan penilaian sebagai "penilaian yang tepat dan
target dari tugas, program atau pendekatan yang berkelanjutan atau selesai, rencana,
pelaksanaan, dan hasilnya". Patton (1996: 14) menjelaskan penilaian program sebagai
“pengumpulan informasi secara sistematis tentang kegiatan, karakteristik, dan hasil
program untuk digunakan oleh orang-orang tertentu untuk mengurangi ketidakpastian,
meningkatkan efektivitas, dan membuat keputusan mengenai apa yang dilakukan dan
dilakukan oleh program tersebut. mempengaruhi”. Definisi ini mencerminkan penilaian
ex-ante, observasi, jangka menengah, dan akhir.
Kami juga dapat menambahkan penilaian ex-post, yang dapat digambarkan
sebagai penilaian yang dilakukan setelah intervensi selesai. Di lain
dengan kata lain, penilaian ex-post diarahkan setelah periode tertentu setelah
pemenuhan suatu tugas, dengan penekanan pada kecukupan dan dukungan tugas
(Zidane et al., 2016).
Keberhasilan proyek adalah konsep multidimensi yang membutuhkan model dan
metode evaluasi yang tepat, yang dapat didefinisikan sebagai alat praktis yang
digunakan untuk mengukur keberhasilan suatu proyek (Silvius dan Schipper, 2015).
3
Heliyon 8 (2022) e11977
3. Metode
Metode penelitian disajikan pada bagian berikut.
3.1. Tinjauan Literatur
Tinjauan literatur bertujuan untuk mengatasi beberapa masalah dengan
mengidentifikasi, mengevaluasi secara kritis, dan mengintegrasikan temuan dari
semua studi individu yang relevan dan berkualitas tinggi yang membahas satu atau
lebih pertanyaan penelitian. Tinjauan literatur dapat mencapai semua atau sebagian
besar tujuan berikut (Baumeister dan Leary, 1997): menentukan sejauh mana
penelitian yang ada telah berkembang menuju klarifikasi masalah tertentu;
mengidentifikasi hubungan, kontradiksi, kesenjangan, dan ketidakkonsistenan dalam
literatur, serta mengeksplorasi alasan untuk ini; merumuskan pernyataan umum atau
konseptualisasi menyeluruh (Sternberg, 1991); mengomentari, mengevaluasi,
memperluas, atau mengembangkan teori; menggambarkan arah untuk penelitian
masa depan. Dengan melakukan ini, implikasi untuk praktik dan kebijakan masa depan harus dised
Proses tinjauan literatur didefinisikan sebagai pemeriksaan atas pertanyaan (atau
pertanyaan) yang dirumuskan dengan jelas yang menggunakan metode sistematis
dan eksplisit untuk mengidentifikasi, memilih, dan menilai secara kritis penelitian yang
relevan dan untuk mengumpulkan dan menganalisis data dari studi yang termasuk
dalam ulasan. (Cochrane, 2005).
Penelitian dimulai dengan perumusan masalah dengan mendefinisikan pertanyaan
penelitian. Ini diikuti oleh definisi sumber data dan strategi pencarian. Kemudian
dilakukan pencarian literatur pada database yang dipilih. Setelah mendapatkan hasil,
dilakukan uji kelayakan untuk mengidentifikasi publikasi kandidat. Set publikasi
terakhir kemudian dipilih setelah penilaian kualitas dengan mempertimbangkan
kriteria inklusi dan eksklusi. Setelah mendapatkan semua publikasi yang relevan,
langkah terakhir melibatkan ekstraksi data, analisis, dan interpretasi. Bagian yang
tersisa menggambarkan proses penelitian secara rinci.
3.2. Pertanyaan penelitian
Dengan melihat literatur, mudah untuk memahami sulitnya mengevaluasi
keberhasilan suatu proyek, tidak hanya karena sifat subyektif dari definisi keberhasilan
tetapi juga karakteristik, konteks, atau kompleksitas proyek yang berbeda dan cara
yang berbeda. mengevaluasi mereka.
Untuk setiap jenis proyek, beberapa model dan metode evaluasi dapat diterapkan.
Oleh karena itu, cukup menantang untuk mengidentifikasi model atau metode mana
yang memadai untuk mengevaluasi keberhasilan proyek.
Penerapan model atau metode untuk mengevaluasi keberhasilan harus mengikuti
proses yang dibenarkan dengan baik, dengan mempertimbangkan jenis dan
karakteristik masing-masing proyek pada khususnya dan tujuan evaluasi. Meskipun
beberapa studi yang ditemukan dalam literatur berfokus pada berbagai aspek
keberhasilan proyek, hanya sedikit studi yang membahas proses evaluasi (Varaj~ao
dan Trigo, 2016; Varaj~ao, 2018; Pereira et al., 2022) dan model serta metodenya
masing-masing. .
Untuk mengetahui apa itu state-of-the-art dan membuat kerangka kerja
model dan metode untuk mengevaluasi keberhasilan proyek SI, kami merumuskan
pertanyaan penelitian utama berikut:
RQ1. Apa model dan metode untuk mengevaluasi keberhasilan proyek SI yang saat
ini tersedia dalam literatur?
Karena model dan metode yang digunakan di area proyek lain mungkin juga
cocok untuk digunakan di proyek IS, kami merumuskan pertanyaan sekunder:
RQ2. Apa model dan metode untuk mengevaluasi keberhasilan proyek non-IS yang
saat ini tersedia dalam literatur?
3.3. Sumber data, strategi pencarian dan pemilihan artikel
Kami memutuskan untuk memusatkan pencarian pada database terkenal Elsevier's
Scopus (www.scopus.com) karena cakupan outlet ilmiah yang luas. Kami sangat
menyadari bahwa ada database lain atau mesin pencari yang mungkin berisi artikel
yang relevan. Namun, yang dipilih
Machine Translated by Google
~
J. Varajao dkk.
database termasuk jurnal utama dan konferensi dari IS dan area manajemen proyek.
Karena terminologi yang digunakan dalam penelitian yang diterbitkan sangat
beragam, penggunaan sinonim dan variasi kata diperlukan. Oleh karena itu, ketika
melakukan pencarian literatur, istilah dan sinonim berikut digunakan:
Evaluat* (mengevaluasi dan menilai), menilai* (menilai dan menilai), apprais*
(menilai, menilai), valuat* (menilai dan menilai), estimasi* (memperkirakan dan
memperkirakan), kalkulasi* (menghitung dan menghitung); Performa,
kesuksesan, pencapaian,
pencapaian, pencapaian, realisasi, realisasi; Method* (metode dan metode),
technique* (teknik dan
teknik), system* (sistem dan sistem), procedure* (prosedur dan prosedur),
process* (proses dan proses); Proyek* (proyek dan proyek); Sistem informasi*
(sistem informasi dan sistem informasi), teknologi
informasi* (teknologi informasi dan
teknologi informasi), teknologi informasi dan komunikasi* (teknologi informasi
dan komunikasi dan teknologi informasi dan komunikasi), IT/IS, IS/IT, ICT .
String pencarian dirumuskan menggunakan ekspresi logis yang dibuat dari istilah-
istilah ini. Jumlah total ekspresi yang berbeda secara logis adalah
Gambar 2. Pencarian Literatur Sistematis dan perincian seleksi.
4
Heliyon 8 (2022) e11977
15. String pencarian tercantum dalam lampiran. Setiap struktur logis string pencarian
ditulis sesuai dengan format kueri spesifik dari mesin pencari.
Kami memutuskan untuk melakukan beberapa pencarian, dari pencarian yang
lebih terbuka hingga pencarian yang lebih ketat, untuk menjamin paling banyak
bahwa setiap studi yang relevan telah teridentifikasi. Gambar 2 menyintesis
pencarian yang dilakukan dan hasil pemilihan artikel, termasuk hasil pencarian dan
publikasi kandidat per ekspresi pencarian (expn). Ekspresi pencarian masing-masing
dapat ditemukan di lampiran. Penting untuk dicatat bahwa, dalam beberapa
pencarian, kami memutuskan untuk tidak membatasi proyek IS untuk mendapatkan
jawaban atas pertanyaan penelitian sekunder.
Pencarian selesai pada akhir Januari 2021. Di setiap pencarian, file CSV dengan
semua hasil diunduh. File-file ini kemudian
dikompilasi menjadi satu file tunggal untuk menghapus duplikat dan mengidentifikasi
publikasi kandidat yang dapat memiliki beberapa koneksi/korelasi dengan subjek.
Pencarian menghasilkan identifikasi 755 referensi unik.
Artikel dipilih untuk analisis tambahan terutama berdasarkan judul, abstrak, dan
kata kunci. Abstrak dibaca untuk memverifikasi apakah judul secara eksplisit
menyebutkan model atau metode untuk evaluasi keberhasilan proyek. Ketika abstrak
tidak memberikan informasi yang cukup, artikel lengkap dibaca untuk menilai
relevansinya. Beberapa artikel kemudian dikeluarkan karena isinya tidak sesuai
dengan apa yang dijelaskan dalam judul atau abstrak.
Kriteria inklusi narasumber adalah sebagai berikut: menyajikan model atau
metode untuk mengevaluasi keberhasilan proyek; diterbitkan dalam sebuah akademik
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

jurnal atau konferensi; ditulis dalam bahasa Inggris. Pada gilirannya, kriteria eksklusi
adalah sebagai berikut: tidak ditulis dalam bahasa Inggris; diterbitkan sebagai kata
pengantar, editorial, ringkasan artikel, wawancara, lokakarya, panel, atau poster.
Untuk dipertimbangkan, sumber harus memenuhi semua kriteria.
Seperti dalam Savolainen et al. (2012), seleksi pertama dilakukan oleh satu
penulis dan diperiksa secara acak oleh penulis lainnya, menghasilkan 159 artikel
yang dapat memuat informasi penting untuk penelitian. Seleksi kedua, yang
dilakukan oleh dua penulis, didasarkan pada pembacaan lengkap artikel hasil seleksi
pertama dan menghasilkan 34 artikel terakhir.
Ini adalah satu-satunya artikel yang berkaitan dengan teknik untuk mengevaluasi
proyek (IS dan bidang lainnya). Perbedaan yang signifikan terlihat antara hasil
pencarian utama dan hasil yang relevan karena kami memutuskan untuk melakukan
pencarian yang lebih terbuka pada awalnya untuk menghindari pengabaian referensi
penting. Ini meningkatkan upaya proses pemilihan artikel tetapi juga meningkatkan
kepercayaan pada hasil akhir.
3.5.4. Pemilihan dan analisis artikel
Pilihan artikel pertama diperiksa silang sebagian. Seorang peneliti secara acak
memeriksa pencarian dan pemilihan artikel. Prosedur ini menghindari kesalahan
yang tidak perlu. Dua peneliti melakukan seleksi akhir dan analisis artikel.
4. Hasil
Menjawab pertanyaan penelitian primer dan sekunder, Tabel 1 dan 2 masing-
masing menyajikan, untuk proyek IS dan proyek non-IS, model/metode untuk
mengevaluasi keberhasilan proyek yang diidentifikasi dalam literatur. Untuk masing-
masing model/metode, disajikan sebagai berikut: identifikasi/nama; teknik/
pendekatan yang mendasari; manfaat (seperti yang dijelaskan oleh penulis);
keterbatasan/pengembangan lebih lanjut (seperti yang dijelaskan oleh penulis); jenis
proyek di mana model/metode diterapkan, dan contoh; dan referensi.

Perlu ditekankan bahwa model/metode yang diidentifikasi disajikan oleh penulis

3.4. Ekstraksi dan sintesis data
asli sebagai "model", "kerangka kerja", "pendekatan", "metode", "metodologi", "alat",
dan "teknik", secara umum menggunakan ini istilah secara tidak jelas.
Elemen data berikut diekstraksi dari artikel terpilih: identifikasi/nama model/
metode; teknik/pendekatan yang mendasari; manfaat (seperti yang disajikan oleh
Perlu dicatat bahwa area aplikasi (IS atau non-IS) tidak berarti bahwa model/
penulis); keterbatasan/perkembangan lebih lanjut (seperti yang disajikan oleh
metode dibatasi untuk evaluasi proyek IS atau non-IS.
penulis); jenis proyek di mana model/metode diterapkan (misalnya, sistem informasi)
Sebaliknya, ini berarti area aplikasi yang digunakan untuk menjelaskan model/
dan sampel; dan referensi.
metode adalah (atau bukan) proyek SI. Misalnya, model berdasarkan DEA (Wray
Patut dicatat bahwa kami berusaha seobjektif mungkin dalam ekstraksi dan
dan Mathieu, 2008; Xu dan Yeh, 2014) atau MACBETH (Lacerda et al., 2011;
penyajian data. Contoh yang baik dari hal ini adalah manfaat dan batasan yang
Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012) dapat digunakan dalam
disajikan karena mereka adalah yang dinyatakan oleh penulis (di luar cakupan
hampir semua area/jenis proyek. Namun, kesimpulan apakah model/metode tertentu
artikel ini untuk melakukan eksperimen independen dari masing-masing model/
yang diterapkan pada proyek SI cocok untuk evaluasi proyek non-IS (atau sebaliknya)
metode, tetapi ini membentuk jalur yang menarik untuk pengembangan lebih lanjut.
memerlukan penelitian lebih lanjut. Untuk lebih detail tentang masing-masing model/
riset).
metode, disarankan untuk membaca sumber aslinya (beberapa referensi menyajikan
Ringkasan dari model/metode yang teridentifikasi disajikan pada Bagian
4. proses atau contoh penggunaan model/metode dalam praktik).

3.5. Validitas tinjauan literatur 5. Diskusi

Untuk penilaian validitas, kami mengadopsi prosedur yang sama seperti
Savolainen et al. (2012), yang dijelaskan selanjutnya.
3.5.1. Membangun validitas
Keabsahan review didasarkan pada asumsi bahwa penulis peneliti penelitian
ini dan penulis artikel review memiliki pemahaman yang sama tentang konsep yang
disajikan pada Bagian 2.
Berdasarkan analisis model/metode yang teridentifikasi, bagian ini membahas
teknik yang mendasari, dasar empiris, dan manfaat/keterbatasan model/metode
seperti yang dijelaskan oleh penulis. Pada akhirnya, wawasan yang signifikan dan
arah masa depan untuk penelitian dibahas.
5.1. Teknik yang mendasari model/metode

Tabel 3 mencantumkan ringkasan teknik yang mendasari model/metode. Untuk

3.5.2. Validitas internal
referensi yang lebih baik, teknik dikelompokkan berdasarkan tujuan/karakteristik
Validitas internal review dijamin oleh prosedur yang digunakan untuk pencarian
utama. Beberapa teknik diulang karena termasuk dalam lebih dari satu kelompok.
artikel, pemilihan, dan analisis selanjutnya. Salah satu ancaman utama terhadap
validitas penalaran yang digunakan dalam analisis dapat muncul dari evaluasi
Pada Tabel 3 prevalensi teknik analisis keputusan multikriteria kelompok mudah
subyektif artikel karena hasil evaluasi hanya bergantung pada evaluator. Dalam
terlihat (misalnya, Rigo et al. (2020)) serta penerapan logika fuzzy (misalnya, Basar
penelitian ini, prosedur evaluasi ditentukan sebelumnya dan disetujui oleh dua
(2020)). Hal ini dapat dipahami karena evaluasi keberhasilan proyek bersifat
peneliti untuk membuat penalaran menjadi valid dan dapat diulang. Validitas internal
multidimensi (Sil vius dan Schipper, 2015), yang melibatkan kriteria kuantitatif dan
tinjauan telah dipastikan dengan dokumentasi prosedur tinjauan dan verifikasi
kualitatif serta penilaian subjektif manusia (Cuellar, 2010).
analisis lengkap.
Oleh karena itu, ancaman terhadap validitas internal tidak signifikan dalam kasus ini.
Sintesis teknik ini menghadirkan tiga kontribusi utama: di satu sisi, ini
mengidentifikasi cara alternatif untuk evaluasi praktis keberhasilan proyek dengan
3.5.3. Keterulangan
menggunakan teknik yang telah dieksplorasi; itu menyajikan peluang untuk replikasi
Pencarian artikel dilakukan secara sistematis dan dapat dengan mudah diulang
penelitian (dalam jenis proyek yang sama atau baru di mana teknik telah diterapkan);
menggunakan pertanyaan yang disajikan dalam lampiran. Namun, ancaman utama
itu juga membantu mengidentifikasi kesenjangan dalam penelitian dan peluang
terhadap keterulangan tinjauan literatur ini adalah karena didasarkan pada hasil
untuk fokus pada teknik yang belum dieksplorasi atau diterapkan.
mesin pencari. Hasil pencarian baru mungkin tidak persis sama karena sifat basis
data yang terus berkembang. Penerbit sering menambahkan artikel baru ke database
dan mungkin menambahkan artikel lama ke dalamnya dalam beberapa kasus juga.
Oleh karena itu, artikel baru dapat muncul di hasil pencarian mendatang. Namun 5.2. Landasan empiris
demikian, hal itu juga tidak diharapkan, setidaknya pada tingkat yang signifikan.
Pencarian mungkin juga melewatkan artikel yang relevan. Karena kami menyertakan Meskipun di luar ruang lingkup penelitian ini untuk melakukan eksperimen
sinonim dalam string pencarian dan dua peneliti memeriksa ulang hasilnya, risiko ini independen dari masing-masing model/metode, penting untuk merefleksikan
dikurangi seminimal mungkin. landasan empiris dari model/metode yang diidentifikasi.

5
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 1. Manfaat/keterbatasan model/metode untuk evaluasi keberhasilan proyek SI.

Model/Metode Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi

Perkembangan lebih lanjut

(menurut penulis)

Model untuk mengevaluasi
kinerja proyek
Penyelubungan Data Menangani beberapa masukan Data berisik dapat proyek TI (Wray dan Mathieu, 2008)
Analisis (DEA) proyek. menyebabkan masalah yang signifikan. Contoh:
Menangani beberapa keluaran DEA pandai memperkirakan 34 proyek perangkat lunak
proyek. efisiensi "relatif" dari unit sumber terbuka (ilustrasi)
Tidak ada asumsi bentuk operasional, tetapi tidak
fungsional yang menghubungkan memungkinkan
input dengan output perbandingan
diperlukan. dengan maksimum teoretis.

Proyek secara langsung Masalah besar dapat menjadi

dibandingkan dengan unit intensif secara
operasional sejawat atau komputasi.
kombinasi unit operasional Penelitian ini terbatas
sejawat. hanya untuk proyek perangkat
Input dan output model dapat lunak sumber terbuka berbasis
berada di unit keamanan.
operasional yang berbeda.

Ini menghasilkan skor efisiensi

untuk proyek.
Memungkinkan
penautan proyek yang tidak
efisien ke proyek efisien

tolok ukurnya.
Ini memungkinkan
memesan proyek dengan efisiensi.
Memungkinkan untuk
mengevaluasi kinerja relatif
proyek dan membuat
keputusan sumber daya.

Metodologi evaluasi kinerja
proyek
Kartu Skor Berimbang
(BSC); Himpunan Fuzzy Ragu-ragu
(HFS)
Mengintegrasikan BSC dan HFS Aplikasi masa depan mungkin proyek TI (Basar, 2020)
untuk menentukan metrik termasuk sistem pemberian. Contoh:
kinerja (untuk menemukan 68 proyek perusahaan
bobot guna (eksperimen dalam
mengukur kinerja dalam praktik)
lingkungan fuzzy), dan sebagian
besar aplikasi kehidupan
nyata menyertakan ketidakjelasan.
Keberhasilan kritis
faktor ditentukan berdasarkan
penilaian ahli.

HFS digunakan untuk

pembobotan subjektif dari

faktor kinerja proyek.

Catatan: Keluaran penelitian

ditemukan dapat
diterima oleh perusahaan.

Metode kinerja Kartu Skor Berimbang Ukur kinerja dari perspektif Tidak ada batasan yang proyek TI/SI (Hermawan et al., 2016)
manajemen (BSC); multi-domain manajemen dijelaskan oleh penulis. Sampel:
proyek Jaringan Analitik Fuzzy proyek. 1 proyek peluncuran SAP
pengukuran Pemrosesan (FANP) (ilustrasi)
Ini memungkinkan multi

dimensi
pengukuran.

Memungkinkan untuk

menentukan prioritas
pembobotan untuk
indikator kinerja utama.

TI adalah metode
terintegrasi untuk pengukuran
kualitatif dan
kuantitatif.

Pendekatan untuk mengevaluasi
efektivitas proyek
Pendekatan Fuzzy Logic
Expert, berdasarkan Fuzzy
Parameter Linguistik dan
Nilai kabur
Ini dapat digunakan untuk
evaluasi proyek perangkat lunak
yang dikembangkan secara
tidak memihak.
Mengukur keberhasilan suatu
proyek tetapi juga melacak
aktivitas serius
bertanggung jawab atas
pencapaian Enam
Tidak ada batasan yang
dijelaskan oleh penulis.
proyek perangkat lunak (Pujari dan Seetharam, 2015)
Contoh:
10 proyek perangkat lunak
yang dikembangkan melalui Enam
Metodologi Sigma
(ilustrasi)

(bersambung ke halaman berikutnya)

6
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 1 (lanjutan )
Model/Metode Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)

Standar Sigma dalam

organisasi.

Model evaluasi kinerja Jaringan Keyakinan Mendalam Model secara otomatis Tidak ada batasan yang proyek TI (Nguvulu et al., 2012)
proyek (DBN) menetapkan bobot dan dijelaskan oleh penulis. Contoh:
mengalokasikan skor plafon ke 13 proyek
elemen proyek (ilustrasi)
berdasarkan bobot
DBN, yang menangkap
interaksi antara
elemen proyek.
Itu tidak bergantung pada
manusia untuk menetapkan
bobot secara manual.
Ini menghilangkan sebagian
besar subjektivitas yang
melekat pada pemberian
bobot secara manual pada
kriteria dengan menetapkan
dan menyesuaikan bobot
model secara otomatis
selama pelatihan dan validasi.
DBN memiliki kemampuan untuk
beradaptasi secara otomatis
dengan pengetahuan baru
bahkan setelah modelnya jadi

bekerja dengan baik.

Ini lebih objektif karena
ada sedikit pengaruh
manusia dalam menetapkan
bobot model.

Pendekatan DBN bersifat

universal karena
memperhitungkan
interaksi antara elemen
proyek dalam perhitungan
skor maksimum serta
indikator kinerja proyek
bulanan.

DNB memiliki kemampuan

untuk menyimpan pengetahuan
yang dipelajari dan membuatnya
tersedia untuk
digunakan, serta memperbarui
basis pengetahuan secara
otomatis saat pengetahuan
baru tersedia dalam
pengoperasian model.

Pendekatan evaluasi Propagasi Kembali Jauh Ini menghilangkan penugasan Tidak ada batasan yang proyek TI (Nguvulu et al., 2011)
kinerja proyek Jaringan Kepercayaan (BP-DBN) bobot model secara dijelaskan oleh penulis. Contoh:
manual. 7 proyek
Secara otomatis (ilustrasi)
menetapkan bobot ke
elemen proyek selama
pelatihan model,
dengan kemungkinan
penyesuaian diri saat data baru
disajikan ke model
operasional.
Memungkinkan untuk
menghitung indikator kinerja
proyek bulanan yang andal
berdasarkan data elemen
proyek dasar.
Ini meningkatkan
objektivitas proses evaluasi
proyek.
Ini memberikan
pendekatan evaluasi yang
lebih rasional dan objektif.

Model penilaian proyek Komponen Utama Jumlah kriteria dikurangi Tidak ada batasan yang proyek perangkat lunak (Yeh et al., 2006)
Analisis (PCA); Dipesan dengan PCA tetapi dijelaskan oleh penulis. Sampel:

(bersambung ke halaman berikutnya)

7
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 1 (lanjutan )
Model/Metode Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)

Rata-rata Tertimbang melestarikan informasi asli. 3 proyek perangkat lunak

(WA) rumah
Bobot resultan kriteria sakit (ilustrasi)
diperoleh dengan
menggunakan OWA.
Ini mengurangi kompleksitas
evaluasi proyek
perangkat lunak.
Ini memberikan fleksibilitas
untuk menentukan distribusi
bobot di antara kriteria.

Model keputusan untuk
mengevaluasi
keberhasilan implementasi proyek
Faktor Efisiensi Global
pendekatan (GEF).
Ini dapat digunakan di Tidak ada batasan yang implementasi (Bokovec et al., 2011)
setiap fase proyek untuk dijelaskan oleh penulis. proyek ERP
mengevaluasi proyek yang Sampel:
canggih. 5 proyek SAP ERP
Memungkinkan pengelolaan (eksperimen dalam
kompleksitas proyek praktik)
implementasi ERP lebih
efisien dan efektif.

Ini mempromosikan pertukaran

pengetahuan.
Ini dapat digunakan dalam
segala jenis implementasi
ERP, terlepas dari ukuran
proyek atau
strategi implementasi.
Ini dapat digunakan sebagai model
generik.

Catatan: Implikasi penggunaan

model dalam praktek
dibahas.

Metodologi dan Keputusan Multi-kriteria Itu memungkinkan untuk Penelitian ini secara ketat proyek TI (Lacerda et al., 2011)
kerangka kerja untuk Membantu - Konstruktivis memvisualisasikan kriteria itu berpusat pada masalah Contoh:
pengukuran (MCDA-C); harus diperhitungkan teknis pengembangan 1 proyek pengembangan
kinerja MACBETH sesuai dengan nilai-nilai produk. perangkat
manajemen proyek pembuat keputusan. Model perlu diadaptasi, lunak (eksperimen
Ini mendukung ordinal dan bahkan dalam konteks yang dalam praktik)
kardinal sangat mirip, karena
pengukuran kinerja proyek. spesifik untuk
konteks.
Ini membantu dalam negosiasi
antara pemangku kepentingan.

Memiliki kapasitas
untuk menyusun dan mengevaluasi
dimensi dipertimbangkan
relevan oleh proyek
aktor.
Memiliki kapasitas
untuk menyebarkan
pengetahuan yang dihasilkan.
Memungkinkan
identifikasi,
pengorganisasian,
pengukuran, dan
integrasi kriteria yang
dinilai perlu dan memadai
oleh para pengambil keputusan.

Memungkinkan untuk
mempresentasikan tingkat
keberhasilan suatu proyek,
secara grafis dan numerik.
Berkontribusi untuk meramalkan
peluang untuk perbaikan
proyek.
Berfungsi sebagai dasar

untuk pengambilan keputusan,

sehingga meningkatkan keputusan
proses.
Catatan: Implikasi dari

(bersambung ke halaman berikutnya)

8
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 1 (lanjutan )
Model/Metode Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)

menggunakan model
dalam praktek dibahas.

Model evaluasi proyek Jaringan Analitik Mengusulkan dimensi untuk Tidak ada batasan yang proyek perangkat lunak (Yang et al., 2009)
Proses (ANP) mengevaluasi kesuksesan, dijelaskan oleh penulis. Contoh:
dengan total 50 kriteria. 3 proyek (ilustrasi)
ANP digunakan untuk

menentukan bobot tiap dimensi.

Pendekatan untuk Pemikiran yang Berfokus pada Nilai
mengukur kinerja proyek (VFT);
Metrik Pertanyaan Sasaran
(GQM)
Ini dapat digunakan dari fase Kasus proyek tunggal digunakan proyek SI (Barclay dan Osei-Bryson, 2009)
definisi proyek. untuk menunjukkan Contoh:
Ini membantu untuk prinsip-prinsip yang mendasari 1 proyek
mengidentifikasi dan pendekatan, dan itu tidak (eksperimen dalam
memberikan kejelasan pada tujuan. digunakan dari fase definisi praktik)
Memungkinkan untuk proyek sebagaimana
menentukan ukuran mestinya.
kinerja proyek yang berbasis Penelitian ini dalam tahap
pada pemangku kepentingan formatif dan membutuhkan
tujuan mengenai proyek evaluasi lebih lanjut
tersebut. dan

Mengintegrasikan perbaikan.

bidang penilaian nilai Perlu pemeriksaan kasus

proyek atau ekspektasi proyek yang mendalam di

pemangku kepentingan dengan lingkungan dan konteks yang

berfokus pada perolehan beragam, bersama
tujuan dari pemangku dengan eksplorasi strategi
kepentingan proyek dan alternatif untuk
penyelarasannya dengan membantu praktisi
langkah-langkah yang dikembangkan. menentukan hasil

Memberikan bantuan analitis proyek mereka.

tentang keterkaitan antara Mengelola konflik antar
tujuan fundamental pemangku kepentingan juga
proyek dan tujuan sarana perlu dieksplorasi lebih

proyek. lanjut dan diintegrasikan ke

dalam pendekatan.
Dapat memperingatkan
pemangku kepentingan proyek
tentang tujuan dan/atau tindakan
yang hilang atau tidak lengkap.
Memiliki ketergantungan yang

berkurang pada kriteria yang

telah ditentukan sebelumnya, yang
memiliki keuntungan tidak
membatasi pemikiran
para pemangku kepentingan.

Menggabungkan beragam
perspektif pemangku kepentingan
untuk membingkai bagaimana
proyek dievaluasi, alih-alih
hanya mempertimbangkan yang
paling aktif atau paling
berpengaruh, misalnya.
Ada keselarasan

formal perspektif tindakan untuk

tujuan yang teridentifikasi.

Catatan: Menyajikan
perspektif peserta
perusahaan mengenai
keuntungan dari pendekatan
dalam praktek.

Metode untuk menilai Evaluasi Subjektif Ini dapat digunakan selama fase Aplikasi lebih lanjut proyek perangkat lunak (Wohlin et al., 2000;
keberhasilan proyek Faktor (SEF) awal proyek. termasuk pembobotan dan Sampel: Wohlin dan Andrews, 2001)
Ini didasarkan pada faktor prioritas indikator keberhasilan Dua kasus ilustratif
subyektif. yang berbeda. studi: 12 proyek perangkat

Saat proyek baru lunak untuk satu perusahaan;

dilakukan, basis ditambah 46 proyek dari
pengalaman diperkaya, database

memungkinkan penggunaan (ilustrasi)

data historis dari proyek

sebelumnya untuk
menentukan
model klasifikasi dan

(bersambung ke halaman berikutnya)

9
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 1 (lanjutan )
Model/Metode Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi

Perkembangan lebih lanjut

(menurut penulis)

memperkirakan
karakteristik proyek lebih awal,
dan memprediksi indikator
keberhasilan tertentu.
Memungkinkan untuk

menilai hubungan antara

karakteristik proyek dan
keberhasilan.

Proyek dapat diklasifikasikan ke

dalam kelas berdasarkan

karakteristik proyek dan

indikator keberhasilan.

Dimungkinkan untuk
menunjukkan
ketidakpastian dalam klasifikasi.

Ini berguna untuk tujuan prediksi.

Mampu mengidentifikasi
karakteristik
proyek utama yang
mempengaruhi tertentu
variabel keberhasilan.

Ini memberikan
kesempatan untuk
menentukan
karakteristik proyek
penting dan variabel keberhasilan

dalam setiap proyek.

Ini independen dari organisasi
dan spesifik
Pengukuran.

Hal ini berguna untuk

mengurangi risiko proyek.

Kerangka
pengukuran keberhasilan proyek
- Ini difokuskan pada pengukuran Hal ini memerlukan evaluasi proyek TI (Sulistiyani dan Tyas, 2019)
keberhasilan proyek secara dalam beberapa jenis (teoritis)
keseluruhan (keluaran dan proyek TI.
hasil).
Keberhasilan proyek dilihat
dari empat dimensi:

teknis proyek,
penerimaan pemangku
kepentingan, kualitas
produk, dan manfaat organisasi.

Seperti disebutkan sebelumnya, dengan melihat literatur, evaluasi proyek
dalam praktik tampaknya merupakan proses yang diremehkan karena sebagian
besar proyek dievaluasi dengan seperangkat kriteria terbatas (biasanya terkait
dengan waktu, ruang lingkup, dan anggaran) – dan seringkali tidak secara formal.
Selain itu, model/metode yang digunakan untuk evaluasi atau prosedur pengukuran
keberhasilan tidak didokumentasikan secara lengkap. Meski begitu, keberhasilan
atau kegagalan proyek dilaporkan (Standish, 2018; Marnewick, 2012; Varaj~ao
dan Carvalho, 2018; Pereira et al., 2022). Di sisi lain, penelitian kami menunjukkan
serangkaian model/metode yang kaya yang bertujuan untuk mendukung evaluasi
keberhasilan dengan mengikuti pendekatan yang kurang lebih canggih.
Namun, hasil juga menunjukkan bahwa banyak teknik yang ada dalam
literatur, pada dasarnya, sebagian besar merupakan latihan teoretis tanpa bukti
penggunaan ekstensif dalam praktik. Hal ini terbukti saat menganalisis kolom “tipe/
sampel proyek” pada Tabel 1 dan 2. Hanya beberapa kasus (yaitu, Basar (2020);
Bokovec et al. (2011); Lacerda et al. (2011); Barclay dan Osei -Bryson (2009);
Gonçalves dan Belderrain (2012); Ismail (2020); Dachyar dan Pratama (2014);
Sanchez-Lopez et al. (2012)) menjelaskan penggunaan model/metode yang
diusulkan dalam proyek nyata dan mendiskusikan implikasi praktis dari
penggunaannya. Dengan kata lain, hanya sekitar 20% dari model/metode yang
dipublikasikan untuk mengevaluasi keberhasilan proyek yang menyajikan bukti
empiris kelayakan dan kegunaan nyata. Perlu diperhatikan bahwa, bahkan dalam
kasus ini, secara keseluruhan, hanya satu proyek atau sekumpulan kecil proyek
dari entitas yang sama yang dilaporkan, tidak mungkin untuk memastikan apakah
model/metode telah digunakan di luar proyek yang dilaporkan (satu pengecualian
adalah Ismail (2020)).
Kurangnya bukti penggunaan praktis dari beberapa model/metode dapat
dijelaskan, dalam beberapa kasus, dengan kebaruannya. Dalam kasus lain, model/
metode mungkin tidak digunakan dalam praktik karena sulit diterapkan atau bahkan
karena tidak diketahui. Beberapa model/metode evaluasi, seperti yang diharapkan,
lebih kompleks daripada yang lain, dan wajar untuk disebutkan bahwa beberapa di
antaranya terstruktur dengan baik dan dijelaskan dengan jelas dalam sumber
aslinya. Sebaliknya, sayangnya, dalam banyak kasus, artikel hanya melaporkan
tahap paling awal dari pengembangan model/metode, dan deskripsinya tidak
lengkap. Mereka menghilangkan detail penting, seperti langkah-langkah yang
harus diikuti untuk melakukan evaluasi. Ini tidak diidentifikasi di sini karena
kesopanan akademik, tetapi setidaknya lebih dari setengah dari referensi yang
diidentifikasi menyajikan kualitas akademik yang kurang, yang dapat membahayakan
adopsi dan penerapannya dalam praktik (beberapa dimasukkan dalam ulasan ini
hanya karena gagasan yang mendasarinya relevan) .
Tinjauan literatur mengungkapkan kurangnya studi kasus proyek yang sedang
berlangsung dan studi replikasi. Konsekuensinya, disarankan agar lebih banyak
penelitian dilakukan, menyajikan studi kasus yang didasarkan pada data empiris.
Ada juga kebutuhan untuk survei baru (misalnya, berbasis kuesioner) untuk
membuat gambaran nyata dari praktek organisasi (model/metode) mengenai model/
metode yang digunakan untuk evaluasi keberhasilan proyek.

10
Machine Translated by Google
~
J. Varajao dkk.
Tabel 2. Manfaat/keterbatasan model/metode untuk evaluasi keberhasilan proyek non-IS.
Model/Metode/Kerangka
Pendekatan berbasis kinerja untuk
penugasan proyek dan evaluasi
kinerja
Model untuk menentukan efisiensi
proyek
Pendekatan untuk mengevaluasi
proyek
Model untuk mengevaluasi
keberhasilan proyek
Model evaluasi keberhasilan untuk
manajemen proyek
Kegunaan/Berlaku/Berbasis pada
Analisis Penyelubungan Data
(DEA)
Analisis Penyelubungan Data
(DEA)
Penilaian Berat Langkah-Bijaksana
Analisis Rasio (SWARA);
Perpanjangan Interval-
Nilai Fuzzy dari Rasio Aditif
Penilaian (ARAS); Delphi
kabur
Evaluasi Sintetis Fuzzy
Logika Fuzzy
Heliyon 8 (2022) e11977
Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)
Ada risiko perilaku - (Xu dan Yeh, 2014)
Berfokus pada pengukuran
efisiensi kinerja relatif dari oportunistik dari beberapa Contoh:
proyek dan manajer proyek. manajer proyek. 20 proyek selesai dan 10
Beberapa pengaturan proyek baru (ilustrasi)
Proses penugasan mungkin memerlukan tindakan lain.
berbasis preferensi
yang berorientasi pada tujuan.
Proses evaluasi
berbasis efisiensi.
Ini memfasilitasi manajemen
proyek yang terfokus secara
objektif.
Ini dapat dengan
mudah diterapkan di perusahaan
berbasis proyek.
Ini dirancang untuk lingkungan
multi proyek.
Ini menyediakan mekanisme
proaktif dan
transparan untuk mengelola
penugasan manajer proyek
baru dan untuk mengevaluasi
efisiensi kinerja
proyek yang telah selesai dan
manajer proyek yang
bertanggung jawab.
Aktifkan untuk menentukan Tidak ada batasan yang Proyek konstruksi (Rani et al., 2020)
skor efisiensi proyek. dijelaskan oleh penulis. Contoh:
12 proyek
(ilustrasi)
Ini bertujuan untuk menemukan keseimbangan Dalam aplikasi masa depan, Proyek pengeboran sumur (Dahooie et al., 2018)
antara pembangunan dapat digunakan operator minyak dan gas
berkelanjutan, agregat untuk Contoh:
dampak lingkungan, dan mengintegrasikan 7 proyek
kesejahteraan manusia, pendapat ahli dan (ilustrasi)
yaitu untuk menemukan himpunan fuzzy yang ragu-
simetri mengenai tujuan, ragu untuk menyelidiki
risiko, dan kendala untuk lebih lanjut analisis keputusan yang sensitif.
mengatasi masalah Diasumsikan bahwa kriteria
yang rumit. tidak tergantung satu sama
Ini mengatasi ketidakpastian lain - penelitian di masa
yang melekat pada depan dapat memeriksa
proyek. keberadaan ketergantungan
dan menggunakan metode
yang tepat untuk memimpinnya.
Hal ini memungkinkan Penelitian dengan ukuran sampel yang Proyek kemitraan (Osei-Kyei dan Chan,
mengevaluasi tingkat keberhasilan rendah. publik-swasta 2018)
proyek dengan andal. Skor kriteria keberhasilan Contoh:
Memungkinkan untuk untuk proyek tersebut terutama 1 proyek
membandingkan dengan berasal dari data (ilustrasi)
lebih akurat tingkat keberhasilan sekunder.
dari dua proyek atau lebih pada
basis yang sama.
Memungkinkan simulasi Tidak ada batasan yang - (Doskocil et al., 2016)
ketidakpastian yang selalu dijelaskan oleh penulis. Contoh:
terlibat dalam proyek. 1 proyek fiksi (ilustrasi)
Disarankan untuk digunakan
terutama dalam
fase implementasi siklus proyek
dan kemudian berulang kali
setelah setiap tonggak
proyek tercapai.
Model bisa digunakan untuk
eksperimen,
memberikan informasi
tambahan tentang
kemungkinan
pengembangan proyek dan, di
(bersambung ke halaman berikutnya)
11
Machine Translated by Google
~
J. Varajao dkk.
Tabel 2 (lanjutan)
Model/Metode/Kerangka
Model untuk evaluasi proyek
Model untuk mengevaluasi proyek
kesuksesan
Metode untuk mengevaluasi
keberhasilan proyek
Metode evaluasi kinerja
manajemen proyek
Model evaluasi kinerja
proyek
Kegunaan/Berlaku/Berbasis pada
Logika Fuzzy
Analisis Komponen Utama
(PCA);
Jaringan Saraf Fuzzy (FNN)
Gugus Abu-abu Bobot Variabel
Neural Propagasi Belakang
Jaringan
PROMETHEE GDSS;
GAIA
Heliyon 8 (2022) e11977
Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)
beberapa kasus, sinyal alarm untuk
mendukung pengambilan
keputusan di masa depan.
Memiliki kemampuan untuk
merekam konsep yang tidak
pasti (kabur) yang digunakan
manajer proyek dalam bahasa
alami mereka dalam
desain dan implementasi
proyek.
Ini menyediakan alat untuk
pengukuran proses proyek yang
dipilih.
Ini dapat digunakan Ada kebutuhan untuk kinerja Proyek untuk peningkatan (Tadic et al., 2015)
untuk menerapkan proyek yang terstruktur kualitas proses
peningkatan kualitas dengan baik. bisnis
berkelanjutan dari proyek Ada kebutuhan untuk tim Sampel:
pengembangan di bidang Usaha manajemen yang terstruktur 60 proyek UKM
Kecil dan Menengah dengan baik. (ilustrasi)
(UKM) manufaktur.
Keberhasilan proyek ditentukan
dengan cara yang tepat
dengan menggunakan prinsip
logika fuzzy.
Setiap solusi yang diperoleh
dengan cara yang tepat tidak
terlalu dibebani oleh pemikiran
subjektif para pengambil
keputusan.
Ini memberi kesempatan kepada
tim manajemen untuk
menentukan langkah-langkah untuk
meningkatkan proyek
kesuksesan.
Ini adalah metode yang fleksibel
karena dapat dengan mudah
diperpanjang.
Ini adalah metodologi yang
mudah digunakan.
Ini memberikan cara yang andal Itu membutuhkan lebih banyak penelitian. Proyek rekayasa (Duan et al., 2008)
dan kredibel untuk mengevaluasi tenaga listrik
kesuksesan dan peningkatan Contoh: 1
efisiensi kerja. proyek
Ini menyediakan metode yang (ilustrasi)
dapat diandalkan untuk
pasca evaluasi.
Sederhana dan mudah Untuk menerapkan metode ini di Proyek pembangunan pembangkit (Huang et al., 2008)
dimengerti. proyek lain, diperlukan listrik
Ini memberikan cara yang andal penyesuaian beberapa Contoh: 1
dan kredibel untuk evaluasi parameter (indeks). proyek
keberhasilan. Perlu penelitian lebih lanjut. (ilustrasi)
Ini menyediakan metode yang
dapat diandalkan untuk
pasca evaluasi.
Mengintegrasikan faktor- Tidak ada batasan yang Proyek konstruksi (Du, 2015)
faktor utama yang dapat dijelaskan oleh penulis. Contoh: 3
mempengaruhi kinerja proyek
manajemen proyek. (ilustrasi)
Dapat mencerminkan
kompleksitas hubungan
nonlinier antara jadwal
proyek, kualitas, biaya,
keselamatan, dan kinerja
proyek.
Itu membuat evaluasi
kinerja
manajemen proyek lebih
objektif dan efektif.
Kepatuhan yang lebih tinggi dari Skala yang diadopsi tidak proyek satelit (Goncalves dan
tim proyek karena menggunakan beberapa kriteria yang relevan
Sampel: Belderrain, 2012)
(bersambung ke halaman berikutnya)
12
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 2 (lanjutan)
Model/Metode/Kerangka Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi

Perkembangan lebih lanjut

(menurut penulis)

partisipasi pembuat keputusan dan menggunakan tingkatan 1 proyek

yang berbeda, masing- kualitatif (mengenai (eksperimen dalam praktik)
masing mewakili kepentingan beberapa kriteria), dengan
yang berbeda di dalam definisi yang tidak jelas,
proyek. yang dapat mengakibatkan
Masih ada lagi ketidaktepatan penilaian.
ketergantungan
dalam menganalisis penilaian
karena penggunaan fungsi
preferensi.

Ada interpretasi geometris

data, memungkinkan
identifikasi

kesamaan dan konflik

preferensi antara pembuat

keputusan dan kriteria,
yang dapat digunakan untuk
memeriksa konsensus di antara

mereka.
Catatan: Membahas

hasil praktis dan implikasi

penggunaan model.

Model untuk mengukur
keberhasilan proyek
Indikator Kinerja Utama Berkontribusi pada refleksi
(KPI); dan pembelajaran, diberikan
Proses Hirarki Analitik analisis indikator.
(AHP) Pendekatan pengukuran
yang dikembangkan untuk
model berfungsi untuk
menghasilkan
model pengukuran baru.
Disarankan, dalam aplikasi Didistribusikan dalam skala kecil (Rigo et al., 2020)
masa depan, pengukuran proyek sistem fotovoltaik
kinerja lainnya,
dan metode pembobotan Contoh:
analisis keputusan multikriteria 32 proyek
untuk membuat (ilustrasi)
diagnosis lebih tegas.

Model tersebut dapat

memasukkan tema lain, faktor
kontekstual, dan pertimbangan
yang berbeda dari yang

dilakukan dalam kasus tersebut.

Membantu investor dalam

pengambilan keputusan
ketika berencana untuk
mengimplementasikan proyek
fotovoltaik dengan
mengukur pencapaian

tujuan proyek mereka,

yang pada gilirannya adalah

tingkat keberhasilan proyek.

Kriteria penentu diidentifikasi
melalui sistem pembobotan.

Ada kemungkinan untuk refleksi

dan pembelajaran oleh para
pembuat keputusan.

Memungkinkan untuk membandingkan

keberhasilan yang berbeda

proyek dan mendiskusikan faktor-

faktor yang menyebabkan kegagalan.

Ini memiliki konsepsi

variabel dependen (indeks
global investasi yang
berhasil dalam sistem

fotovoltaik) yang
memungkinkan hubungan
penjelas dibangun
dengan faktor eksternal ke

model pengukuran yang

diusulkan.

Pendekatan untuk mengevaluasi
keberhasilan proyek
M-TOPSIS Memungkinkan data yang telah Hasil dari metode ini Proyek konstruksi (Pinter dan Psunder, 2013)
direlatifkan dan sangat sensitif terhadap Contoh: 1
dialihkan menurut parameter kesalahan input data. proyek fiksi (ilustrasi)
yang direncanakan untuk
langsung dicirikan
sebagai a

(bersambung ke halaman berikutnya)

13
Machine Translated by Google
~
J. Varajao dkk.
Tabel 2 (lanjutan)
Model/Metode/Kerangka
Evaluasi Saldo Proyek
Metode (PBE) untuk evaluasi
kinerja proyek
Templat untuk mengukur
keberhasilan proyek
Metode penilaian kinerja
proyek
Pendekatan evaluasi
kinerja proyek
Alat evaluasi proyek
Kegunaan/Berlaku/Berbasis pada
Balanced Score Card (BSC);
Memperoleh Manajemen Nilai
(EVM)
Delphi;
Metode Evaluasi Prioritas
Biaya Berbasis Aktivitas (ABC)
MACBETH
MACBETH
Heliyon 8 (2022) e11977
Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)
persentase umumnya
kesuksesan.
Tidak ada batasan yang - (Sharifi dan Nik, 2016)
Sangat cocok untuk
pemantauan proyek. dijelaskan oleh penulis. (teoretis)
Ini dapat digunakan
untuk komunikasi dan
umpan balik di antara
para pemangku kepentingan proyek.
Dapat memperkenalkan titik
lemah operasi dan tempat
pengeluaran ekstra
sumber daya.
Evaluasi risiko dapat
diterapkan dengan cara yang
lebih baik daripada pendekatan
BSC dan EVM tradisional.
Ini menunjukkan
bahwa manajemen risiko
harus dilaksanakan di seluruh
proyek dan semua interval
penting proyek.
Mudah untuk memahami dan
mengkategorikan masalah
dalam siklus hidup proyek.
Ini dirancang untuk membujuk
manajer untuk mengikuti
terjadinya masalah dan alasan
mereka.
Mempertimbangkan waktu,
biaya, dan kepuasan dalam
semua fase siklus hidup proyek.
Ini adalah alat yang berguna untuk Tidak ada batasan Proyek penampungan air (Ismail, 2020)
mengukur keberhasilan. dijelaskan oleh penulis. Contoh:
Catatan: Yang diperoleh 5 proyek
hasil dalam praktek dibahas. (eksperimen dalam
Ini akan diterapkan dalam praktik)
proyek selanjutnya di organisasi
yang sama.
Ini memberikan informasi Tidak ada batasan yang proyek publik (Hong-xiong et al., 2010)
yang akurat. dijelaskan oleh penulis. (teoritis)
Ini membantu untuk
mengoptimalkan
keputusan pengeluaran publik.
Aktifkan untuk Aplikasi masa depan dapat Proyek pengeboran minyak dan (Dachyar dan Pratama, 2014)
mempertimbangkan
mengidentifikasi kriteria yang paling penting. gas
Memodelkan elemen-elemen perbandingan kinerja antara Contoh:
proyek ke dalam dua kinerja 1 proyek
kelompok tingkat pengawasan gabungan antar elemen (ilustrasi)
untuk memfasilitasi pengambilan sehingga perbandingan
keputusan oleh manajer proyek. antara peringkat kinerja
Pengukuran menghasilkan gabungan dapat lebih akurat.
tingkat klasifikasi
pemantauan kelompok
elemen proyek. Pendekatan ini tidak diuji
dalam proyek yang sedang
berlangsung.
Pendekatan tersebut tidak
mempertimbangkan unsur-unsur
seperti pemangku kepentingan
atau sponsor proyek
dalam evaluasi kinerja.
Masalah evaluasi dapat Tidak ada batasan Pembangunan pedesaan (Dachyar dan Pratama, 2014;
dimasukkan ke dalam model dijelaskan oleh penulis. program Sanchez-Lopez et al.,
multi-dimensi yang Contoh: 2012)
menggambarkan kinerja tanpa 1 program
memaksakan (eksperimen dalam
konversi ke unit moneter. praktik)
Fenomena sosial dapat dianalisis
secara kuantitatif melalui
model nilai
(bersambung ke halaman berikutnya)
14
Machine Translated by Google
~
J. Varajao dkk.
Tabel 2 (lanjutan)
Model/Metode/Kerangka
Proses penilaian kinerja
proyek berdasarkan informasi
risiko
Model untuk analisis multi-
kriteria kinerja proyek
Kegunaan/Berlaku/Berbasis pada
Angka kabur
- Tidak ada batasan yang
Heliyon 8 (2022) e11977
Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)
dan sepenuhnya
dijelaskan secara kualitatif
melalui deskriptor yang dibangun.
Memaksa donor untuk
menyelesaikan pertukaran antara
kriteria evaluasi
melekat pada strategi
yang sama pentingnya
keprihatinan.
Ini merupakan alat komunikasi
yang kuat di antara para
pemangku kepentingan.
Hindari
kemungkinan kesalahpahaman
yang dapat timbul dari
penggunaan istilah yang ambigu.
Ada kemampuan didaktis
alat ini.
Ini meningkatkan
pemahaman tentang
implikasi operasional dari isu-
isu lintas sektoral dalam
operasi sehari-hari.
Catatan: Hadiah dan
membahas hasil penerapan
alat dalam praktek.
Diharapkan dapat memberi Untuk mencapai Proyek konstruksi (Papanikolaou dan
para praktisi pendekatan pemodelan yang Contoh: Xenidis, 2020)
yang relatif mudah untuk lebih baik dari variabel 1 kasus fiksi
mengintegrasikan manajemen kinerja harus dimasukkan (ilustrasi)
risiko dan kinerja. dalam saling ketergantungan
mereka, serta kalibrasi
Menggabungkan yang lebih baik dari beberapa
manajemen risiko. faktor pembobotan
Ini mengintegrasikan yang dibahas dalam
pendekatan pembandingan metodologi akan
melalui indikator dengan memajukan penilaian kinerja
struktur matematika proyek konstruksi yang
yang kuat namun sederhana. lebih berisiko.
Penerapan bilangan fuzzy
untuk pemodelan risiko
memberikan cara yang tepat
untuk mengatasi
ketidaklengkapan data saat
hal ini terjadi.
Itu melakukan kontrol kinerja
berdasarkan informasi risiko
dan estimasi kinerja di
masa depan.
Memberikan keluaran
terukur yang dapat digunakan
oleh tim manajemen
proyek konstruksi untuk
memutuskan
intervensi yang tepat
sehubungan dengan
kinerja proyek yang
dicapai dan diinginkan.
Ini komprehensif dan mudah
untuk menerapkan
metodologi.
Memungkinkan revisi
sasaran kinerja proyek
konstruksi berdasarkan
keberhasilan
mengelola risiko dalam
proyek tersebut.
(Zavadskas et al., 2014)
Sangat mudah untuk Proyek konstruksi
membandingkan proyek, dijelaskan oleh penulis. Contoh:
tidak hanya pada akhir proyek 7 proyek
tetapi juga selama siklus (ilustrasi)
hidup proyek.
(bersambung ke halaman berikutnya)
15
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 2 (lanjutan)
Model/Metode/Kerangka Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)

Informasi yang diterima

berguna untuk
perencanaan
strategis, manajemen kualitas,
penyelesaian tugas
alokasi sumber
daya, dan evaluasi
proyek yang memotivasi.
Ada kemungkinan
menggabungkan
kriteria kuantitatif
dan kualitatif dalam proses
evaluasi.
Ada kemungkinan menganalisis
masalah yang kompleks.

Ada kemungkinan untuk

membuat bukti keputusan
yang jelas.
Ada kemungkinan bagi para
pengambil keputusan

untuk berpartisipasi secara aktif

dalam proses pengambilan keputusan.
- (Zhu dan Mostafavi,
Sistem-dari-Sistem Memfasilitasi mengingat Implementasi dalam proyek Proyek rekayasa
Kerangka penilaian kinerja perilaku dinamis, besar yang kompleks Contoh: 2018)
proyek ketidakpastian, dan membutuhkan pengabstraksian 1 proyek
saling ketergantungan antara banyak entitas tingkat dasar, (ilustrasi)
konstituen dalam serta atribut dan saling
proyek rekayasa, dengan ketergantungannya.
menggunakan dua Kompleksitas komputasi
prinsip dasar: abstraksi meningkat dengan meningkatnya
tingkat dasar dan
abstraksi multi-level. jumlah entitas dan atribut
Ini memberikan pendekatan tingkat dasar yang disarikan
formal untuk entitas tingkat dan dimodelkan.
dasar, atributnya, dan interaksi
di dalamnya
sistem proyek yang kompleks.
Berdasarkan diformalkan
abstraksi, pemodelan
yang berbeda dan alat analisis
dapat diimplementasikan
dengan lebih baik untuk
mempelajari berbagai fenomena
yang mempengaruhi
kinerja proyek.
Proyek dapat direncanakan
dengan lebih baik di lingkungan
yang kompleks dan tidak pasti.
Ada perkiraan dan kontrol
kinerja proyek yang lebih
baik dengan
memantau saling
ketergantungan dan
interaksi dinamis dalam
sistem proyek.
Memungkinkan
pemahaman fenomena
kompleks melalui
melakukan analisis bottom-up.

- Model tersebut (Zidane et al., 2016)

Kerangka Proyek
Evaluasi Strategis, menggabungkan unsur-unsur
Taktis dan Operasional dari model evaluasi yang
Level (PESTOL) ada untuk membentuk
kerangka kerja yang lebih baik.
Evaluasi membahas tingkat
operasional, taktis, dan
strategis.
Ini mencakup keseluruhan
siklus hidup proyek.
Cocok untuk mantan
Mungkin ada keberpihakan Megaproyek konstruksi
dalam penilaian. jalan raya
Ada subjektivitas dalam skor Contoh:
yang mencerminkan 1 proyek
persepsi pemangku kepentingan. (ilustrasi)
Penelitian lebih lanjut
diperlukan untuk
mengembangkan metode yang
sistematis berdasarkan model untuk
mencerminkan evaluasi
tindakan dan mereka
rasionalitas.

(bersambung ke halaman berikutnya)

16
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 2 (lanjutan)
Model/Metode/Kerangka Kegunaan/Berlaku/Berbasis pada Manfaat (menurut penulis) Keterbatasan/ Jenis/Sampel Proyek Referensi
Perkembangan lebih lanjut
(menurut penulis)

pasca evaluasi proyek. Ada juga yang dibutuhkan

penelitian lebih lanjut tentang
bagaimana
menghubungkan model
evaluasi ex-post dengan
evaluasi ex ante,
monitoring, mid term, dan terminal.

Tabel 3. Daftar lengkap teknik yang mendasari model/metode untuk mengevaluasi keberhasilan proyek.

Kelompok Teknik Jenis proyek Referensi

Analisis Keputusan Multi-Kriteria Proses Hirarki Analitik Proyek sistem fotovoltaik (Rigo et al., 2020)
(AHP)

Proses Jaringan Analitis proyek TI (Yang et al., 2009)

(ANP)

Jaringan Analitik Fuzzy proyek TI (Hermawan et al., 2016)

Proses (FANP)
GAIA proyek satelit (Gonçalves dan Belderrain, 2012)

Faktor Efisiensi Global (GEF) proyek TI (Bokovec et al., 2011)

Perpanjangan Interval-Nilai Fuzzy dari Proyek minyak dan gas (Dahooie et al., 2018)
Penilaian Rasio Aditif
(ARAS)
MACBETH proyek TI (Lacerda et al., 2011; Dachyar dan
Proyek minyak dan gas Pratama, 2014; Sanchez-Lopez et
program pembangunan pedesaan al., 2012)

Modifikasi Teknik untuk Order of Proyek konstruksi (Pinter dan Psunder, 2013)
Preferensi berdasarkan Kemiripan dengan Ideal
Solusi (M-TOPSIS)
PROMETHEE proyek satelit (Gonçalves dan Belderrain, 2012)

Pemikiran Berfokus Nilai (VFT) proyek TI (Barclay dan Osei-Bryson, 2009)

Logika Fuzzy/bilangan kabur Jaringan Analitik Fuzzy proyek TI (Hermawan et al., 2016)
Pemrosesan (FANP)

Fuzzy Delphi Proyek minyak dan gas (Dahooie et al., 2018)

Logika Fuzzy Proyek pada umumnya (Doskocil et al., 2016; Tadic et al., 2015)
Proyek untuk perbaikan proses bisnis

Pendekatan Fuzzy Logic Expert, proyek TI (Pujari dan Seetharam, 2015)

berdasarkan Fuzzy Linguistic
Parameter dan nilai Fuzzy

Jaringan Saraf Fuzzy (FNN) Proyek rekayasa tenaga listrik (Duan et al., 2008)

Angka kabur Proyek konstruksi (Papanikolaou dan Xenidis, 2020)

Evaluasi Sintetis Fuzzy Proyek kemitraan publik-swasta (Osei-Kyei dan Chan, 2018)

Himpunan Fuzzy Hesitant (HFS) proyek TI (Basar, 2020)

Perpanjangan Interval-Nilai Fuzzy dari Proyek minyak dan gas (Dahooie et al., 2018)
Penilaian Rasio Aditif (ARAS)

Memesan Rata-Rata Tertimbang proyek TI (Yeh et al., 2006)

(WA)

Gugus Abu-abu Bobot Variabel Proyek konstruksi (Huang et al., 2008)

Manajemen/pengukuran kinerja Biaya Berbasis Aktivitas (ABC) proyek publik (Hong-xiong et al., 2010)
Kartu Skor Berimbang (BSC) proyek TI (Basar, 2020; Hermawan et al.,
Proyek pada umumnya 2016; Sharifi dan Nik, 2016)

Memperoleh Manajemen Nilai Proyek pada umumnya (Sharifi dan Nik, 2016)
(EVM)

Metrik Pertanyaan Sasaran (GQM) proyek TI (Barclay dan Osei-Bryson, 2009)

Indikator Kinerja Utama Proyek sistem fotovoltaik (Rigo et al., 2020)

(KPI)
Jaringan Neural Keyakinan Mendalam Propagasi Kembali proyek TI (Nguvulu et al., 2011)
Jaringan (BP-DBN)

Neural Propagasi Belakang Proyek konstruksi (Du, 2015)

Jaringan (BPNN)

Jaringan Keyakinan Mendalam (DBN) proyek TI (Nguvulu et al., 2012)

Jaringan Saraf Fuzzy (FNN) Proyek rekayasa tenaga listrik (Duan et al., 2008)

(bersambung ke halaman berikutnya)

17
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 3 (lanjutan)

Kelompok Teknik Jenis proyek Referensi

Prioritas dan pembobotan kriteria Delphi Proyek penampungan air (Ismail, 2020)

Fuzzy Delphi Proyek minyak dan gas (Dahooie et al., 2018)

Metode Evaluasi Prioritas Proyek penampungan air (Ismail, 2020)

(PEM)

Penilaian Berat Langkah-Bijaksana Proyek minyak dan gas (Dahooie et al., 2018)
Analisis Rasio (SWARA)

Pengukuran efisiensi Analisis Penyelubungan Data proyek TI (Wray dan Mathieu, 2008; Xu dan Yeh,
(DEA) Proyek konstruksi 2014; Rani et al., 2020)
Proyek pada umumnya
Lainnya Analisis Komponen Utama proyek TI (Yeh et al., 2006; Duan et al., 2008)
(PCA) Proyek rekayasa tenaga listrik

Evaluasi Subjektif proyek TI (Wohlin et al., 2000; Wohlin dan Andrews,

Faktor (SEF) 2001)

Lain-lain/tidak ditentukan proyek TI (Sulistiyani dan Tyas, 2019;

Proyek konstruksi Zavadskas et al., 2014; Zhu dan
Proyek rekayasa Mostafavi, 2018; Zidane et al., 2016)

5.3. Manfaat dan keterbatasan model yang disurvei
Tabel 4 merangkum manfaat model/metode yang disoroti dalam artikel yang diulas,
diurutkan berdasarkan frekuensi. Beberapa manfaat yang paling disebutkan oleh penulis
adalah: dukungan pengambilan keputusan; kemampuan untuk membandingkan proyek;
kemampuan untuk menentukan metrik; dukungan evaluasi multidimensi; keandalan dan
akurasi; kejelasan tujuan; dukungan manajemen risiko; penggabungan perspektif
pemangku kepentingan; penyisihan simulasi dan prakiraan; dukungan pemantauan
proyek; kemampuan menilai bobot kriteria; dimasukkannya langkah-langkah subyektif;
dimasukkannya pengukuran obyektif; fasilitasi komunikasi; kontribusi untuk refleksi dan
pembelajaran; diantara yang lain. Ini adalah alasan kuat bagi para praktisi untuk
memperhitungkannya dalam proyek mereka.
Tabel 5 merangkum keterbatasan model/metode yang dilaporkan dalam artikel yang
diulas. Keterbatasan yang paling banyak disebutkan adalah: memerlukan penelitian lebih
lanjut; risiko ketidaktepatan/kurang akurat; dan terbatas
percobaan, sampel, dan data. Hal ini membutuhkan penelitian lebih lanjut karena
sebagian besar model/metode yang diusulkan tidak memiliki evaluasi empiris yang
mendukung apa yang diklaim oleh penulis.
Memahami manfaat ini penting bagi para praktisi sehingga mereka dapat menyadari
pentingnya mengadopsi teknik yang terdefinisi dengan baik untuk menilai keberhasilan
proyek mereka. Keterbatasan juga penting karena dapat menimbulkan risiko untuk
evaluasi proyek. Peneliti dapat melihat manfaat dan keterbatasan untuk memandu
penelitian: Dengan mengembangkan dan mengusulkan model/metode baru, mereka
harus mencoba mencapai manfaat yang dilaporkan; Di sisi lain, mereka harus
mengeksplorasi keterbatasan yang bertujuan untuk mengidentifikasi kebutuhan penelitian
lebih lanjut dan melakukan penelitian baru untuk memecahkan masalah yang teridentifikasi.
Kami menyoroti bahwa hampir 45% dari referensi yang dipertimbangkan – anehnya
– tidak melaporkan batasan apa pun. Namun demikian, perlu dicatat bahwa, meskipun
tidak disebutkan oleh penulis, batasan yang jelas dari beberapa model/metode yang
diusulkan adalah fakta bahwa mereka belum diuji dalam proyek nyata seperti yang telah
disebutkan. Dengan demikian, efek praktisnya memiliki

Tabel 4. Manfaat model/metode yang dilaporkan untuk mengevaluasi keberhasilan proyek.

Kelompok Manfaat Referensi

Mendukung pengambilan Berkontribusi untuk meramalkan peluang untuk perbaikan proyek. (Lacerda et al., 2011)
keputusan (Lacerda et al., 2011)
Sajikan sebagai dasar untuk pengambilan keputusan, sehingga meningkatkan proses pengambilan keputusan.

Mampu mengidentifikasi karakteristik proyek kunci yang mempengaruhi variabel keberhasilan tertentu. (Wohlin et al., 2000; Wohlin dan
Andrews, 2001)

Membantu mengoptimalkan keputusan pengeluaran publik. (Hong-xiong et al., 2010)

Memfasilitasi manajemen proyek yang berfokus pada tujuan. (Xu dan Yeh, 2014)

Ada kemungkinan menganalisis masalah yang kompleks. (Zavadskas et al., 2014)

Ada kemungkinan untuk membuat bukti keputusan yang jelas. (Zavadskas et al., 2014)

Ada kemungkinan bagi pengambil keputusan untuk berpartisipasi secara aktif dalam proses (Zavadskas et al., 2014)
pengambilan keputusan.

Memfasilitasi mempertimbangkan perilaku dinamis, ketidakpastian, dan saling ketergantungan (Zhu dan Mostafavi, 2018)
antara konstituen dalam proyek rekayasa, dengan menggunakan dua prinsip dasar: abstraksi
tingkat dasar dan abstraksi multi-tingkat.

Membantu investor dalam pengambilan keputusan ketika berencana untuk mengimplementasikan (Rigo et al., 2020)
proyek fotovoltaik dengan mengukur pencapaian tujuan proyek mereka, yang pada gilirannya
merupakan tingkat keberhasilan proyek.

Proyek dapat direncanakan dengan lebih baik di lingkungan yang kompleks dan tidak pasti. (Zhu dan Mostafavi, 2018)

Informasi yang diterima berguna untuk perencanaan strategis, manajemen kualitas, penyelesaian (Zavadskas et al., 2014)
tugas alokasi sumber daya, dan evaluasi proyek motivasi.

Memberikan hasil terukur yang dapat digunakan oleh tim manajemen proyek konstruksi (Papanikolaou dan Xenidis, 2020)
untuk memutuskan intervensi yang tepat sehubungan dengan kinerja proyek yang dicapai dan
diinginkan.

Memodelkan elemen-elemen proyek ke dalam kelompok tingkat pengawasan untuk memfasilitasi (Dachyar dan Pratama, 2014)
pengambilan keputusan oleh manajer proyek.

Memungkinkan untuk menilai hubungan antara karakteristik proyek dan keberhasilan. (Wohlin et al., 2000; Wohlin dan
Andrews, 2001)

(bersambung ke halaman berikutnya)

18
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 4 (lanjutan)
Kelompok Manfaat Referensi

Memungkinkan untuk Proyek dibandingkan secara langsung. (Wray dan Mathieu, 2008)
membandingkan proyek
Memungkinkan untuk menautkan proyek yang tidak efisien ke proyek efisien tolok ukurnya. (Wray dan Mathieu, 2008)

Memungkinkan memesan proyek dengan efisiensi. (Wray dan Mathieu, 2008)

Memungkinkan untuk mengevaluasi kinerja relatif proyek. (Wray dan Mathieu, 2008)

Proyek dapat diklasifikasikan ke dalam kelas berdasarkan karakteristik proyek dan indikator (Wohlin et al., 2000; Wohlin dan
keberhasilan. Andrews, 2001)

Memungkinkan untuk membandingkan dengan lebih akurat tingkat keberhasilan dari dua proyek atau lebih (Osei-Kyei dan Chan, 2018)
pada basis yang sama.

Berfokus pada pengukuran efisiensi kinerja relatif dari proyek dan manajer proyek. (Xu dan Yeh, 2014)

Ini dirancang untuk lingkungan multi-proyek. (Xu dan Yeh, 2014)

Sangat mudah untuk membandingkan proyek, tidak hanya pada akhir proyek tetapi juga selama siklus (Zavadskas et al., 2014)
hidup proyek.

Memungkinkan untuk membandingkan keberhasilan berbagai proyek dan mendiskusikan faktor-faktor yang menyebabkan (Rigo et al., 2020)
kegagalan.

Mengintegrasikan pendekatan pembandingan melalui indikator dengan struktur matematika yang kuat (Papanikolaou dan Xenidis, 2020)
namun sederhana.

Memungkinkan untuk Memungkinkan untuk menentukan metrik kinerja. (Basar, 2020)

menentukan metrik
Ini memungkinkan memvisualisasikan kriteria yang harus diperhitungkan sesuai dengan nilai pembuat (Lacerda et al., 2011)
keputusan.

Memiliki ketergantungan yang berkurang pada kriteria yang telah ditentukan sebelumnya, yang memiliki (Barclay dan Osei-Bryson, 2009)
keuntungan tidak membatasi pemikiran para pemangku kepentingan.

Memungkinkan identifikasi, pengorganisasian, pengukuran, dan integrasi kriteria yang dinilai perlu dan (Lacerda et al., 2011)
memadai oleh para pengambil keputusan.

Memberikan kesempatan untuk menentukan karakteristik proyek penting dan variabel keberhasilan (Wohlin et al., 2000; Wohlin dan Andrews, 2001)
dalam setiap proyek.

Ini memberi kesempatan kepada tim manajemen untuk menentukan langkah-langkah untuk meningkatkan (Tadic et al., 2015)
keberhasilan proyek.

Memungkinkan untuk mengidentifikasi kriteria yang paling penting. (Dachyar dan Pratama, 2014)

Jumlah kriteria dikurangi dengan PCA tetapi mempertahankan informasi aslinya. (Yeh et al., 2006)

Itu tidak tergantung pada organisasi dan tindakan spesifik. (Wohlin et al., 2000; Wohlin dan Andrews, 2001)

Mengukur keberhasilan Mengukur keberhasilan suatu proyek. (Pujari dan Seetharam, 2015)
dari sebuah proyek
Menghasilkan skor efisiensi untuk proyek. (Wray dan Mathieu, 2008)

Memungkinkan untuk mempresentasikan tingkat keberhasilan suatu proyek, secara grafis dan numerik. (Lacerda et al., 2011)

Ini difokuskan pada pengukuran keberhasilan proyek secara keseluruhan (keluaran dan hasil). (Sulistiyani dan Tyas, 2019)

Memungkinkan untuk menentukan skor efisiensi proyek. (Rani et al., 2020)

Memungkinkan untuk mengevaluasi tingkat keberhasilan proyek dengan andal. (Osei-Kyei dan Chan, 2018)

Menyediakan alat untuk pengukuran proses proyek yang dipilih. (Doskocil et al., 2016)

Memungkinkan data yang telah direlatifkan dan dialihkan sesuai dengan parameter yang direncanakan (Pinter dan Psunder, 2013)
untuk secara langsung dicirikan sebagai persentase keberhasilan umumnya.

Memiliki konsepsi variabel dependen (indeks global keberhasilan investasi dalam sistem fotovoltaik) (Rigo et al., 2020)
yang memungkinkan hubungan penjelas dibangun dengan faktor eksternal pada model pengukuran yang
diusulkan.

Mendukung evaluasi Menangani beberapa masukan proyek. (Wray dan Mathieu, 2008)
multi dimensi
Menangani beberapa keluaran proyek. (Wray dan Mathieu, 2008)

Mengukur kinerja dari perspektif multi-domain. (Hermawan et al., 2016)

Memberikan bantuan analitis tentang keterkaitan antara tujuan fundamental proyek dan tujuan sarana (Barclay dan Osei-Bryson, 2009)
proyek.

Memiliki kapasitas untuk menyusun dan mengevaluasi dimensi yang dianggap relevan oleh para pelaku (Lacerda et al., 2011)
proyek.

Keberhasilan proyek dilihat dari empat dimensi: teknis proyek, penerimaan pemangku kepentingan, (Sulistiyani dan Tyas, 2019)
kualitas produk, manfaat organisasi.

Mengusulkan dimensi untuk mengevaluasi keberhasilan. (Yang et al., 2009)

Masalah evaluasi dapat dimasukkan ke dalam model multi-dimensi yang menggambarkan kinerja (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)
tanpa memaksakan konversi ke unit moneter.

Ini dapat digunakan selama Ini dapat digunakan dari fase definisi proyek. (Barclay dan Osei-Bryson, 2009)
siklus hidup proyek Ini dapat digunakan selama fase awal proyek. (Wohlin et al., 2000; Wohlin dan Andrews, 2001)

Memungkinkan untuk menghitung indikator kinerja proyek bulanan yang andal berdasarkan data elemen (Nguvulu et al., 2011)
proyek dasar.

Ini mencakup seluruh siklus hidup proyek. (Zidane et al., 2016)

Ini dapat digunakan di setiap fase proyek untuk mengevaluasi keadaan proyek. (Bokovec et al., 2011)

Ini dapat digunakan untuk menerapkan peningkatan kualitas berkelanjutan dalam mengembangkan proyek. (Tadic et al., 2015)

Direkomendasikan untuk digunakan terutama dalam fase implementasi siklus proyek dan kemudian (Doskocil et al., 2016)
berulang kali setelah setiap tonggak proyek tercapai.

Mempertimbangkan waktu, biaya, dan kepuasan dalam semua fase siklus hidup proyek. (Sharifi dan Nik, 2016)

(bersambung ke halaman berikutnya)

19
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 4 (lanjutan)

Kelompok Manfaat Referensi

Andal dan akurat Memberikan cara yang andal dan kredibel untuk mengevaluasi kesuksesan dan meningkatkan efisiensi kerja. (Duan et al., 2008)

Memberikan cara yang andal dan kredibel untuk evaluasi keberhasilan. (Huang et al., 2008)

Keberhasilan proyek ditentukan dengan cara yang tepat dengan menggunakan prinsip logika fuzzy. (Tadic et al., 2015)

Memberikan informasi yang akurat. (Hong-xiong et al., 2010)

Ini menyediakan mekanisme proaktif dan transparan untuk mengelola penugasan manajer proyek baru (Xu dan Yeh, 2014)
dan untuk mengevaluasi efisiensi kinerja proyek yang telah selesai dan manajer proyek yang
bertanggung jawab.

Setiap solusi yang diperoleh dengan cara yang tepat tidak terlalu dibebani oleh pemikiran subjektif para (Tadic et al., 2015)
pengambil keputusan.

Memberikan pendekatan formal untuk entitas tingkat dasar, atributnya, dan interaksi dalam sistem (Zhu dan Mostafavi, 2018)
proyek yang kompleks.

Mendukung pengukuran kinerja proyek secara ordinal dan kardinal. (Lacerda et al., 2011)

Ini membantu untuk Ini membantu untuk mengidentifikasi dan memberikan kejelasan pada tujuan. (Barclay dan Osei-Bryson, 2009)
mengidentifikasi dan
Dapat memperingatkan pemangku kepentingan proyek tentang tujuan dan/atau yang hilang atau tidak lengkap (Barclay dan Osei-Bryson, 2009)
memberikan kejelasan pada tujuan Pengukuran.

Meningkatkan objektivitas proses evaluasi proyek. (Nguvulu et al., 2011)

Memberikan pendekatan evaluasi yang lebih rasional dan objektif. (Nguvulu et al., 2011)

Memungkinkan proses penugasan berbasis preferensi berorientasi tujuan. (Xu dan Yeh, 2014)

Hindari kemungkinan kesalahpahaman yang dapat timbul dari penggunaan istilah yang ambigu. (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)

Mendukung Diharapkan dapat memberi para praktisi pendekatan yang relatif mudah untuk mengintegrasikan (Papanikolaou dan Xenidis, 2020)
manajemen risiko manajemen risiko dan kinerja.

Ini menunjukkan bahwa manajemen risiko harus dilaksanakan di seluruh proyek dan semua interval (Sharifi dan Nik, 2016)
penting proyek.

Menggabungkan manajemen risiko. (Papanikolaou dan Xenidis, 2020)

Hal ini berguna untuk mengurangi risiko proyek. (Wohlin et al., 2000; Wohlin dan Andrews, 2001)

Evaluasi risiko dapat diterapkan dengan cara yang lebih baik daripada pendekatan BSC dan EVM (Sharifi dan Nik, 2016)
tradisional.

Memungkinkan revisi sasaran kinerja proyek konstruksi berdasarkan keberhasilan mengelola risiko (Papanikolaou dan Xenidis, 2020)
dalam proyek tersebut.

Mudah dipahami dan Sederhana dan mudah dimengerti. (Huang et al., 2008)
mudah digunakan (Yeh et al., 2006)
Mengurangi kompleksitas evaluasi proyek perangkat lunak.

Ini adalah metodologi yang mudah digunakan. (Tadic et al., 2015)

Ini dapat dengan mudah diimplementasikan di perusahaan berbasis proyek. (Xu dan Yeh, 2014)

Mudah untuk memahami dan mengkategorikan masalah dalam siklus hidup proyek. (Sharifi dan Nik, 2016)

Ini komprehensif dan mudah untuk menerapkan metodologi. (Papanikolaou dan Xenidis, 2020)

Menggabungkan Memungkinkan untuk menentukan ukuran kinerja proyek yang didasarkan pada tujuan (Barclay dan Osei-Bryson, 2009)
perspektif pemangku kepentingan.
pemangku kepentingan
Menggabungkan beragam perspektif pemangku kepentingan untuk membingkai bagaimana (Barclay dan Osei-Bryson, 2009)
proyek dievaluasi.

Ada keselarasan formal perspektif tindakan untuk tujuan yang diidentifikasi. (Barclay dan Osei-Bryson, 2009)

Membantu dalam negosiasi antara pemangku kepentingan. (Lacerda et al., 2011)

Kepatuhan yang lebih tinggi dari tim proyek karena partisipasi pembuat keputusan yang berbeda, (Gonçalves dan Belderrain, 2012)
masing-masing mewakili kepentingan yang berbeda di dalam proyek.

Interpretasi geometris data, memungkinkan identifikasi kesamaan dan konflik preferensi antara pembuat (Gonçalves dan Belderrain, 2012)
keputusan dan kriteria, yang dapat digunakan untuk memeriksa konsensus di antara mereka.

Mengizinkan simulasi Memungkinkan simulasi ketidakpastian yang selalu terlibat dalam proyek. (Doskocil et al., 2016)
dan perkiraan
Model ini dapat digunakan untuk eksperimen, memberikan informasi tambahan tentang kemungkinan (Doskocil et al., 2016)
pengembangan proyek dan, dalam beberapa kasus, sinyal alarm untuk mendukung pengambilan
keputusan di masa depan.

Ini berguna untuk tujuan prediksi. (Wohlin et al., 2000; Wohlin dan Andrews, 2001)

Melakukan kontrol kinerja berdasarkan informasi risiko dan estimasi kinerja di masa mendatang. (Papanikolaou dan Xenidis, 2020)

Prakiraan dan kontrol kinerja proyek yang lebih baik dengan memantau saling ketergantungan dan (Zhu dan Mostafavi, 2018)
interaksi dinamis dalam sistem proyek.

Mendukung Sangat cocok untuk pemantauan proyek. (Sharifi dan Nik, 2016)
pemantauan proyek Dapat memperkenalkan titik lemah operasi dan tempat menghabiskan sumber daya ekstra. (Sharifi dan Nik, 2016)

Hal ini dirancang untuk membujuk manajer untuk mengikuti terjadinya masalah dan mereka (Sharifi dan Nik, 2016)
alasan.

Meningkatkan pemahaman tentang implikasi operasional dari isu-isu lintas sektoral dalam operasi sehari- (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)
hari.

Pengukuran menghasilkan tingkat klasifikasi pemantauan kelompok elemen proyek. (Dachyar dan Pratama, 2014)

(bersambung ke halaman berikutnya)

20
Machine Translated by Google
~
J. Varajao dkk.
Tabel 4 (lanjutan)
Kelompok
Memungkinkan
penilaian bobot kriteria
Terdiri dari subyektif
Pengukuran
Terdiri dari pengukuran
objektif
Memfasilitasi
komunikasi
Secara otomatis
menetapkan bobot ke
elemen proyek
Berkontribusi pada
refleksi dan
pembelajaran
Berurusan
dengan ketidakpastian
Memiliki kemampuan untuk
menyimpan
pengetahuan yang dipelajari
Ini dapat digunakan di ex
evaluasi pasca
proyek
Metode yang fleksibel
Memungkinkan evaluasi
proyek yang tidak memihak
Mendukung kompleksitas
Secara otomatis beradaptasi
dengan pengetahuan baru
Mengatasi tingkat
operasional, taktis, dan
strategis
Mendukung data yang tidak
lengkap
Heliyon 8 (2022) e11977
Manfaat Referensi
Memungkinkan untuk menemukan bobot kriteria untuk mengukur kinerja di lingkungan (Basar, 2020)
fuzzy.
Memungkinkan untuk menentukan prioritas pembobotan untuk indikator kinerja utama. (Hermawan et al., 2016)
Ini memberikan fleksibilitas untuk menentukan distribusi bobot di antara kriteria. (Yeh et al., 2006)
Kriteria penentu diidentifikasi melalui sistem pembobotan. (Rigo et al., 2020)
Bobot resultan kriteria diperoleh dengan menggunakan OWA. (Yeh et al., 2006)
Memungkinkan pembobotan subjektif dari faktor kinerja proyek. (Basar, 2020)
Terdiri dari pengukuran kualitatif dan kuantitatif. (Hermawan et al., 2016)
Ini didasarkan pada faktor subyektif. (Wohlin et al., 2000; Wohlin dan Andrews, 2001)
Ada kemungkinan menggabungkan kriteria kuantitatif dan kualitatif dalam proses evaluasi. (Zavadskas et al., 2014)
Terdiri dari pengukuran kualitatif dan kuantitatif. (Hermawan et al., 2016)
Itu membuat evaluasi kinerja manajemen proyek lebih objektif dan efektif. (Du, 2015)
Fenomena sosial dapat dianalisis secara kuantitatif melalui model nilai dan sepenuhnya dijelaskan secara (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)
kualitatif melalui deskriptor yang dibangun.
Ada kemungkinan menggabungkan kriteria kuantitatif dan kualitatif dalam proses evaluasi. (Zavadskas et al., 2014)
Memiliki kapasitas untuk menyebarkan pengetahuan yang dihasilkan. (Lacerda et al., 2011)
Mempromosikan pertukaran pengetahuan. (Bokovec et al., 2011)
Merupakan alat komunikasi yang kuat di antara para pemangku kepentingan. (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)
Ini dapat digunakan untuk komunikasi dan umpan balik di antara para pemangku kepentingan proyek. (Sharifi dan Nik, 2016)
Secara otomatis menetapkan bobot dan mengalokasikan skor plafon ke elemen proyek, menangkap (Nguvulu et al., 2012)
interaksi antara elemen proyek.
Itu tidak bergantung pada manusia untuk menetapkan bobot secara manual. (Nguvulu et al., 2012)
Menghilangkan penugasan bobot model secara manual. (Nguvulu et al., 2011)
Secara otomatis menetapkan bobot ke elemen proyek selama pelatihan model, dengan kemungkinan (Nguvulu et al., 2011)
penyesuaian diri saat data baru disajikan ke model operasional.
Berkontribusi pada refleksi dan pembelajaran, mengingat analisis indikator. (Rigo et al., 2020)
Ini adalah alat didaktik. (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)
Ada kemungkinan untuk refleksi dan pembelajaran oleh para pembuat keputusan. (Rigo et al., 2020)
Dimungkinkan untuk menunjukkan ketidakpastian dalam klasifikasi. (Wohlin et al., 2000; Wohlin dan Andrews, 2001)
Memiliki kemampuan untuk merekam konsep yang tidak pasti (kabur) yang digunakan manajer proyek (Doskocil et al., 2016)
dalam bahasa alami mereka dalam desain dan implementasi proyek.
Mengatasi ketidakpastian yang melekat pada proyek. (Dahooie et al., 2018)
Memiliki kemampuan untuk menyimpan pengetahuan yang dipelajari. (Nguvulu et al., 2012)
Saat proyek baru dilaksanakan, basis pengalaman diperkaya, memungkinkan penggunaan data historis (Wohlin et al., 2000; Wohlin dan Andrews, 2001)
dari proyek sebelumnya untuk menentukan model klasifikasi dan memperkirakan karakteristik
proyek lebih awal dan memprediksi indikator keberhasilan tertentu.
Sangat cocok untuk evaluasi proyek ex-post. (Zidane et al., 2016) (Huang et al., 2008)
Menyediakan metode yang dapat diandalkan untuk pasca-evaluasi. (Duan et al., 2008)
Ini adalah metode yang fleksibel karena dapat dengan mudah diperpanjang. (Tadic et al., 2015)
Ini dapat digunakan sebagai model generik, terlepas dari ukuran proyek atau strategi (Bokovec et al., 2011)
implementasi.
Pendekatan pengukuran yang dikembangkan untuk model berfungsi untuk menghasilkan model (Rigo et al., 2020)
pengukuran baru.
Ini dapat digunakan untuk evaluasi proyek yang tidak memihak. (Pujari dan Seetharam, 2015)
Ini menghilangkan sebagian besar subjektivitas yang melekat pada pembobotan kriteria secara manual. (Nguvulu et al., 2012)
Dapat mencerminkan kompleksitas hubungan nonlinier antara jadwal proyek, kualitas, biaya, (Du, 2015)
keselamatan, dan kinerja proyek.
Memungkinkan pemahaman fenomena kompleks melalui melakukan analisis bottom-up. (Zhu dan Mostafavi, 2018)
Memiliki kemampuan untuk beradaptasi secara otomatis dengan pengetahuan baru bahkan setelah (Nguvulu et al., 2012)
model beroperasi penuh.
Evaluasi membahas tingkat operasional, taktis, dan strategis. (Zidane et al., 2016)
Penerapan bilangan fuzzy untuk pemodelan risiko memberikan cara yang tepat untuk mengatasi (Papanikolaou dan Xenidis, 2020)
ketidaklengkapan data saat hal ini terjadi.
(bersambung ke halaman berikutnya)
21
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Tabel 4 (lanjutan)
Kelompok Manfaat Referensi

Lainnya Ini bertujuan untuk menemukan keseimbangan antara pembangunan berkelanjutan, dampak lingkungan, (Dahooie et al., 2018)
dan kesejahteraan manusia, yaitu untuk menemukan simetri mengenai tujuan, risiko, dan
kendala untuk mengatasi masalah yang rumit.

Memaksa donor untuk menyelesaikan pertukaran antara kriteria evaluasi yang terkait dengan (Dachyar dan Pratama, 2014; Sanchez-Lopez et al., 2012)
masalah strategis yang sama pentingnya.

Memungkinkan untuk mengelola kompleksitas proyek implementasi ERP dengan lebih efisien dan efektif. (Bokovec et al., 2011)

Berdasarkan abstraksi formal, pemodelan yang berbeda dan alat analisis dapat diimplementasikan (Zhu dan Mostafavi, 2018)
dengan lebih baik untuk mempelajari kinerja proyek berbagai fenomena kasih sayang.

Mengintegrasikan faktor-faktor utama yang dapat mempengaruhi kinerja manajemen proyek. (Du, 2015)

Ketergantungan lebih untuk menganalisis penilaian karena penggunaan fungsi preferensi. (Gonçalves dan Belderrain, 2012)

Model tersebut menggabungkan unsur-unsur dari model evaluasi yang ada untuk membentuk (Zidane et al., 2016)
kerangka kerja yang lebih baik.

Model tersebut dapat memasukkan tema lain, faktor kontekstual, dan pertimbangan yang berbeda dari (Rigo et al., 2020)
yang dilakukan dalam kasus tersebut.

Faktor keberhasilan ditentukan berdasarkan penilaian ahli. (Basar, 2020)

Proses evaluasi berbasis efisiensi. (Xu dan Yeh, 2014)

Ini adalah alat yang berguna untuk mengukur keberhasilan. (Ismail, 2020)

Tabel 5. Keterbatasan model/metode yang dilaporkan untuk mengevaluasi keberhasilan proyek.

Kelompok Keterbatasan Referensi

Membutuhkan penelitian lebih lanjut Membutuhkan penelitian lebih lanjut. (Wray dan Mathieu, 2008) (Sulistiyani dan Tyas, 2019)
(Duan et al., 2008) (Huang et al., 2008)

Perlu penelitian lebih lanjut mengenai pembobotan dan penentuan prioritas antar indikator (Wohlin et al., 2000; Wohlin dan Andrews, 2001)
keberhasilan. (Barclay dan Osei-Bryson, 2009) (Papanikolaou dan Xenidis, 2020)

Aplikasi masa depan mungkin termasuk sistem pemberian. (Basar, 2020)

Membutuhkan penelitian lebih lanjut mengenai analisis keputusan yang sensitif. (Dahooie et al., 2018)

Mengelola konflik di antara pemangku kepentingan perlu dieksplorasi lebih lanjut dan (Barclay dan Osei-Bryson, 2009)
diintegrasikan ke dalam pendekatan.

Penelitian lebih lanjut diperlukan untuk mengembangkan metode sistematis berdasarkan (Zidane et al., 2016)
model untuk mencerminkan tindakan evaluasi dan rasionalitasnya.

Risiko ketidaktepatan/kekurangan Ada subjektivitas skor yang mencerminkan persepsi pemangku kepentingan. (Zidane et al., 2016)
ketepatan

Hasilnya sangat sensitif terhadap input data (misalnya, data yang salah). (Pinter dan Psunder, 2013) (Wray dan Mathieu, 2008)

Skala yang diadopsi tidak menggunakan beberapa kriteria yang relevan dan menggunakan (Gonçalves dan Belderrain, 2012)
level kualitatif (mengenai beberapa kriteria) dengan definisi yang tidak jelas, yang dapat
mengakibatkan penilaian yang tidak tepat.

Aplikasi masa depan dapat mempertimbangkan perbandingan kinerja antara dua gabungan (Dachyar dan Pratama, 2014)
kinerja antar elemen sehingga perbandingan antara peringkat kinerja gabungan dapat
lebih akurat.

Aplikasi masa depan harus mencakup pengukuran kinerja lainnya dan metode pembobotan (Rigo et al., 2020)
analisis keputusan multi-kriteria untuk membuat diagnosis lebih tegas.

Implementasi dalam proyek besar yang kompleks membutuhkan pengabstraksian banyak (Zhu dan Mostafavi, 2018)
entitas tingkat dasar, serta atribut dan saling ketergantungannya.

Ada risiko perilaku oportunistik dari beberapa manajer proyek. (Xu dan Yeh, 2014)

Pendekatan tersebut tidak mempertimbangkan unsur-unsur seperti pemangku kepentingan (Dachyar dan Pratama, 2014)
atau sponsor proyek dalam evaluasi kinerja.

Jangan mempertimbangkan ketergantungan antara kriteria. (Dahooie et al., 2018) (Papanikolaou dan Xenidis, 2020)

Eksperimen, sampel, dan data Itu tidak diuji dalam proyek yang sedang berlangsung. (Dachyar dan Pratama, 2014)
terbatas Ukuran sampel kecil. (Osei-Kyei dan Chan, 2018)

Skor kriteria keberhasilan untuk proyek tersebut terutama diperoleh berdasarkan data (Osei-Kyei dan Chan, 2018)
sekunder.
Lainnya Model perlu diadaptasi (misalnya, mengenai langkah-langkah) karena khusus untuk (Lacerda et al., 2011) (Xu dan Yeh, 2014) (Huang et al., 2008)
konteksnya.

Ini bisa menjadi intensif secara komputasi. (Wray dan Mathieu, 2008) (Zhu dan Mostafavi, 2018)

Ada kebutuhan akan kinerja proyek dan tim manajemen yang terstruktur dengan baik. (Tadic et al., 2015)

Jangan biarkan perbandingan dengan maksimum teoretis. (Wray dan Mathieu, 2008)

Jangan kaitkan model evaluasi ex-post dengan evaluasi ex-ante, monitoring, mid term, (Zidane et al., 2016)
dan terminal.

22
Machine Translated by Google
~
J. Varajao dkk.
Gambar 3. Memilih/mendefinisikan model/metode untuk mengevaluasi keberhasilan proyek tertentu.
belum dipelajari dalam organisasi, sehingga sulit untuk menilai nilai sebenarnya mereka.
Hasil ini juga berguna untuk memperbaiki metode yang ada. Misalnya, beberapa metode
memiliki batasan yang telah dipecahkan pada metode lain. Dengan menganalisis metode
yang telah mengatasinya, dimungkinkan untuk mencari solusi untuk mengembangkan metode
tertentu. Misalnya, Barclay dan Osei-Bryson (2009) menyatakan bahwa mengelola konflik di
antara pemangku kepentingan perlu dieksplorasi lebih lanjut dan diintegrasikan ke dalam
pendekatan mereka.
Di sisi lain, satu keuntungan dari Lacerda et al. (2011) model membantu negosiasi antara
pemangku kepentingan. Dengan demikian, melihat keuntungan dan keterbatasan antara
model/metode, sinergi dimungkinkan yang memungkinkan evolusi bersama.
5.4. Wawasan utama dan arah masa depan untuk penelitian
Meskipun beberapa model/metode didasarkan pada satu kriteria evaluasi, yang lain
menggunakan banyak kriteria dan penilaian yang lebih kompleks. Beberapa metode, seperti
yang berfokus pada evaluasi ex-post, memeriksa kinerja organisasi proyek dan efek
informasional dan transformasional yang dihasilkan darinya (Gollner dan Baumane-Vitolina,
2016), tetapi ini tidak terjadi di sebagian besar kasus. . Dalam praktiknya, model/metode
untuk evaluasi keberhasilan harus ditentukan tidak hanya dengan mempertimbangkan kinerja
selama proyek tetapi juga dampak pascaproyek (Varaj~ao et al., 2022a). Evaluasi ini sangat
mendasar untuk mengkonfirmasi pencapaian manfaat yang diharapkan (Slevin dan Pinto,
1987).
Beberapa model/metode dirancang secara eksklusif untuk diterapkan dalam proyek SI
karena input yang diperlukan hanya ada dalam proyek semacam ini. Di sebagian besar dari
mereka, model telah diuji di area tertentu tetapi dapat diperluas ke area lain. Namun, jarang
ditemukan model/metode yang diterapkan di lebih dari satu area atau jenis proyek. Ini juga
membuka jalan untuk studi replikasi.
Patut dicatat bahwa hampir 40% dari model/metode yang teridentifikasi dikembangkan/
diterapkan dalam proyek IS, mungkin menunjukkan lebih banyak perhatian mengenai
pengukuran keberhasilan dalam proyek semacam ini (pada akhirnya karena persepsi tingkat
keberhasilan yang rendah) atau kebutuhan akan model yang berbeda. /methods karena
keragaman proyek yang lebih tinggi. Ini adalah sesuatu yang juga membutuhkan penelitian lebih lanjut. Semua penulis yang terdaftar telah berkontribusi secara signifikan terhadap pengembangan
Keterbatasan utama dari banyak model/metode yang dilaporkan adalah fakta bahwa
mereka belum diuji dalam proyek dunia nyata. Ini menuntut lebih banyak penelitian berbasis
empiris, termasuk replikasi dan studi kasus.
Karena kerumitan proyek dan lingkungan masing-masing, mungkin sulit untuk
menetapkan model/metode yang paling sesuai untuk setiap kasus. Selain itu, model/metode
yang ditentukan untuk mengevaluasi keberhasilan proyek tertentu dapat menjadi kombinasi
yang disesuaikan dari fitur model/metode yang masih ada.
Kesimpulannya, seperti yang digambarkan pada Gambar 3, pemilihan/definisi model/
metode untuk mengevaluasi keberhasilan proyek tertentu harus mempertimbangkan: proyek
spesifik dan karakteristik lingkungan proyek (misalnya atribut hasil kerja dan persyaratan
pelaporan pemangku kepentingan) ; persyaratan evaluasi keberhasilan (misalnya, evaluasi
multi-kriteria) dan tujuan (misalnya, melaporkan keberhasilan kepada manajemen puncak),
dengan mempertimbangkan manfaat yang diharapkan dan keterbatasan yang dapat diterima;
model/metode untuk karakteristik evaluasi proyek (misalnya, untuk memungkinkan simulasi),
termasuk fitur, manfaat, dan batasannya. Juga direkomendasikan agar organisasi mengadopsi
proses Manajemen Kesuksesan yang terdefinisi dengan baik (misalnya, Varaj~ao et al.
(2022a)). Kami dengan kuat
23
Heliyon 8 (2022) e11977
percaya bahwa Tabel 1 dan 2, daftar model/metode yang masih ada, bersama dengan Tabel
4 dan 5, yang mengidentifikasi manfaat utama dan keterbatasan masing-masing model/
metode, dapat berharga dalam proses ini.
6. Kesimpulan
Mengevaluasi keberhasilan proyek SI adalah tugas yang kompleks karena banyaknya
persepsi tentang keberhasilan, tergantung, misalnya, pada pemegang saham, karakteristik
proyek, karakteristik manajemen proyek, dan banyak aspek lainnya. Oleh karena itu,
mengadopsi model/metode untuk evaluasi proyek bukanlah tugas yang sederhana atau
mendasar.
Kami melakukan tinjauan pustaka yang bertujuan untuk mengidentifikasi dan
meningkatkan kesadaran akan model/metode yang ada untuk mengevaluasi keberhasilan
proyek SI. Ini juga termasuk tinjauan model/teknik dari proyek non-IS karena beberapa
mungkin cocok untuk proyek IS.
Salah satu keterbatasan penelitian ini terkait dengan model/metode lain yang mungkin
ada dan tidak dipertimbangkan karena tidak menjadi fokus penelitian atau dipublikasikan di
outlet ilmiah. Keterbatasan lain mengenai manfaat dan keterbatasan model/metode karena
yang disajikan dalam artikel ini dilaporkan oleh penulis aslinya. Deskripsi setiap teknik juga
akan berguna. Namun, itu tidak mungkin untuk memasukkannya ke dalam makalah ini karena
keterbatasan panjangnya (selain itu, mereka tersedia di sumber aslinya). Semua keterbatasan
ini menciptakan jalur untuk penelitian.
Daftar model/metode, dan pembahasan tentang karakteristiknya, aplikasi saat ini,
manfaat, dan batasannya, merupakan kontribusi utama dari artikel ini. Bagi para peneliti, ini
memberikan beberapa wawasan tentang keadaan terkini dan membantu mengidentifikasi
jalan baru untuk penelitian. Bagi para praktisi, ini meningkatkan pemahaman tentang peran
model/metode evaluasi. Ini juga memberikan dasar untuk memilih model/metode yang sesuai
untuk proyek tertentu sesuai dengan karakteristiknya.
Deklarasi
Pernyataan kontribusi penulis
dan penulisan artikel ini.
Pernyataan pendanaan
Karya ini didukung oleh FCT - Fundaç~ao para a Ci^encia e
Teknologi dalam Lingkup Proyek Unit R&D (UIDB/00319/2020).
pernyataan ketersediaan data
Tidak ada data yang digunakan untuk penelitian yang dijelaskan dalam artikel.
Deklarasi pernyataan minat
Para penulis menyatakan tidak ada konflik kepentingan.
Informasi tambahan
Tidak ada informasi tambahan yang tersedia untuk makalah ini.
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Lampiran

String pencarian dicantumkan berikutnya.

PENGENALI EKSPRESI

Eksp1 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL(PROYEK) DAN
JUDUL (“KINERJA” ATAU “SUKSES” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “REALISASI” ATAU
"REALISASI")

Exp2 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN” ATAU “PENILAIAN” ATAU
“PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL (“PROYEK” ATAU “PROYEK”) DAN JUDUL (“KINERJA”
ATAU "SUKSES" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "REALISASI" ATAU "REALISASI")

Exp3 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN” ATAU “PENILAIAN” ATAU
“PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL (“PROYEK” ATAU “PROYEK”) DAN JUDUL (“KINERJA”
ATAU "SUKSES" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "REALISASI" ATAU "REALISASI") DAN KUNCI ("GANDA
KRITERIA")

Exp4 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL(PROYEK) DAN
JUDUL (“KINERJA” ATAU “SUKSES” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “REALISASI” ATAU
“REALISASI”) DAN JUDUL (“METODE” ATAU “TEKNIK” ATAU “SISTEM” ATAU “PROSEDUR”)

Exp5 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN” ATAU “PENILAIAN” ATAU
“PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL (“PROYEK” ATAU “PROYEK”) DAN JUDUL (“KINERJA”
ATAU “SUKSES” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “REALISASI” ATAU “REALISASI”) DAN JUDUL (“METODE”
ATAU “TEKNIK” ATAU “SISTEM” ATAU “PROSEDUR” ATAU “PROSES”)

Exp6 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL
(“KINERJA PROYEK” ATAU “KEBERHASILAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENYELESAIAN PROYEK” ATAU
“PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU “REALISASI PROYEK” ATAU “KINERJA PROYEK” ATAU “PROYEK
SUKSES” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU
“REALISASI PROYEK”)

Eksp7 KUNCI(“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN KUNCI(“KINERJA
PROYEK” ATAU “KEBERHASILAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN
PROYEK” ATAU “REALISASI PROYEK” ATAU “REALISASI PROYEK” ATAU “KINERJA PROYEK” ATAU “SUKSES PROYEK” ATAU
“PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU “PROYEK
REALISASI")

Exp8 ABS (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN ABS (“KINERJA
PROYEK” ATAU “KEBERHASILAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN
PROYEK” ATAU “REALISASI PROYEK” ATAU “REALISASI PROYEK” ATAU “KINERJA PROYEK” ATAU “SUKSES PROYEK” ATAU
“PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU “PROYEK
REALISASI")

Eksp9 JUDUL ("EVALUASI" ATAU "PENILAIAN" ATAU "PENILAIAN" ATAU "PENILAIAN" ATAU "PERKIRAAN" ATAU "PERHITUNGAN") DAN
JUDUL (“KINERJA PROYEK” ATAU “KEBERHASILAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU
“PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU “REALISASI PROYEK” ATAU “KINERJA PROYEK” ATAU “PROYEK
SUKSES” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU
“REALISASI PROYEK”) DAN JUDUL (“SISTEM INFORMASI” ATAU “SISTEM INFORMASI” ATAU “TEKNOLOGI INFORMASI” ATAU
“TEKNOLOGI INFORMASI” ATAU “TIK” ATAU “TI/ADALAH” ATAU “ADALAH/TI”)

Exp10 ABS(“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN ABS(“KINERJA
PROYEK” ATAU “KEBERHASILAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN
PROYEK” ATAU “REALISASI PROYEK” ATAU “REALISASI PROYEK” ATAU “KINERJA PROYEK” ATAU “SUKSES PROYEK” ATAU
“PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “PENCAPAIAN PROYEK” ATAU “REALISASI PROYEK” ATAU “PROYEK
REALISASI”) DAN ABS (“SISTEM INFORMASI” ATAU “SISTEM INFORMASI” ATAU “TEKNOLOGI INFORMASI” ATAU “INFORMASI
TEKNOLOGI” ATAU “TIK” ATAU “TI/ADALAH” ATAU “ADALAH/TI”)

Eksp11 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL (“PROYEK” ATAU
"PROYEK") DAN JUDUL ("KINERJA" ATAU "SUKSES" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "REALISASI"
ATAU “REALISASI”) DAN JUDUL (“SISTEM INFORMASI” ATAU “SISTEM INFORMASI” ATAU “TEKNOLOGI INFORMASI” ATAU “INFORMASI
TEKNOLOGI” ATAU “TIK” ATAU “TI/ADALAH” ATAU “ADALAH/TI” ATAU “TEKNOLOGI INFORMASI DAN KOMUNIKASI”)

Eksp12 KUNCI(“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN KUNCI(“PROYEK” ATAU
“PROYEK”) DAN KUNCI (“KINERJA” ATAU “SUKSES” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “PENCAPAIAN” ATAU “REALISASI”
ATAU “REALISASI”) DAN KUNCI (“SISTEM INFORMASI” ATAU “SISTEM INFORMASI” ATAU “TEKNOLOGI INFORMASI” ATAU “INFORMASI
TEKNOLOGI” ATAU “TIK” ATAU “TI/ADALAH” ATAU “ADALAH/TI” ATAU “TEKNOLOGI INFORMASI DAN KOMUNIKASI”)

Eksp13 JUDUL (“EVALUASI” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN” ATAU “PENILAIAN” ATAU
“PENILAIAN” ATAU “PENILAIAN” ATAU “PERKIRAAN” ATAU “PERHITUNGAN”) DAN JUDUL (“PROYEK” ATAU “PROYEK”) DAN JUDUL (“KINERJA”
ATAU "SUKSES" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "PENCAPAIAN" ATAU "REALISASI" ATAU "REALISASI") DAN
JUDUL (“SISTEM INFORMASI” ATAU “SISTEM INFORMASI” ATAU “TEKNOLOGI INFORMASI” ATAU “TEKNOLOGI INFORMASI” ATAU
“TIK” ATAU “TI/ADALAH” ATAU “ADALAH/TI” ATAU “TEKNOLOGI INFORMASI DAN KOMUNIKASI” ATAU “INFORMASI DAN KOMUNIKASI
TEKNOLOGI”)

Exp14 TITLE(“EVALUAT*” ATAU “ASSESS*” ATAU “APPRAIS*” ATAU “MEASUR*” ATAU “VALUAT*” ATAU “CALCULAT*”) DAN JUDUL (“PROYEK*”) DAN
TITLE(“PERFORM*” ATAU “SUKSES” ATAU “MENCAPAI*” ATAU “MENCAPAI*” ATAU “MENCAPAI*” ATAU “REALIS*” ATAU “REALIS*”)

Eksp 15 TITLE(“EVALUAT*” ATAU “ASSESS*” ATAU “APPRAIS*” ATAU “MEASUR*” ATAU “VALUAT*” ATAU “CALCULAT*”) DAN JUDUL (“PROYEK*”) DAN
JUDUL(“PERFORM*” ATAU “SUKSES” ATAU “MENCAPAI*” ATAU “MENCAPAI*” ATAU “MENCAPAI*” ATAU “REALIS*” ATAU “REALIS*”) DAN JUDUL(“METODE*” ATAU
“PROSES” ATAU “TEKNIK” ATAU “PENDEKATAN”)

24
Machine Translated by Google

~
J. Varajao dkk. Heliyon 8 (2022) e11977

Referensi Kutsch, E., Maylor, H., 2009. Dari kegagalan menuju kesuksesan: penyelidikan terhadap manajer
kriteria untuk menilai hasil proyek TI. Int. J. Manuf. Technol. Kelola. 16, 265–282.

APHA, 1960. Glosarium istilah administrasi kesehatan masyarakat, American Public Health
Lacerda, R., Ensslin, L., Ensslin, S., 2011. Tampilan pengukuran kinerja proyek TI
Asosiasi. Saya. J. Publ. Kesehatan 50, 225–226.
pengelolaan. Int. J.Prod. Melakukan. Kelola. 60, 132–151.
Arviansyah, Spil, T., Hillegersberg, J., 2015. Pengembangan dan pengkajian suatu
Lech, P., 2013. Waktu, anggaran, dan fungsionalitas?—Kriteria keberhasilan proyek TI direvisi. Inf.
instrumen untuk mengukur situasi samar-samar dan penyebabnya dalam evaluasi proyek SI/TI.
Sistem. Kelola. 30, 263–275.
Int. J.Inf. Sistem. Proj. Kelola. 3, 25–45.
Ma, B., Tan, C., Jiang, Z., et al., 2013. Keputusan kelompok multikriteria fuzzy intuitif untuk
Atkinson, R., 1999. Manajemen proyek: biaya, waktu dan kualitas, dua tebakan terbaik dan sebuah
mengevaluasi dan memilih proyek sistem informasi. Inf. Technol. J.12, 2505–2511.
fenomena, waktunya untuk menerima kriteria keberhasilan lainnya. Int. J.Proj. Kelola. 17,
337–342.
Marnewick, C., 2012. Analisis longitudinal keberhasilan proyek TIK. Dalam: SAICSIT '12 - Konferensi
Baccarini, D., 1999. Metode kerangka logis untuk menentukan keberhasilan proyek. Proj.
Institut Ilmuwan Komputer dan Teknologi Informasi Afrika Selatan , hlm. 326–334.
Kelola. J.30, 25–32.
Barclay, C., Osei-Bryson, K.-M., 2009. Menentukan kontribusi proyek IS: pendekatan untuk
McCoy, FA, 1986. Mengukur keberhasilan: Membangun dan Memelihara Baseline. Dalam: Seminar &
mengukur kinerja. Dalam: HICSS 2009 - Konferensi Internasional Hawaii ke-42 tentang Ilmu
Simposium Tahunan PMI. Montreal.
Sistem, hlm. 1–10.
Milis, K., Vanhoof, K., 2006. Menganalisis kriteria keberhasilan proyek TIK. Dalam: Kecerdasan
Basar, A., 2020. Metodologi baru untuk evaluasi kinerja proyek TI secara kabur
Buatan Terapan. Ilmiah Dunia, hlm. 343–350.
lingkungan: studi kasus. Komputasi Lunak. 24, 10755–10770.
Ngereja, BJ, Hussein, BA, 2021. Ujian prasyarat belajar
Baumeister, RF, Leary, MR, 1997. Menulis ulasan literatur naratif. Pdt.
memfasilitasi inovasi dalam proyek digitalisasi: perspektif anggota tim proyek.
Psikol. 3, 311–320.
Int. J.Inf. Sistem. Proj. Kelola. 9, 23–41.
Bokovec, K., Damij, T., Rajkovic, U., 2011. Model keputusan multi-atribut untuk mengevaluasi
Nguvulu, A., Yamato, S., Honma, T., 2011. Evaluasi proyek menggunakan jaringan keyakinan
kesuksesan implementasi proyek ERP dengan menggunakan pendekatan faktor efisiensi global.
mendalam backpropagation . Dalam: Konferensi Internasional ke-4 tentang Inovasi Rekayasa
Dalam: Kern, T., Rajkovic, V. (Eds.), People and Sustainable Organization. Peter Lang, hlm.
dan Teknologi.
402–420.
Nguvulu, A., Yamato, S., Honma, T., 2012. Evaluasi kinerja proyek menggunakan deep
Cameron, KS, 1986. Efektivitas sebagai paradoks: konsensus dan konflik dalam konsepsi efektivitas
jaringan kepercayaan. Trans IEEJ. Elektron., Inf. Sistem. 132, 306–312.
organisasi. Kelola. Sains. 32, 539–553.
Oisen, RP, 1971. Dapatkah manajemen proyek didefinisikan? Proj. Kelola. P.2, 12–14.
Cecez-Kecmanovic, D., Nagm, F., 2008. Memahami evaluasi proyek IS dalam praktek melalui
Osei-Kyei, R., Chan, A., 2018. Mengevaluasi indeks keberhasilan proyek publik-swasta
penyelidikan ANT. Dalam: ACIS 2008 - Konferensi Amerika tentang Sistem Informasi, hlm.
proyek kemitraan di Hong Kong: kasus Cross Harbour Tunnel. Membangun.
59–70.
Berinovasi. 18, 371–391.
Cochrane, 2005. Glosarium dalam komunitas Cochrane. Tersedia di: www.cochrane.org.
Paiva, A., Domínguez, C., Varaj~ao, J., et al., 2011. Aspek Dasar Ketersediaan
Cuellar, M., 2010. Menilai keberhasilan proyek: Bergerak melampaui tiga kendala. Dalam:
berhasil mengembangkan proyek perangkat lunak. Apakah ada hubungan antara Anda dengan
Lokakarya Penelitian Internasional 2010 tentang Manajemen Proyek TI, 13.
apa dan mempertimbangkan industri baru? Interciencia 36, 200–204.
DAC, 2002. Daftar Istilah Kunci dalam Evaluasi dan Manajemen Berbasis Hasil.
Papanikolaou, M., Xenidis, Y., 2020. Penilaian kinerja proyek konstruksi berdasarkan
Komite Bantuan Pembangunan. Organisasi Kerjasama Ekonomi dan Pembangunan, Paris.
informasi risiko. Keberlanjutan 12, 5321.
Patnayakuni, R., Ruppel, C., 2010. Pendekatan sosio-teknis untuk meningkatkan proses pengembangan
Dachyar, M., Pratama, NR, 2014. Evaluasi kinerja proyek pengeboran pada perusahaan jasa migas di
sistem. Inf. Sistem. Depan 12, 219–234.
Indonesia dengan metode MACBETH. J.Fis. Konf. 495, 1–9.
Patton, MQ, 1996. Evaluasi yang Berfokus pada Pemanfaatan: Teks abad baru. SAGE.
Dahooie, J., Zavadskas, E., Abolhasani, M., et al., 2018. Pendekatan baru untuk evaluasi proyek
Pereira, J., Varaj~ao, J., Takagi, N., 2022. Evaluasi keberhasilan proyek sistem informasi –
menggunakan metode penilaian rasio aditif fuzzy (ARAS) bernilai interval: studi kasus sumur
wawasan dari para praktisi. Inf. Sistem. Kelola. 39, 138–155.
minyak dan gas proyek pengeboran. Simetri 10, 45.
Pinter, U., Psunder, I., 2013. Mengevaluasi kesuksesan proyek konstruksi dengan menggunakan M
David, OS, Lawrence, D., 2010. Inovasi kolaboratif untuk pengelolaan
metode TOPSIS. J.Civ. Eng. Kelola. 19, 16–23.
sumber daya teknologi informasi. Int. J.Hum. Topi. Inf. Technol. Prof. (IJHCITP) 1, 16–30.
Pinto, JK, Slevin, DP, 1987. Faktor kritis dalam implementasi proyek yang berhasil. IEEE
Trans. Eng. Kelola. 34, 22–27.
Davis, K., 2014. Berbagai kelompok pemangku kepentingan dan persepsi mereka tentang keberhasilan proyek. Int.
Pujari, C., Seetharam, K., 2015. Evaluasi efektivitas proyek perangkat lunak yang dikembangkan
J.Proj. Kelola. 32, 189–201.
melalui metodologi six sigma. Saya. J. Matematika. Kelola. Sains. 24, 67–88.
De Wit, A., 1988. Pengukuran keberhasilan proyek. Int. J.Proj. Kelola. 6, 164–170.
Rani, R., Arifin, A., Norazman, N., et al., 2020. Evaluasi kinerja multi proyek dengan menggunakan
Doskocil, R., Skapa, S., Ol sova, P., 2016. Model evaluasi keberhasilan untuk manajemen
data envelopment analysis (DEA). Ilmu ASM. J.13.
proyek. E&M Ekon. Kelola. 19, 167–185.
Rigo, P., Siluk, J., Lacerda, D., et al., 2020. Sebuah model untuk mengukur keberhasilan
Du, W., 2015. Metode evaluasi kinerja manajemen proyek baru berdasarkan jaringan saraf BP. Dalam:
proyek sistem fotovoltaik skala kecil terdistribusi. Sol. Energi 205, 241–253.
Konferensi Internasional 2015 tentang Otomasi, Kontrol Mekanik, dan Teknik Komputasi.
Sanchez-Lopez, R., Costa, CAB, De Baets, B., 2012. Pendekatan MACBETH untuk evaluasi multi
kriteria proyek pembangunan pada isu-isu lintas sektoral. Ann. Operasi. Res. 199, 393–408.
Duan, B., Tang, Y., Tian, L., et al., 2008. Evaluasi tingkat keberhasilan dalam listrik
proyek rekayasa tenaga listrik berdasarkan analisis komponen utama dan jaringan saraf fuzzy. Di:
Sauer, C., Gemino, A., Reich, BH, 2007. Dampak ukuran dan volatilitas pada kinerja proyek TI.
2008 Lokakarya Elektronika Daya dan Sistem Transportasi Cerdas. IEEE, hlm. 339–344.
Komunal. ACM 50, 79–84.
Savolainen, P., Ahonen, JJ, Richardson, I., 2012. Keberhasilan dan kegagalan proyek pengembangan
Gollner, JA, Baumane-Vitolina, I., 2016. Pengukuran keberhasilan proyek ERP: temuan dari Jerman dan
perangkat lunak dari perspektif pemasok: tinjauan literatur sistematis. Int. J.Proj.
Austria. Eng. Ekon. 27, 498–508.
Kelola. 30, 458–469.
Gonçalves, T., Belderrain, M., 2012. Evaluasi kinerja dengan PROMETHEE GDSS dan GAIA: studi pada
Scriven, M., 1991. Tesaurus Evaluasi. Sage, Taman Newbury, CA.
proyek satelit ITA-SAT. J.Aero. Technol. Kelola. 4, 381–392.
Sharifi, AS, Nik, AR, 2016. Metode evaluasi keseimbangan proyek (PBE) - terintegrasi
Hermawan, H., Fauzi, A., Anshari, M., 2016. Pengukuran kinerja proyek
metode untuk evaluasi kinerja proyek. Di dalam: Kotzab, H., Pannek, J., Thoben, K.-D.
manajemen dengan menggunakan FANP Balanced ScoreCard. J. Theor. Aplikasi Inf. Technol. 83,
262–269. (Eds.), Dinamika dalam Logistik. Springer, hlm. 693–702.
Hoang, N., Deegan, G., Rochford, M., 2013. Mengelola keberhasilan proyek TI: studi kasus di sektor Silvius, G., Schipper, R., 2015. Mengembangkan model kematangan untuk menilai berkelanjutan
publik. Di dalam: AMCIS 2013 - Konferensi Amerika tentang Sistem Informasi. manajemen proyek. J.Mod. Proj. Kelola. 3, 334–342.
AIS. Slevin, DP, Pinto, JK, 1987. Menyeimbangkan strategi dan taktik dalam implementasi proyek.
Sloan Manag. Wahyu 29, 33–41.
Hong-xiong, Y., Yi-liu, L., Chun-ling, S., 2010. Penelitian tentang pengawasan kinerja
Standish, 2018. Laporan Kekacauan 2017-2018. Grup Standish.
metode penilaian proyek publik di bawah gagasan biaya berbasis aktivitas. Dalam: Konferensi
Internasional 2010 tentang E-Product E-Service dan E-Entertainment. StandishGroup, 2020. CHAOS 2020: Ikhtisar di luar Infinity. Grup Berdiri.
Huang, Y., Liu, Q., Tian, L., 2008. Mengevaluasi tingkat keberhasilan dalam proyek Sternberg, RJ, 1991. Editorial. Psikol. Banteng. 109, 3–4.

konstruksi pembangkit listrik berdasarkan berat variabel cluster abu-abu. Di: 2008
ISECS International Colloquium on Computing, Communication, Control, and Management.
IEEE, hlm. 251–255.
Iivari, J., 2021. Kerangka kerja untuk ketegangan paradoks manajemen proyek. Int. J.Inf.
Sistem. Proj. Kelola. 9, 5–35.
Iriarte, C., Bayona, S., 2020. Faktor keberhasilan proyek TI: tinjauan literatur. Int. J.Inf. Sistem.
Sulistiyani, E., Tyas, S., 2019. Kerangka pengukuran keberhasilan informasi
proyek teknologi: model konseptual. Dalam: Konferensi Internasional Ilmu Komputer , Teknologi
Informasi, dan Teknik Listrik.
Tadic, D., Arsovski, S., Aleksic, A., et al., 2015. Evaluasi kabur proyek untuk peningkatan kualitas proses
bisnis. Dalam: Kahraman, C., Onar, S. (Eds.), Intelligent Techniques in Engineering
Management: Theory and Applications. Penerbitan Internasional Springer , Swiss.

Proj. Kelola. 8, 49–78.

Tam, C., Moura, E., Oliveira, T., et al., 2020. Faktor-faktor yang mempengaruhi keberhasilan proyek
Ismail, H., 2020. Mengukur keberhasilan proyek penampungan air dengan menggunakan metode delphi dan
pengembangan perangkat lunak yang gesit. Int. J.Proj. Kelola. 38, 165–176.
evaluasi prioritas. Konferensi TIO Ser. Lingkungan Bumi. Sains. 588, 1.11–11.14.
Thomas, G., Fernandez, W., 2008. Sukses dalam proyek TI: masalah definisi? Int. J.
K€a€ari€ainen, J., Pussinen, P., Saari, L., et al., 2020. Menerapkan fase positioning model transformasi
Proj. Kelola. 26, 733–742.
digital dalam praktik untuk UKM: menuju pengembangan digitalisasi yang sistematis. Int. J.Inf. Sistem.
Turner, R., Zolin, R., 2012. Meramal kesuksesan pada proyek besar: mengembangkan keandalan
Proj. Kelola. 8, 24–43.
skala untuk memprediksi berbagai perspektif oleh berbagai pemangku kepentingan selama beberapa
Keeys, LA, Huemann, M., 2017. Manfaat proyek kreasi bersama: membentuk manfaat pembangunan
kerangka waktu. Proj. Kelola. J.43, 87–99.
berkelanjutan. Int. J.Proj. Kelola. 35, 1196–1212.
Varaj~ao, J., 2016. Manajemen sukses sebagai area pengetahuan PM – sedang dalam proses.
Kendra, K., Taplin, LJ, 2004. Keberhasilan Proyek: Kerangka Budaya. Proj. Kelola. J.35,
30–45. Procedia Comput. Sains. 100, 1095–1102.
Varaj~ao, J., 2018. Sebuah proses baru untuk manajemen kesuksesan - menertibkan seperti biasanya
Kerzner, H., 2017. Manajemen Proyek – Pendekatan Sistem untuk Perencanaan, Penjadwalan, dan
daerah ad-hoc. J.Mod. Proj. Kelola. 5, 92–99.
Pengendalian. John Wiley and Sons.

25
Machine Translated by Google
~
J. Varajao dkk.
Varaj~ao, J., Carvalho, JA, 2018. Mengevaluasi Keberhasilan Proyek SI/TI: Bagaimana
Perusahaan Melakukannya?. Dalam: Lokakarya Penelitian Internasional 2018 tentang
Asosiasi Manajemen Proyek TI untuk Sistem Informasi.
Varaj~ao, J., Trigo, A., 2016. Evaluasi keberhasilan proyek di infsysmakers: an
studi kasus eksplorasi. Di: ICIS 2016 - Konferensi Internasional tentang Sistem Informasi.
Asosiasi Sistem Informasi.
Varaj~ao, J., Trigo, A., Pereira, J., et al., 2021. Manajemen proyek sistem informasi
kesuksesan. Int. J.Inf. Sistem. Proj. Kelola. 9, 62–74.
Varaj~ao, J., Magalh~aes, L., Freitas, L., et al., 2022a. Manajemen Sukses – dari teori hingga
praktik. Int. J.Proj. Kelola. 40, 481–498.
Varaj~ao, J., Marques, R., Trigo, A., 2022b. Proses manajemen proyek – berdampak pada
keberhasilan proyek sistem informasi. Informatica 33, 421–436.
Wohlin, C., Andrews, AA, 2001. Menilai keberhasilan proyek menggunakan faktor evaluasi subyektif.
Kualifikasi perangkat lunak J.9, 43–70.
€
Wohlin, C., Von Mayrhauser, A., Host, M., et al., 2000. Evaluasi subyektif sebagai alat untuk belajar
dari keberhasilan proyek perangkat lunak. Inf. Teknologi Perangkat Lunak. 42, 983–992.
26
Heliyon 8 (2022) e11977
Wray, B., Mathieu, R., 2008. Mengevaluasi kinerja proyek perangkat lunak open source menggunakan
analisis data envelopment. Inf. Kelola. Komputer. Aman. 16, 449–462.
Xu, Y., Yeh, CH, 2014. Pendekatan berbasis kinerja untuk penugasan proyek dan evaluasi
kinerja. Int. J.Proj. Kelola. 32, 218–228.
Yang, CL, Huang, RH, Ho, MT, 2009. Model evaluasi multi-kriteria untuk proyek pengembangan
perangkat lunak. Dalam: IEEM 2009 - Konferensi Internasional IEEE tentang Teknik Industri
dan Manajemen Teknik. IEEE, hlm. 1840–1844.
Yeh, D.-Y., Cheng, C.-H., Yio, H.-W., 2006. Model penilaian terintegrasi OWA dan PCA dalam proyek
perangkat lunak. Dalam: Kongres Otomasi Dunia 2006. IEEE, hlm. 1–6.
Zidane, YJT, Johansen, A., Hussein, BA, et al., 2016. Kerangka PESTOL untuk « evaluasi proyek
pada tingkat strategis, taktis, dan operasional. Int. J.Inf. Sistem. Proj. Kelola. 4, 25–41.
_
'
Zavadskas, EK, Vilutiene, T., Turskis, Z., et al., 2014. Analisis multi-kriteria kinerja Proyek dalam
konstruksi. Lengkungan. Sipil Mekanisme Eng. 14, 114–121.
Zhu, J., Mostafavi, A., 2018. Penilaian kinerja dalam proyek rekayasa kompleks menggunakan
kerangka kerja sistem-sistem. Sistem IEEE. J.12, 262–273.