Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 3, No. 9, September 2019, hlm. 8972-8979 http://j-ptiik.ub.ac.id

Evaluasi User experience Pada Aplikasi Mobile Asphalt 9: Legends

Menggunakan Cognitive Walkthrough dan Heuristic Evaluation
Ahmad Fahrurrozi1, Satrio Hadi Wijoyo2, Lutfi Fanani3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya
Email: 1fahrurroziahmad11@gmail.com, 2satriohadi@ub.ac.id, 3lutfifanani@ub.ac.id

Abstrak
Asphalt 9: Legends adalah game balap yang menampilkan deretan mobil-mobil super canggih
untuk dimainkan dengan grafis lebih jernih. Aplikasi game Asphalt 9: Legends memiliki jumlah
pengguna mencapai 10 juta, namun pada game ini ditemukan permasalahan yang diperoleh dari
responden seperti fungsi pada game yaitu adanya restart dan setting fitur yang sulit ditemukan
pengguna. Berdasarkan observasi oleh penulis, terdapat beberapa permasalah game Asphalt 9:
Legends seperti Hidden dimana kejelasan simbol menunjukkan fungsi fitur, serta Feedback dimana
sistem tak nyediakan mode fungsi touchdrive untuk main tak adanya timbal balik antara sistem dan
pengguna. Penelitian ini tujuan ngevaluasi users interface game pada objek Asphalt 9: Legends
dengan gunakan metode cognitive walkthrough dan heuristic evaluation. Penelitian dengan metode
Cognitive Walkthrough melibatkan 4 responden pengguna baru game untuk Asphalt 9: Legends,
sedangkan metode pada heuristic evaluation melibatkan 9 evaluator expert. Hasil penelitian dengan
metode pada cognitive walkthrough bahwa game pada Asphalt 9: Legends cukup punya masalah
terbanyak antara users dan hidden. Evaluasi gunakan metode pada Heuristic menunjukkan bahwa
game Asphalt 9: Legends terdapat 26 permasalahan usability, dimana adanya prinsip pada MA01
(visibility of system status) punya jumlah masalah paling banyak dengan sebesarnya persentase 30.7%,
sedangkan untuk rata jumlah nilai severity rating teratas ada diprinsip MA03 (users control and
freedom) sebesar 2.63.
Kata kunci: Asphalt 9: Legends, Cognitive Walkthrough, Heuristic Evaluation
Abstract
Asphalt 9: Legends is a racing game that shows sophisticated cars in row that play with more clear
graphic. Asphalt 9: Legends has 10 millions users, but this game was found a problem from the
respondent like function from the fitur such as Settings and Restart that are difficult to find for the
user. Based on observation from a writer, this game has many kinds of problem such as Hidden, is a
clearance symbol that shows for fitur function and feedback, which is not serving mode touchdrive
function in the game so there is no feedback between the system and users. The purpose of this
observation are for evaluating users interface from Asphalt 9: Legends using cognitive walkthrough
and Heuristic Evaluation method. Cognitive Walkthrough method involves 4 respondents who are new
users of this game, for heuristic evaluating method involves 9 evaluator experts. The result of the
Cognitive Walkthrough shows the Asphalt 9: legends has enough problems in Users and Hidden.
Evaluating using heuristic method shows this game has 26 usability problems which is heuristic MA01
(visibility of System Status) prinsiple has the highest problem 30.7%, meanwhile the highest average
level of severity is in the Heuristic Ma03 (User Control and Freedom) principle is 2.63 in percentage.
Keyword: Asphalt 9: Legends, Cognitive Walkthrough, Heuristic Evaluation

1. PENDAHULUAN kegiatan, kesenangan dan bebas main. Mobile

Permainan terdiri dari objek suatu
komponen dan aturan seperti kriteria tujuan
pemainan, kesempatan bermain, kompetisi,
berbagi pengalaman,
game adalah permainan yang di mainkan dan di
desain untuk device mobile, seperti PCs tablet,
PDA, smart phone sejenis gadget lainnya. Salah
satu contoh mobile game online yaitu Asphalt 9:
Legends.

Fakultas Ilmu Komputer

Universitas Brawijaya 8972
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 8973

Game balap mobil ini menampilkan deretan 2. METODOLOGI PENELITIAN

mobil super canggih dengan grafis yang lebih
jernih. Pada game Asphalt 9: Legends pengguna
bisa milih denah main agar tak bosan di saat
main gamenya. Untuk Asphalt 9: Legends
memajang jejeran mobil kelas top wahid untuk
di mainkan dan tak akan mudah di temukan
pada game lain. Gameloft (2018).
Pandusarani (2018) dalam penelitiannya
mengevaluasi user experience pada CS:GO.
Peniliti untuk hasil terdapat kelompok pada
player pro tak ada kendalanya, dikarenakan
penggunanya sudah main CS:GO sudah
lamanya bermain. Seluruh evaluasi di lakukan
secara tepat dan gesit tak ada salah sekecilpun,
sedangkan pada kelompok ada dinewbie
terbanyak kendalanya, dikarena pengguanya tak
ada sama sekali pengalaman main di game
CS:GO. Penelitian tersebut hanya menggunakan
penilaian subjektif dari responden langsung,
sehingga hasil evaluasi sangat bergantung pada
tiap pengguna.
Mikko rajanen (2018) dalam penelitiannya
mengevaluasi pendekatan evaluasi heuristik Gambar 1. Diagram Alur Pengerjaan
sebagai metode kegunaan game. Hasil
penelitian menunjukkan sebanyak 59 respons Pada gambar 1. memaparkan diagram alur
valid di terima dari North American dan 45 pengerjaan peneliti. Penelitian di awali dengan
respons valid dari North European, respons melakukan identifikasi permasalahan, tahap ini
tingkat sebesar 7,4% dan 16,8%. Namun, bertujuan untuk mengetahui permasalahan
tingkat pemanfaatan evaluasi heuristic dalam dengan cara observasi objek penelitian game
game dan gamification terlalu tinggi. mobile Asphalt 9: Legends, serta wawancara
Sebab itu tertariknya penulis lakukan responden dan evaluator expert. Setelah
peneliti untuk Asphalt 9: Legends gunakan masalah terindentifikasi, di lakukan studi
metode cognitive walkthrough dan heuristic literatur pada jurnal online, website resmi untuk
evaluation, di mana evaluasi user experience memperoleh teori pendukung penulisan yang
akan dilakukan oleh responden dan evaluator terkait topik skripsi. Tahap selanjutnya
expert. Kedua metode tersebut dipilih agar tahu merancang skenario CW dan HE bertujuan
apakah pengguna barunya dan expert memiliki menentukan penugasan akan diberikan kepada
permasalahan dan kesulitan dalam memainkan responden expert dan temui masalah pada
Asphalt 9: Legends. Peneliti tujuan usabilitynya. Kemudian menentukan evaluator
mengevaluasi tampilan dan kinerjanya game tujuannya memberi rekomendasi hasil untuk
Asphalt 9: Legends. identifikasi masalah usabilitynya berdasar
diprinsip HE.
Tahap berikutnya penelitian pelaksanaan
berdasrkan Cognitive Walkthrough yang terdiri
4 tahapan, yaitu satu tentukan pengguna
system, dua tentukan diskenario penugasan
untuk di analisis, tiga tentukan urutan masing
penugasan, dan empat tentukan definisi
antarmukanya.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 8974

Berdasar HE ketika dilakukan 3 tahap

pelaksanaan, tahap dievaluasi di lakukan 7 Join or Creat Club 3
menemukan masalah, tahap wawancari kepada 8 Multiplayer 3
evaluator dan tahap diobservasi pada (Asphalt
9: Legends). Selanjutnya tahap pengambilan Pada Tabel 1 berisi daftar penugasan akan
data kepada responden. Pada metode Cognitive di evaluasi responden dengan masing-masing
walkthrough digunakan 4 responden pengguna tingkat skala.
baru yang belum pernah main Asphalt 9:
Legends, sedangkan pada HE digunakan 9 Spesifikasi penugasan
evaluator expert. Setelah itu dilakukan analisis
Spesifik penugasan menjelaskan langkah
terhadap data telah diperoleh dari wawancara
urutan sub penugasan akan di jalankan.
responden dan memberikan rekomendasi
Sehingga, memudahkan laksanakan penugasan
perbaikan terhadap masalah muncul. Tahap
dan tak ada terlewat. Dalam buat spesifik
terakhir pengambilan kesimpulan berdasar
penugasan menggunakan bantuan Hierarchical
proses evaluasi dan pengolahan data telah
Task Analysis (HTA). Seperti pada Gambar 1
dilakukan, kemudian pemberian saran untuk
berikut.
penelitian selanjutnya.

3. PENGUMPULAN DATA
PENGOLAHAN DATA
Pengumpulan data pada Cognitive
Walkthrough mendapatkan hasil wawancara
responden dan pada Heuristic Evaluation di
peroleh dari evaluasi beberapa evaluator dengan
menggunakan instrumen penelitian. Evaluator
yang terlibat dalam penelitian terdiri 6 expert
dan 4 newbie. Data di dapat dideskripsi masalah
usabilitynya di temukan pada skala
pemeringkatan penugasan, menentukan SR nilai
agar tahu tingkatan separah game, dan saran
perbaikan menurut evaluator terhadap masalah
muncul.
Seleksi dan Pemeringkatan Tugas Gambar 1. Menu HTA Game Asphalt

Seleksi dan pemeringkatan tugas dilakukan
untuk menentukan tugas mana saja akan di
evaluasi oleh responden serta tingkat skala
penugasan pada skala 1-5 (sangatlah penting,
penting, netral, tak penting dan sangatlah tak
penting)
Tabel 1 Daftar Tugas
Peringkat Jawaban dan Problem Seriousness
Peringkat jawaban dan problem seriousness
untuk mengkategori tingkat serius masalah
mencul.
Tabel 2 Peringkat Jawaban dan Problem
Seriousness

No Tugas Skala
1 Start Asphalt 9: Legends 1
2 Tutorial 3
3 Control 1
4 Play Game 1
5 Mission And Achievement 4
6 Inventory car 3

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 8975

Pada tabel diatas merupakan problem type

Nilai Progres Nilai Keterangan
mencari permasalahan muncul dan di
5 Ya Keberhasilan kelompokkan tipe permasalahan. Hal itu di
mungkin tinggi
lakukan menjadi mudah saat analisis proses
4 Mungkin ya Mungkin hasil.
berhasil
3 Tak tahu berhasil antara ya Prinsi HE Mobile Aplikasi
atau tak
2 Tidak, tak Keberhasilan Tabel 4 diprinsip HE Mobile Aplikasi
pasti mungkin 9 penugasan diprinsip Heuristic
rendah MA01 Make System Status Visible
1 Tak Sulit sangat
Mungkin berhasil MA02 Offer real world object, that can be
directly manipulated
MA03 Let the user have the control.
Pada tabel 2 acuan nilai untuk di berikan
terhadap jawaban responden kepada ke lima MA04 Achieve consistency (internal within
pertanyaan pada tabel 3. Menunjukkan nilai the app and external with other
tingkat keberhasilan responden saat penugasan apps in the platform)
skenario akan di berikan dan melihat serius MA05 Consider error-prone conditions
permsalahn muncul (problem seriousness). MA06 Have the app remember
importance stuff and not the user
Tabel 3 Problem dan Tingkat Jawaban MA07 Strive for high efficience of use in
default settings, but allow
Problem customization
Keterangan MA08 Design for simplicity and aesthetics
Type
User (U) Penimbulan permasalahan dari
MA09 When a user error happens, take
pengalaman dan pengetahuan
the user’s feelings and needs
pengguna .
into account
Hidden (H) Penimbulan permasalahan di
tampilan kurangnya memberi
fungsi keterangan dapat di Pada tabel 4 diprinsip HE mobile evaluator
gunakan dan ada. mudah temui masalah game pada Asphalt 9:
Legends.
Text and Konten, penempatan, warna
Icon (T) dan penampilan dari sistem
sulit di mengerti atau salah
artikan.
Secuence (I) Urutan pada operasi dan
fungsi di lakukan tak biasa.
Physical Tampilan butuh keahlian dan
Demand (P) ketangkasan lebih pada
pengguna.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 8976

Skala Severity Rating Gambar 3.6.1 seluruh temuan evaluator pada

permasalahan terdapat 53 di temukan.
Tabel 5 Skala SR
dievaluator 1 hingga 3 punya masalah
terbanyak 14, sedangkan dievaluator 2 punya
No Skala Keterangan 12 masalah.
SR
Perbandingan Temuan Jumlah Permasalahan
1 Cosmetic Tak berdampak pada Usability Pada Setiap Evaluator HE
usability. Perbaikin jika
mungkin
2 Minor Pengguna mudah atasi
permasalahan. Perbaikan
perioritas rendah
3 Medium Pengguna rasa sulit, akan
tetapi beradaptasi cepat
4 Major Pengguna alami kesulitan,
tetapi dapat solusi
mengatasi. Wajib perbaikan
5 Catastro Pengguna tak dapat Gambar 3.6.2 seluruh temuan evaluator pada
phic gunakan fitur. Harus permasalahan terdapat 58 di temukan. Pada
lakukan perbaikan dievaluator 4 punya permasalahan terbanyak
10, sedangkan dievaluator 8 punya 4 masalah.

Tabel 5 diatas merupakan skala SR 4. PEMBAHASAN

berdasar permasalahan tingkat di temukan.
Evaluator akan tetapkan di skala 1 hingga 5, Matrix A: Task Importance (TI) dan Problem
tingkatan sulit atasi permasalahan pada aplikasi Seriousness (PS)
pengguna. Terkait penugasan apa akan di perbaiki terlebih
Perbandingan Temuan Jumlah dahuluan analis penugasan di berikan.
Permasalahan Usability Pada Seluruh Tabel 6 Rerata Task Importance dan Problem
Evaluator Seriousness

Perbandingan Temuan Jumlah

Permasalahan Usability Pada Setiap
Evaluator CW

Pada tabel 6 di atas menunjukkan rerata di

PS dan TI diresponden 1 sampai responden 4.
Berdasar angka PS di peroleh dapat
menyimpulkan bahwasannya Asphalt 9 cukup
banyaknya masalah, sehingga di perlukan saran
perbaiki agar pengguna mudah mainkan game
tersebut.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Matrix B : Problem Type (PT) dan
Problem Seriousness (PS)
Memaparkan dipermasalahan tipe tingkatan
serius masalah.
Tabel 7 Rata-rata Problem Type dan
problem Seriousness
Pada tabel 7 memaparkan rerata di PT dan
PS diresponden 1 hingga 4. Pada hasil di atas
yang menjabarkan bahwa dikatakan masing-
masing permasalahan tipe terdapat pada game
Asphalt masuk dalam tingkatan ringan dan
berhasilnya besar.
Matrix C : Problem Type (PT) dan Task
Importance (TI)
Memaparkan dipermasalahan tipe mana yang
muncul dan masalah utama segera di perbaikin.
Tabel 8 Rerata Problem Type (PT) dan Task
Importance (TI)
Tabel 8 memaparkan rerata di PT dan TI
diresponden 1 hingga 4. Pada hasil di atas
menjabarkan bahwa di tipe permasalahan harus
di perbaiki terlebih dahulu ada di tipe
permasalahan users (U) dan hidden (H)
ditampilan fitur game.
Fakultas Ilmu Komputer, Universitas Brawijaya
8977
Matrix D : Problem Seriousness (PS) dan
Task Number (TN)
Menunjukkan penugasan punyai masalah
terbanyak.
Tabel 9 Rata-rata Problem Seriousness (PS)
dan Task Number (TN)
Pada tabel 9 memaparkan rerata PS dan TN.
Hasil di atas menjelaskan TN 3 (Control) dan
TN 5 (Mission and Achievement) penugasan
terbanyak dipermasalahannya.
Matrix E : Problem Type (PT) dan Task
Number (TN)
Tabel 10 Rata-rata Problem Type (PT) dan Task
Number (TN)
Tabel 10 memaparkan hasil rerata PT dan TN
dikeseluruhan responden angka berjumlah 4.
Hasil di atas menjelaskan TN 5 (mission and
achievement) penugasan terbanyak punya
permasalahan anka rerata 1,62 di tipe masalah
hidden (H).
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Hasil Keseluruhan Matrix
Pada hasil di keseluruhan matrik
menunjukkan Asphalt terdapat cukup ada
banyaknya masalah, tetapi permasalahan masuk
kategori di ringan dan tingkatan berhasilnya
tinggi. Pada permasalahan di tipe users dan
hidden di sarankan perbaikin dahulu. Selain itu
ada penugasan terbanyak masalah punya rerata
tertinggi TN 5 (mission and achievement)
dengan di tipe masalah hidden.
Rekomendasi Perbaikan HE
Berdasar direkomendasi perbaikan agar di
berikan masukan kepada game aplikasi untuk
tahu ditiap masalah usabilitynya pada game
dapat diperbaiki segera.
5. PENUTUP
Kesimpulan
Berdasr peneliti sudah dikerjakan, dapat di tarik
kesimpulan sebagai ini :
Pada evaluasi users interface di gunakan
metode CW menjabarkan bahwa game Asphalt
cukup punya masalah terbanyak pada users dan
hidden, di mana pada tipe masalah itu masuk
kedalam ringan kategorinya dan tingkatan
berhasilnya tinggi. TN 5 (mission and
achievement) di mana penugasan terbanyak pada
angka rerata 1,62 di tipe masalah hidden.
Pada evaluasi HE di sembilan prinsip pada
Asphalt 9: Legend di lakukan seluruh evaluator
berhasil di dapat 26 masalah usabilitynya.
Angka rerata SR teratas di seluruh evaluator ada
pada prinsip MA01 (visibility of system status)
dengn presentase 25%, akan tetapi pada angka
hasil SR teratas ada di prinsip MA03 (users
control and freedom) angka SR 2,63.
Saran :
Di mana saran diberi untuk pertimbangan
peneliti berikutnya di game Asphalt 9: Legend:
1. Merekomendasi perbaiki yang di sarankan
peneliti tambahan fitur asphalt perlukan
tampilan lebih mudah. Sehingga pengguna
nyaman main game Asphalt. Di sertai juga
tampilan pada fitur lebih kompeten yang
mudah dirasakan oleh penggunanya. Di mana
pengguna merasa punya kepercayaan pada
Asphalt menjadi lebih bagus lagi di
kedepannya.
Fakultas Ilmu Komputer, Universitas Brawijaya
8978
2. Di mana pengguna dalam pengetahuan
pengalaman menjangkau luas pada
Asphalt perlu di perhatikan untuk tak
terjadi masalah pada pengetahuannya
yang serba tahu.
6. DAFTAR PUSTAKA
Bligard, L. & Osvalder, A., 2013.
Enchanced Cognitive
Walkthrough:Development of the
Cognitive Walkthrough Method to
BetterPredict, Identity, and Pesent
Usability Problems, Gothenburg:
Chalmers University of Technology
Darmadi, H. 2009. Asyiknya Belajar
Sambil Bermain. Guepedia. Jakarta.
Dumas, J and Redish, J. 1999. A Practical
Guide to Usability Testing. Bethesda.
Maryland.
Gameloft. 2018. Gameloft. Tersedia
di: https://asphaltlegends.com/about/
[Diakses 29 Januari 2019]
Jesper, M.W.M.2009. A Comparison of
Usability Methods for Testing
Interactive Health Technologies:
Methodological Aspects and
Empirical Evidence. International
Jurnal Of Medical Informatic 7 (8).
Mikko Rajanen, Dorina Rajanen. (2018).
Heuristic Evaluation in Game and
Gamification Development. [Interact
Research Unit, University of Oulu].
Newman, James. 2004. Videogames. New
York, USA: Routledge
Nielsen, J. 1994. 10 Usability Heuristics for
user Interface Design. Tersedia di:
https://www.nngroup.com/articles/te
n-usability-heuristics/ [Diakses 26
November 2017]
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 8979

Pandusarani, G., Brata, A., Jonemaro, E. 2018.

Analisis User Experience Pada Game
CS:GO dengan Menggunakan Metode
Cognitive Walkthrough dan Metode
Heuristic Evaluation. Jurnal
Pengembangan Teknologi Informasi dan
Ilmu Komputer 2 (3).

Wilson, C. 2009. User Experience Re-Mastered

1st Edition. Elsevier Inc. Waltham.

Wilson, C. 2014. User Interface Inspection

Methods: A User-Centered Design
Method. Elsevier Inc. Waltham.

Fakultas Ilmu Komputer, Universitas Brawijaya