Abstract— Tidak seperti Blackbox Testing yang biasanya kesalahan yang akan muncul di kemudian hari sehingga web
melakukan testing secara manual, dalam penelitian ini telah dinyatakan telah memnuhi semua kebutuhan sistem [8].
menggunakan automation testing tool yaitu Katalon. Katalon
bisa digunakan untuk pengujian dengan menggunakan test case. Tujuan penelitian ini adalah untuk mengukur kualitas
Test case ini dilakukan record and playback, yaitu dengan perangkata lunak berdasarkan metode Blackbox testing pada
merekam setiap respon dalam satu event pada aplikasi yang aplikasi The Point Of Sale (TPOS), Masalah yang diangkat
digunakan. Tujuan dari penelitian ini adalah adalah untuk dalam penyusunan karya ilmiah ini dibatasi pada pengukuran
menganalisis efektivitas aplikasi yang sudah dibangun, yang kualitas perangkat lunak berbasis web dengan menggunakan
kemudian apakah Automation testing tool Katalon lebih efektif metode Blackbox testing yang mengacu pada beberapa
jika dibandingkan dengan pengujian manual. Penelitian ini batasan aspek pengujian yaitu pengukuran perangkat lunak
menjelaskan mekanisme automatic waiting untuk memainkan berdasarkan aspek functional test, pengukuran perangkat
perintah tes. Dan hasil percobaan menunjukan bahwa waktu lunak berdasarkan aspek Frontend Performance test,
tunggu dapat ditentukan secara otomatis dan dinamis sehingga pengukuran perangkat lunak berdasarkan aspek Backend
penguji tidak harus menambahkan perintah tunggu secara Performance test,dan pengukuran perangkat lunak
manual sehingga mengurangi waktu dan kesalahan pembuatan. berdasarkan aspek User Interface test,
Keywords—Katalon Studio, Sofware testing, Software Fokus pembahasan karya ilmiah ini adalah katalon studio
Assurance, Blackbox testing, Web testing, Point Of Sale pengujian aplikasi web otomatis merupakan hal yang penting
topik penelitian dalam rekayasa perangkat lunak. Itu juga
I. PENDAHULUAN dianggap sebagai salah satu jenis pengujian GUI. Masalah
TPOS merupakan aplikasi website untuk mengelola utama yang harus diatasi adalah bagaimana caranya
penjualan produk pada tiap-tiap titik toko di bermacam daerah mengotomatiskan pembuatan test case.
di Indonesia. Secara teori POS (Point of sale) merupakan
tempat di mana pelanggan melakukan pembayaran untuk II. KAJIAN PUSTAKA
barang atau jasa, dan di mana pajak penjualan dapat A. Katalon Studio
dibayarkan. Hal itu bisa dilakukan di tempat toko fisik, di
mana terminal POS dan sistem digunakan untuk memproses Untuk kebutuhan proses pengujian dilakukan dengan
pembayaran kartu, atau titik penjualan virtual, seperti menggunakan tool yaitu Katalon Studio. Tool tersebut
komputer atau perangkat elektronik seluler [1]. TPOS merupakan aplikasi open source untuk melakukan pengujian
diharapkan dapat membantu transaksi penjualan dan secara otomatis yang telah dikembangkan oleh Katalon LLC
perhitungn stok barang. Para admin toko dapat melakukan yang dapat dijalankan di semua sistem operasi seperti
penjualan dan perhitungan stok barang melalui TPOS dari Windows, MAC os dan linux. Katalon Studio menggunakan
gawai mereka. Manfaat lain yang diharapkan adalah antarmuka IDE khusus untuk melakukan pengujian [2].
kemudahan admin untuk mengelola toko diberbagai titik Katalon Studio memiliki tiga fitur utama untuk menunjang
daerah di Indonesia melalui satu aplikasi mulai dari informasi beberapa pengujian dibeberapa platform seperti Web testing,
penjualan hingga stok produk. API testing, dan Mobile testing. Selain itu Katalon studio telah
terintegrasi dengan beberapa teknologi dari luar seperti
Beberapa makalah telah membahas pengembangan sistem github. Katalon Studio sendiri telah menyediakan UI grafis
web dan contohnya adalah Pembangunan Sistem Informasi yang beragam tampilan, menu, pohon tabel dan lain-lain untuk
Point Of Sales Terintegrasi Dalam Lingkup Rumah Makan mengelola test case objek dan file data. Walaupun masih
Beserta Cabangnya (Studi Kasus: RM. Pecel Pincuk Bu dalam tahap pengembangan Katalon Studio juga sudah
Tinuk) [2]. Makalah tersebut menjelaskan proses mendukung beberapa environment seperti browser dan sistem
pengembangan sistem POS untuk digitalisasi proses operasi komposisinya sangat ideal untuk penguji yang hanya
konvensional yang sudah ada. Pada sistem yang dibangun ingin melakukan drag-drop dan memiliki kemampuan
telah melalui pengujian fungsional Whitebox dan Blackbox pemrograman terbatas.
testing serta perngujian nonfungsional agar sistem dapat
dikatan sudah berjalan dengan baik tanpa harus terjadi
Meski masih dalam tahap pengembangan katalon juga bahwa program dibuat sama dengan kebutuhan dari
telah menunjang sebagian environtment seperti sistem operasi perushaan.
dan browser. Dalam pembuatan test case, katalon mempunyai
3 metode yaitu merekam aktivitas website, membuat manual Pengujian adalah elemen yang paling penting dalam
test case dan membentuk script, yaitu test case dibuat secara pengembangan perangkat lunak ini juga bisa menjadi aktivitas
manual oleh penguji kompleks untuk menyusun dengan benar, dan dengan cara
yang mendukung efisiensi maksimum yaitu dengan seven
B. Point Of Sale principal of software tester atau biasa disebut 7 prinsip
Sistem POS (Point of Sale) ialah suatu sistem untuk pengujian perangkat lunak, Berikut adalah penjelasan
menyinkronkan serta mengintegrasikan data pesanan, data mengenai tujuh prinsip pengujian:
reservasi, data kartu hadiah, data e-commerce, ataupun data Testing Shows Presence Of Defects atau pengujian
poin loyalitas yang terletak di fitur POS dengan fitur website menunjukan cacat dalam melakukan pengujian
orang dagang dan menyinkronkan informasi yang terletak di perangkat lunak proses yang dilakukan sebenarnya
basis informasi website ke perangkat POS terpaut. Sistem adalah untuk mencari cacat pada sebuah perangkat
POS digunakan untuk mengintegrasikan sistem merchant e- lunak yang dikembangkan, yang dimana tester harus
commerce dan sistem pemesanan reservasi, dan lainya yang membuat sebuah perangkat lunak itu menjadi gagal.
disediakan pada situs website. Sitem POS mencakup fitur Itu diperlukan supaya proses pengujian perangkat
POS, server website POS, susunan basis informasi POS, lunak bisa menemukan kegagalan program sebanyak
aplikasi situs website POS. banyaknya. Meskipun dalam beberapa proses
pengujian sangat mustahil untuk memastikan bahwa
Adapun karya ilmiah yang berjudul Web Based Point of sebuah perangkat lunak 100% bebas dari cacat/bug,
Sale System atau disingkat WPOS berbentuk sistem berbasis bahkan jika tidak ada cacat yang ditemukan itu
website yang membolehkan manajemen laporan toko secara bukan bukti kebenaran
jarak jauh, serta membolehkan pelanggan melakukan
penjadwalan ataupun penjadwalan ulang waktu pengiriman Early Testing atau pengujian dilakukan lebih awal
[3]. Server menyediakan seluruh informasi dan data penting pengujian yang dimulai sedini mungkin dalam
yang dibutuhkan melalui website browser pelanggan. dalam pengembangan perangkat lunak, sehingga cacat bisa
sistem ini, server antar toko bisa berkomunikasi satu sama lain ditemukan oleh tester diawal testing yang nantinya
dengan mainframe kantor pusat. WPOS bisa tester bisa merencanakan testing yang akan dibuat itu
diimplementasikan bagaikan rangkaian terintegrasi untuk seperti apa dan ketika menemukan sebuah cacat/bug
kerja sama antar posisi toko. nantinya tester bisa memberi saran kepada developer
Tes yang harus di eksekusi pada setiap build atau Windows 7,8, 10, macOS
rilis, jika aplikasi yang dimiliki memiliki banyak OS
10.11+, Linux (Ubuntu )
versi dan harus diuji setiap versinya
CPU Minimum 1 GHz 32-bit (x86) atau 64-bit (x64)
Tes yang harus dijalankan pada banyak Processor
kombinasi platform dan os version, seperti 1
skenario di eksekusi untuk platform yang Memori
Minimum: 1 GB RAM (32-bit) atau 4 GB RAM
berbeda beda seperti android, ios, web, api dan
(64-bit)
browser yang berbeda seperti chrome atau Recommend: 4 GB RAM (32-bit) or 8 GB RAM (64-bit)
Mozilla
Tes yang dieksekusi pada work flow yang sama Hard Drive Minimum 1 GB ruang tersedia. Dibutuhkan ruang
tapi menggunakan data yang berbeda beda, tambahan bergantung pada proyek dan laporan
seperti contoh semisal ada 1 flow yang selalu di eksekusi.
ulang ulang tapi inputan datanya berbeda beda
Tes yang membutuhkan penginputan data secara Spesifikasi browser yang mendukung katalon studio
masiv dan berulang, contohnya seperti pada saat diperlihatkan pada Tabel 2. Device yang digunakan pada
mengisi form terkadang banyak ada yang penelitian kali ini, hanya berfokus pada desktop
berulang juga
Tes yang digunakan pada performance testing,
biasanya akan dilakukan pada performance tes
Tabel 2. Spesifikasi Browser berikutnya dijalankan secara otomatis menggunakan fungsi
playback. Gambar 1. merupakan proses perekaman pada
sebuah halaman Web TPOS
Desktop Version on
Version on macOS
Browsers Windows
Internet 9, 10, 11
Explorer
Microsoft Current
Edge
Google 58+
Chrome Gambar 1. Proses perekaman event pada katalon
Komponen Spesifikasi
Sistem
Windows 10
Operasi
B. Proses pengujian Halaman yang diteliti kali ini adalah halaman untuk
menambahkan produk dan pesan produk karena pemesanan
Pada penelitian kali ini akan difokuskan kepada tool produk merupakan fungsi utama dari aplikasi TPOS berikut
Katalon studio dilakukan dua kali pengujian yaitu pengujian adalah beberapa scenario pengujian : seperti pada Tabel 4.
manual dengan menggukaan metode Blackbox testing dan
pengujian otomatis dengan menggunakan tool Katalon studio Tabel 4. Skenario pengujian TPOS
untuk melihat respon time dai aplikasi yang diuji, hasil test id Deskripsi Pengujian Hasil yang
case pengujian terbagi menjadi 2 yaitu manual menggunakan Diharapkan
Google Spreadsheet dan otomatis menggunakan test case Tc1 Halaman login mengisi Username Akses login berhasil,
yang dibuat dengan metode record & playback yang dengan sistem akan menutup
disediakan oleh katalon. Record/rekam merupakan suatu “yoga.kosasih172@gmail.com” form login dan
password diisi dengan “bestqa” menampilkan
proses perekaman segala event yang diterima dari seluruh kemudian klik tombol login atau Dashboard utama
aktivitas pengguna pada halaman web. Seluruh hasil login menggunakan nomer telpon TPOS
perekaman nanti akan menjadi sebuah test yang akan Tc2 Halaman Tambah produk pengguna Tambah produk
disimpan oleh katalon, dan nantinya akan dijadikan sebagai mengisi beberapa form seperti kode berhasil dan produk
test case. Test case tersebut dapat diganti/modifikasi untuk produk, nama produk, deskripsi yang telah
produk, kategori produk, bahan, ditambahkan telah
penyempurnaan proses pengujian, test case tersebut
ukuran, warna, link terkait, harga, masuk ke daftar registrasi, [Invoice] Change date format in Invoice pdf,
stock produk, dan foto produk Tambah pesanan [Invoice] Add Attachment file when send Email notification,
Tc3 Halaman Tambah Pesanan pengguna Produk yang dipilih
memilih produk lalu membayar oleh pengguna [Users] Bug di bagian login akun, [Users] Add new Menu on
produk tersebut nantinya akan Infografis, [Users] Bug nomer telpon di bagian edit
dibayarkan via toko, pelanggan, [Users] Bug nomer telpon di bagian pegawai toko,
Instagram, atau [Users] Add Payment Confirmation to Users, [Register] Add
whatsapp
Tc4 Halaman rinician produk pesanan pengguna akan
+62 when Register using numberphone, [Users] Bug provinsi
memilih produk dan di bagian buat toko, [Register] Make Register via
lalu melakukan Numberphone, [Users] Filter Data, [Users] Add new Menu
mengatur pemesanan on Pesanan Dibatalkan, [Users] Bug gambar pelanggan di
seperti Kurir, No Resi,
Tanggal Pengiriman,
bagian pelanggan, [Users] Add filter to Pegawai, [Users]
Alamat Kirim, Metode Update Invoice Header, [Users] Bug icon nomor
Pembayaran dan telpon,email, alamat di edit pegawai, [Users] Bug di foto
melakukan produk bagian daftar produk, [Users] Bug di tambah sub
pembayaran
Tc5 Halaman pembayaran pesanan yang telah
kategori + edit, [Users] New popups hapus toko di bagian
tersimpan tadi akan pengaturan, [Users] Bug pindah ke toko lain di bagian daftar
dibayar Transfer atau produk, [Users] Bug di bagian daftar pesanan ketika
Tunai melakukan pembayaran, [Users] Add new akses level aksi di
bagian pengaturan, [Users] Bug Kelola Kategori Produk,
Gambar 3. Adalah tampilan utama dari halaman [Users] Bug nama, nomer telpon, provinsi di bagian
Tambah produk aplikasi TPOS Gambar 4. Adalah tampilan pelanggan, [Users] Update on Subkategori, [User] Add new
utama dari halaman Tambah pesanan aplikasi TPOS. feature hapus foto profil di bagian edit profile pemilik,
[Users] Hide some settings on Pengaturan, [Users] Add +62
to input No. Telepon on input Pelanggan, [Users] Add Filter
to Pelanggan, [Users] Add new page Detail on Pegawai,
[Users] Add new field on Pegawai, [Users] Tambahkan
Halaman Detail Pelanggan di menu Pelanggan, [Users]
Change Color on Menu Cetak Pesanan, [Users] Bug on Edit
Pelanggan, [Users] Add entries filter on Pesanan Page,
[Admin] Manage Data, Ongkir Manual Can Choose Provinsi
& Kabupaten, [Users] Add new Metode Pembayaran on
Bayar Page, [Users] New Menu Infografis, [Users] Add new
register via email/no telpon, [Users] Share Produk to WA,
[Users] Bug on Pengaturan, [Users] New view after Timeout
Gambar 3. Tambah produk Access, [User] Add new notifikasi setelah pesanan di tambah
otomatis, [User] Add feature popups di bagian daftar produk,
[Users] New popups di bagian daftar toko, [User] Add new
feature edit foto profil di bagian edit pegawai + hapus foto
profil di bagian edit pegawai, [User] Add new feature hapus
foto profil di bagian edit pelanggan, [Users] Bug di tambah
pesanan di bagian stok daftar pesanan, [Fix] Remove
Columns where export in PDF Excel, [Sprint 3] Change
Color to Icon, [User] must number di bagian registrasi
menggunakan nomer telpon, [User] new poopups di bagian
registrasi menggunakan nomer telpon.
15:10:21.640 INFO
Starting'Chrome' driver
15:10:21.711 INFO Action delay is
set to 0 milliseconds
15:10:26.886 PASSED Browser is
opened with url: ''
T2 Sistem akan muncul Sesuai
alret berhasil login dan
setelah itu masuk ke 15:10:29.146 PASSED Text
halaman Dashboard 'yoga.kosasih172@gmail.com' is set
TPOS on object 'Object
Repository/Page_Login/input_Email Gambar 8. Manual Test case
atau No Telpon_email'
T3 Produk yang Sesuai
ditambahkan telah 15:10:52.600 PASSED Object: E. Pembahasan
berada di halaman 'Object Repository/Page_Tambah
Daftar produk Produk POS/input_Please fill in the Dari segi kompleksitas hampir semua memiliki
first name_submit' is clicked on kompleksitas yang seimbang semua memproses suatu proses
T4 Tambah pesanan Sesuai
memilih produk yang 15:10:54.861 PASSED Object: rata-rata 10 detik dengan total keseluruhan 41.206s. Dalam
akan dibayar melalui 'Object Repository/Page_Produk pengujian dengan menjalankan test case respon tiap test case
toko, Instagram, atau POS/a_Tambah Pesanan' is clicked berbeda-beda apabila dijalankan beberapa kali.
whatsapp on Katalon memiliki fitur record/merekam agar
T5 Pesanan yang telah Sesuai
tersimpan di Daftar 15:10:57.941 PASSED Object:
membantu penggunanya dalam membuat test case agar lebih
pesanan lalu memilih 'Object Repository/Page_Order mudah dan katalon sangat sensitif terhadap error pada test
produk dan mengatur POS/td_w-300920 153845' is case terkadang dalam merekam aktivitas untuk test case
pemesanan seperti Kurir, clicked on banyak event yang coba dilakukan oleh user yang tidak
No Resi, Tanggal
Pengiriman, Alamat
berjalan dalam test case atau banyak bagian-bagian yang
Kirim, Metode terekam oleh sendirinya. Maka test case tersebut perlu
Pembayaran dan diperbaiki secara manual agar test case berjalan dengan
melakukan pembayaran semestinya.
T6 Melakukan pembayaran Sesuai
Transfer atau Tunai
V. KESIMPULAN [8] Softwaretestinghelp.com. 2018. Black Box Testing: An
In-depth Tutorial with Examples and Techniques.
Proyek The Point OF Sale atau TPOS studi kasus PT. https://www.softwaretestinghelp.com /black-box-
JAVASIGN bisa dibilang belum selesai sepenuhnya testing/, diakses tanggal 25 Agustus 2018.
dikerjakan atau masih dalam proses pengembangan kurang
lebih on progres 70-80%. Berdasarkan eksperimen yang
dilakukan dapat diambil kesimpulan bahwa kesimpulan VII. LAMPIRAN
tergantung dari kebutuhan testing yang dilakukan jika
membutuhkan pengujian yang repetitif atau harus menguji Reviewer A
banyak platform data yang besar sebaiknya itu di buat 1. Belum ada penjelasan alasan perlunya pengujian
automation script dan jika sifatnya cuma 1 kali testing atau otomatisasi. Masalahnya apa? tujuannya apa?
dibutuhkan perasaan atau eksperience langsung biasanya cakupannya apa?
sifatnya emergency sebaiknya manual juga bisa 2. Kajian literatur tidak jelas rujukannya. Tidak ada
dipertimbangkan dan sangat disarankan menggunakan ram perbandingan atau ulasan dari penelitian terdahulu
8gb dikarenakan berdasarkan pengalaman pada mengunakan 3. Metodologi tidak jelas, hanya berisi uraian teori.
Kontekstualisasikan dengan tahapan yang akan anda
ram 4gb saat melakukan playback katalon akan stuck dan kerjakan
pengujian yang sedang berlangsung selalu menunjukan hasil 4. Hasil tidak diuraikan secara runut dan sistematis.
fail/gagal, setelah di upgrade ram menjadi 8gb sejauh ini Mengapa skenario pengujian hanya pada halaman
katalon tidak mengalami kendala sama sekali. web tersebut? apa itu sudah mewakili semua
halaman di TPOS? kalau tidak mengapa? mengapa
Katalon studio sendiri dibangun oleh perushaan sebagai hanya respon time saja. Apa tidak ada temuan
bundle terpadu yang mencakup hampir semua hal yang kesalahan aplikasi TPOS?
diperlukan seperti java, android SDK, web driver. Katalon 5. Kesimpulan kok membahas perbandingan dengan
juga menyediakan pembuatan test case dalam mode scripting, tools lainnya? kesimpulan belum menyinggung
template, kerangka kerja, terintegrasi fitur Jira,Git,Jenkins,dll tujuan , kesesuaian hasil dengan tujuan dan saran
membantu mempercepat waktu pebuatan test case. Pengguna 6. Tidak ada satupun kalimat paragraf yang merujuk
bagian referensi. Referensi yang digunakan sangat
hanya perlu fokus pada otomatisasi skrip pengujian. Skrip sedikit dan tidak cukup menjadi landasan penelitian.
yang direkam dalam satu browser dapat dibuat untuk berjalan Padahal kalau mau googling, banyak referensi
disalah satu browser yang didukung membuat pengujian tersedia.
lintas-browser cepat dan mudah. Laporan hasil pengujianya
intuitif secara grafis dan dapat diekspor ke format pdf dan Saran saya, cari dan baca jurnal: "Automation
CSV. Hasil percobaan menunjukan bahwa waktu dapat Testing Tool dalam Pengujian Aplikasi Belajar
ditentukan secara dinamis dan otomatis sehingga tester tidak Tajwid pada Platform Android"
perlu menambahkan secara manual. Mekanisme yang
diusulkan diimplementasikan sebagai bagian dari pengujian Reviewer B
web open source dan telah diadopsi lebih lanjut oleh katalon 7. Makalah kurang menjelaskan urgensi penelitian.
studio dan pada saat telah banyak tester di seluruh dunia Masalah yang diangkat apa? Mengapa
membutuhkan solusi tersebut? Mengapa harus
menggunakan mekanisme ini untuk pengujian aplikasi web. kakas tersebut yang diujikan?
8. Makalah ini sangat kurang menunjukkan/
menampilkan referensi. Sebagai contoh, pada kajian
VI. REFERENCES pustakam tidak ada satupun pekerjaan orang lain
yang dijadikan bahan rujukan.
9. Makalah tidak menampilkan gap analisis. Pada
[1] C. A. Sukandar, "Warta Ekonomi," 23 April 2019. makalah ini tidak ada tinjauan Pustaka yang sejalan
[Online]. Available: dengan penelitian yang akan dilakukan, sehingga
https://www.wartaekonomi.co.id/read224883/apa- urgensi dan posisi penelitian menjadi tidak jelas.
itupoint-of-sale.html. [Accessed 18 Desember 2019]. Tambahkan tinjauan Pustaka dari penelitian yang
[2] A. S. Sani, F. Pradana and D. S. Rusdianto, dilakukan oleh orang lain.
"Pembangunan Sistem Informasi Point Of Sales 10. Metode penelitian yang dilakukan adalah
Terintegrasi Dalam Lingkup Rumah Makan Beserta menggunakan metode waterfall, namun tahapan
Cabangnya (Studi Kasus: RM. Pecel Pincuk Bu Tinuk)," penelitian tidak menggambarkan tahapan penelitian.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Gunakan metodologi yang sesuai dengan tahapan
Komputer, vol. 2, pp. 3249-3257, 2018. pengujian.
[3] Katalon LLC, “Katalon Documentation”, 2018, 11. Pembahasan yang dilakukan sangat kurang.
[Online]. Tersedia : Pembahasan kurang menjelaskan maksud dan
https://docs.katalon.com/katalonstudio/docs/index.html tujuan penelitian. Pembahasan dapat dilakukan
[20 juni 2020]. dengan membandingkan, merubah beberapa
[4] M. Manno, "Web Based Point of Sale System". United skenario pengujian, serta menampilkan perbedaan
States Patent US 2004/0181454 A1, 16 September 2004. yang terjadi dari proses pengujian dalam beberapa
[5] Latif, A. (2015). Implementasi Kriptografi skenario.
Menggunakan Metode Advanced EncryptionStandar 12. Pada kesimpulan tiba-tiba muncul Selenium, di
(AES) Untuk Pengamanan Data Teks. Jurnal Ilmiah mana hal ini belum dibahas dalam bab manapun.
Mustek Anim, 4(2), 163-172. Perlu diselaraskan antara kesimpulan dengan tujuan
[6] Akiladevi, R., Vidhupriya, P., & Sudha, V. (2018). penelitian yang dilakukan.
Software Testing Tools. International Journal of Pure 13. Pada Referensi, terdapat 4 referensi namun tidak
and Applied Mathematics, 118(18), 1783-1800. dikutip pada bagian makalah.
[7] Wahyudi, R., Utami, E., & Arief, M. R. (2016). Sistem
Pakar E-Tourism Pada Dinas Pariwisata D.I.Y Secara keseluruhan artikel ini memiliki potensi,
Menggunakan Metode Forward Chaining. Jurnal Ilmiah namun penulisannya dirasa sangat kurang. Perlu
DASI, 17(2), 67-75.
perbaikan besar untuk memperbaiki makalah ini
agar sesuai dengan kaidah penulisan karya ilmiah.