Work Instruction – Manual Guide

Performance Testing using LoadComplete, Smartbear

1. Preparation
1.1. LoadComplete dan Instalasinya
1.2. Proxy Server dan Konfigurasinya
1.3. Smartphone dan Aplikasinya
2. Testing
2.1. Create Project
2.2. Setting Project
2.3. Recording/Scripting
2.3.1.Record traffic dari browser laptop
2.3.2.Record traffic dari smartphone
2.4. Simulating
3. Reporting
1. Preparation
1.1. LoadComplete dan Instalasinya
LoadComplete terbagi menjadi 2 versi: demo dan lisenced. Versi demo berbatas pada 50 vitual
users (VU) sementara versi lisenced dapat menjalankan virtual users sebanyak lisensi yang dibeli.
Berdasarkan Smartbear, 1 PC hanya dapat menghandle maksimal 2000 VU sehingga 10000 VU perlu
menggunakan setidaknya 5 PC melalui distributed testing.

Versi demo dapat diunduh dengan registrasi di link http://smartbear.com/product/

loadcomplete/free-tool/. Versi demo ini memiliki fitur berikut.
 Try ALL features available in the PRO version for free.
 Generate load using record and playback for up to 50 concurrent users.
 Run as many load tests as you want.
 Use real-time analytics to identify performance and/or configuration issues.
 Generate load the way you want: from on-premise computers, virtual machines, the cloud, and
even different geographical locations.
 Retain generated reports and dashboards for an unlimited time.
Sementara itu, harga untuk licensed version dapat dilihat pada link http://smartbear.com/
product/loadcomplete/pricing/.

Instalasi LoadComplete seperti software pada umumnya, menggunakan wizard dan di akhir
instalasi akan memasukkan nomor lisensinya. Berbeda dengan TestComplete, LoadComplete tidak
membutuhkan dependancy lainnya agar dapat beroperasi.

Note: LoadComplete dapat mengujikan traffic dari smartphone ataupun dari web browser pada
laptop/PC. Pengujian dari smartphone membutuhkan proxy server dan smartphone sementara
traffic dari web browser tidak butuh konfigurasi tambahan.

1.2. Proxy Server dan Konfigurasinya

Sebelum konfigurasi di sisi proxy server, perlu diketahui konfigurasi sistem pengujian secara
menyeluruh. Seperti gambar berikut, terdapat 2 jenis traffic: recording dan simulation. Saat
recording, traffic dari smartphone dirutekan ke proxy server agar dapat terekam.
 Proxy server digunakan untuk meruteulangkan traffic dari smartphone ke internet agar melalui
PC pengujian. Oleh karena itu, proxy server harus diinstall pada PC pengujian. Solusi untuk proxy
server ini salah satunya adalah Fiddler.

Pada software Fiddler, proxy server perlu diset agar meneruskan traffic yang melaluinya sehingga
perangkat yang terhubung tetap dapat mengakses internet. Oleh karena itu, PC pengujian (yang juga
sebagai proxy server) harus terhubung pada jaringan WiFi yang sama dengan smartphone.
Konfigurasi proxy sebagai berikut.
1. Klik Tools>Fiddler Options..

2. Selain itu, pada tab Connections set Fiddler listens on port:, misalnya 8888 (nomor port yang
tidak umum digunakan). Check Allow remote computers to connect. Klik OK.

1.3. Smartphone dan Aplikasinya

Untuk pengujian load, smartphone hanya digunakan saat perekaman traffic aplikasi ke server.
Setelahnya tidak digunakan. Aplikasi yang diujikan harus terinstall di smartphone.
Selain aplikasi, system smartphone perlu diset pengaturan koneksi WiFi sebagai berikut.
1. Catat alamat IP proxy server (laptop uji)
Proxy server menggunakan NIC yang sama dengan PC, sehingga IP addressnya sama dengan
PC.

2. Setting proxy pada konfigurasi WiFi smartphone.

Smartphone dengan operating sytem versi tertentu dapat diatur bagaimana WiFi terhubung
ke internet. Koneksi ke internet tersebut perlu dirutekan dulu melalui proxy server.

Setting proxy server yaitu IP address proxy server dan port proxynya.
2. Testing
2.1. Create Project
1. Open LoadComplete
Halaman awal LoadComplete seperti berikut.

2. Create Project
Project dapat dibuat dengan mudah menggunakan wizard. Klik Add a New Project.

Tentukan lokasi penyimpanan. Semua hal terkait dengan pengujian akan disimpan pada folder
tersebut. Klik Next.
LoadComplete dapat memonitor kondisi server. Agar fitur ini dapat digunakan, terdapat
konfigurasi yang perlu dilakukan pada server. Bagian ini tidak masalah jika tidak diisi.

Tentukan parameter QoS. Bagian ini tidak masalah jika tidak diisi. Klik Finish.
 2.2. Setting Project
Setting yang ada pada dasarnya sudah dapat digunakan untuk melakukan pengujian. Akan tetapi,
terdapat item setting yang umum diatur ulang. Setting project dapat dilakukan di bagian Options
berikut.

Contohnya seperti network time out dan pada bagian memory agar tiap instance user melakukan
pengujian selalu clear memory.

2.3. Recording/Scripting
Proses recording terbagi menjadi 2: record traffic dari browser laptop dan smartphone. Perlu
diperhatkan juga bahwa recording akan merekam seluruh traffic yang melewati dan yang berasal
dari laptop. Karena itu perlu dipastikan bahwa tidak ada aplikasi/software lain yang menggunakan
akses ke internet.
Proses recording ini akan menghasilkan 2 file: dalam folder Scenarios dan folder Tests. File pada
folder Scenarios berisi list traffic yang akan disimulasikan dan file pada folder Tests berisi profile load
pengujian. File pada folder Tests tidak spesifik terhadap traffic tertentu sehingga dapat dihapus
sesuai kebutuhan.
2.3.1. Record traffic dari browser laptop
1. Klik Record User Scenario

2. Set parameter yang ada. Launch web browser akan membuka browser (contohnya Firefox)
dan mengakses URL (contohnya www.hi-indonesia.com) secara otomatis. Pagination
berfungsi untuk membagi recording ke beberapa page. Pagination ini sangat berguna
dalam pelaporan pengujian yang disajikan LoadComplete karena setiap page yang dipisah
dapat diketahui hasil testnya masing-masing.
Klik Record.

3. Ini adalah panel yang mengindikasikan proses recording. Tester dapat melakukan Stop
ataupun membagi page (pagination) secara manual kapanpun. Stopping dilakukan secara
manual.
 4. Hasil recording sebagai berikut. Ctrl+S untuk save Scenario Home Page. Tester dapat secara
manual mendelete item-item traffic Home Page.

2.3.2. Record traffic dari smartphone

Proses recording melibatkan aplikasi, smartphone, proxy server, LoadComplete, server aplikasi
dan jaringannya sehingga perlu disiapkan seperti pada tahap preparation. Dalam dokumen ini,
perekaman trafik menggunakan item berikut.
 Aplikasi & server aplikasi: Hi Bali (skenario melihat detail POI Pantai Kuta)
 Smartphone: Android
 Proxy server: Fiddler (10.14.12.97:8888)
 Recorder: LoadComplete
 WiFi: IDeCNET
Recording ini adalah merekam traffic antara server aplikasi dan smartphone. Traffic yang
dapat direkam adalah traffic HTTP/HTTPS. Proses recording dimulai dari software LoadComplete.
Fungsi recording dijalankan dan selanjutnya aplikasi di smartphone digunakan sesuai dengan use
case atau fungsi yang diujikan. Setelah selesai, fungsi recording dimatikan.
1. Klik Record User Scenario

2. Input scenario name dan uncheck Launch web browser. Klik Record.
 3. Lakukan user action pada aplikasi yang dimaksud sampai selesai.

4. Jika sudah selesai, klik Stop.

5. Edit traffic scenario dengan delete traffic di luar skenario yang dimaksud agar hasil
pengujian menjadi lebih akurat. Ctrl+S untuk save.

2.4. Simulating
Proses simulating hanya melibatkan LoadComplete, server aplikasi, dan jaringannya.
1. Double klik item pada folder Tests berikut.
2. Proses simulasi dimulai dengan mengatur berbagai parameter uji seperti berikut.

 User Count mengatur seberapa banyak virtual user. Load user sebanyak 50 virtual user
bukan berarti dilakukan request setiap detiknya setiap detiknya. Akan tetapi terdapat 50
virtual user yang stand by bersamaan. Masing-masing akan mengirimkan request dan
menunggu request tersebut selesai direspond oleh server aplikasi. Saat selesai, tiap user
tersebut akan melakukan request kedua. Demikian seterusnya. Hal ini menyebabkan setiap
detiknya jumlah request yang dikirimkan dapat berbeda-beda, bergantung pada seberapa
cepat server merespond tiap request yang diberikan.
 Scenario mengatur scenario traffic mana yang akan disimulasikan. List skenarionya seperti
pada folder scenarios.
 Browser merekayasa simulasi seolah-olah traffic yang dikirimkan berasal dari browser
tertentu.
 Start Delay menunda request yang dikirimkan untuk tiap virtual user yang aktif.
 Connection Speed membatasi koneksi per virtual user saat mengakses server aplikasi. Ini
mensimulasikan berbagai kondisi jaringan sebagai sebuah bandwidth limiter.
Parameter lainnya sebagai berikut.
 Load Profile

Steady load mensimulasikan virtual user sejumlah User Count yang diminta sejak detik
pertama.

Stepwise mensimulasikan virtual user dari jumlah initial tertentu dengan penambahan
tertentu pada tiap waktu tertentu sampai dicapai virtual user sebanyak User Count yang
diminta.

Custom shape mensimulasikan jumlah virtual user seperti grafik yang dibuat. Double click
untuk edit shape dan edit dengan mouse seperti menggambar jalur.
  Continuous Load

Continuous Load jika dienable akan membatasi durasi simulasi selama waktu tertentu sesuai
Load Profile yang ditentukan.
 Think Time

Think Time seperti halnya delay, menunda request selanjutnya selama waktu tertentu atau
random.
 Quality of Service

Quality of Service menentukan simulasi yang sukses dan gagal. Jika simulasi tiap virtual user
melampaui angka yang ditentukan, maka simulasi dianggap failed. Max page load time
mendefinisikan lama sebuah scenario direspon sampai seluruh itemnya berhasil diload. Max
time to first byte mendefinisikan lamanya server memproses respon sampai mulai
mengirimkan byte respon pertamanya.

3. Klik icon berikut untuk menjalankan simulasi.

 Selama proses simulasi, LoadComplete akan menampilkan informasi realtime terkait
pengujian load dalam bentuk grafik maupun status pengujian.

4. Jika pengujian perlu dihentikan sebelum durasi pengujian selesai, dapat klik icon .

3. Reporting
Setelah melakukan simulasi traffic, LoadComplete akan memberikan laporan baik secara statistik
maupun secara detail dalam bentuk log. Informasi laporan ini dapat dieksport ke format lain (HTML
atau PDF) untuk dishare ke tim. Laporan dapat dilihat pada bagian Logs.
Laporan secara detail berisi informasi berikut.
 Summary
Summary berisi statistik dari seluruh pengujian.

 Pass/Fail
Pass/fail berisi informasi berapa jumlah scenario, page, dan resource yang gagal atau berhasil.
Informasi digambarkan dalam bentuk pie chart dan grafik.
 Response Time
Response time berisi grafik scenario completion time, page load time, time to first byte dan time
to last byte terhadap virtual user per detiknya.
 Infrastructure
Infrastructure menampilkan grafik terkait utilitas infrastruktur yaitu request transfer speed,
response transfer speed, dan server monitoring. Server monitoring hanya dapat ditampilkan jika
server aplikasi diset tertentu sehingga LoadComplete dapat mendapatkan informasi performa
server tersebut.
 Top 10
Top10 berisi informasi 10 pages paling lambat baik secara keseluruhan maupun yang sudah
dirata-ratakan beserta detail timeline per item traffic-nya. Selain itu juga menampilkan 10
responses paling lambat dari keseluruhan dan yang dirata-ratakan beserta detailnya.
 Custom Charts
Custom charts memungkinkan user membuat chart sesuai kebutuhan.
Sementara informasi secara detail terbagi menjadi beberapa bagian berikut.

 OK
Message dengan status OK berarti response yang dikirimkan server sesuai dengan yang sudah
direkam dan memenuhi quality of service dari sisi page load time dan time to first byte.
 Warning
Warning berarti response code yang diterima saat simulasi berbeda dengan code yang diterima
saat proses recording. Misalkan saat recording responsenya 200 OK tetapi saat simulasi 404 page
not found.
 Error
Error berarti response yang dikirimkan server tidak memenuhi quality of service yang ditentukan
(jika diset) atau response tidak sampai ke user sampai request time out.