Pertemuan 8

SISTEM SCADA
Kinerja dan keandalan dari sistem kontrol
(Bagian 2)

Disusun oleh :
Meyhart Torsna Bangkit Sitorus, S.T. M.Eng.
Kinerja dan keandalan dari sistem kontrol

• Reliability (Keandalan)
• Mean Time To Failure / Mean Time Between Failure (MTTF/MTBF)
• Perhitungan Sistem Availability
• Keandalan Perangkat Lunak
Reliability

• Kebutuhan akan pentingnya keamanan power system selama tahun-tahun

terakhir terlihat menjadi semakin penting dan menaik terutama karena
pengalaman dan sebagai konsekuensi berbagai blackout yang besar di
Eropa, USA dan juga Indonesia.
• Karenanya sangat penting untuk setiap orang dalam bidang teknik
ketenagalistrikan mempunyai pengetahuan konsep dasar mengenai
keandalan dan bagaimana keandalan dipengaruhi oleh berbagai faktor
dalam suatu sistem.
• Sebenarnya yang penting adalah keandalan total operasional dari seluruh
sistem kontrol, dengan kata lain, kemampuan sistem untuk
mempertahankan fungsinya walaupun komponen sistem (misalnya
komputer) sudah rusak.
 Reliability

• Keandalan suatu sistem dapat dianalisis baik secara kualitatif maupun

kuantitatif. Pada keadaan awal perancangan seseorang harus menjawab
pertanyaan seperti :
• Apakah fungsi-fungsi sistem yang dinilai?
• Apakah logical linkage antara subsistem-subsistem yang terlibat?
• Keandalan sampai saat ini hanya memperhitungkan kesalahan dari
hardware. Pengalaman yang ada menunjukkan bahwa kesalahan manusia
dan kesalahan perangkat lunak juga memegang peranan penting tentang
terjadinya ketidak andalan.
 Reliability

• Sebelum sampai pada suatu analisis keandalan pertama-tama diperlukan

beberapa pengertian dasar dan beberapa asumsi yang membutuhkan
beberapa model-model matematik :
• Keteradaan
• Kesalahan
• Fungsi Survival
• Nilai Kegagalan (Failure Rate)
 Reliability (Keteradaan)

• Konsep availability merupakan hal yang sangat penting untuk evaluasi

keandalan. Availability menunjukkan kemungkinan bahwa sistem tertentu
atau fungsi sistem akan bekerja dengan benar sesuai dengan beberapa
kriteria spesifikasi yang diberikan.
Keteradaan (Availability) (A%) = probabilitas suatu sistem (atau fungsi
sistem) akan berfungsi sesuai dengan
spesifikasi
• Untuk dapat membicarakan tentang keteradaan secara benar, terdapat
dua hal yang harus dibuat dengan jelas dan benar yakni:
• Sistem (atau fungsi sistem) apa yang akan dianalisis?
• Apa yang diartikan dengan berfungsi atau sebaliknya apa yang
dimaksudkan dengan tidak berfungsi?
 Reliability (Kesalahan)

• Ada beberapa alasan untuk mendefinisikan secara pasti apa yang

dimaksudkan dengan kesalahan (error). Satu alasan penting adalah bahwa
untuk dapat membandingkan real world error data berbagai sistem, harus
dengan menggunakan definisi yang sama dari error. Definisi kesalahan
(error) yang mungkin adalah:
Error = Penyimpangan dari hasil yang diberikan oleh spesifikasi
• Spesifikasi dapat berupa spesifikasi komponen atau spesifikasi sistem.
Apabila akan mengklasifikasi kesalahan (error) ada tiga kemungkinan dasar
pengklasifikasiannya sebagai berikut:
1. Konsekuensi
2. Tingkah laku
3. Sebab
 Reliability (Kesalahan)

• Seperti telah dijelaskan sebelumnya adalah suatu hal yang biasa jika hanya
diambil kesalahan perangkat keras (error hardware) sebagai pertimbangan
untuk menganalisis keandalan. Namun Penyelidikan terhadap penyebab
kegagalan sistem menunjukkan bahwa penyebab terjadinya error terdistribusi
sebagai berikut:
• Kesalahan perangkat keras (hardware error) 25%
• Kesalahan perangkat lunak (software error) 25%
• Kesalahan manusia (human error) 50%
• Dengan memperhatikan hal tersebut jelas bahwa software error maupun human
error memegang peranan penting dan harus diambil juga dalam perhitungan
analisis keandalan total operasional keseluruhan sistem. Untuk mendapatkan
kuantitas harga numerik seperti availability, membutuhkan model matematik
yang dapat digunakan untuk menjelaskan mekanisme keandalan.
 Reliability (Fungsi Survival)

• Fungsi Survival ditinjau dari suatu populasi komponen yang besar,

misalnya lampu pijar. Karena waktu hidup (lifetime) stokastik dari
komponen individu, sejumlah lampu pijar masih tetap berfungsi setelah
beberapa waktu berada pada jumlah stokastik. Suatu gambaran dari
sebagian komponen yang masih bekerja sebagai fungsi waktu dapat
ditunjukkan pada Gambar berikut.

R(t) = NOK / N0 = Fungsi Survival

NOK = Jumlah Komponen yang bekerja
N0 = Jumlah Komponen pada t = 0
 Reliability (Fungsi Survival)

• Fungsi ini, R(t), disebut sebagai fungsi survival yang menyatakan

probabilitas (sebagai fungsi waktu) suatu fungsi komponen pada waktu t.
Suatu nama alternatif untuk fungsi ini adalah probabilitas fungsional.
 Reliability (Nilai Kegagalan (Failure Rate))

• Suatu konsep yang jauh lebih berguna (dibandingkan fungsi survival)

adalah nilai kegagalan z(t) yang didefinisikan sebagai:
z(t) = R’(t) / R(t)
• Yang menyatakan bahwa suatu komponen yang telah aman sampai waktu
t akan mempunyai nilai kegagalan yang dapat ditampakkan dengan
kemungkinan bahwa komponen tersebut akan segera gagal setelah waktu
t. Nama alternatif untuk fungsi ini adalah nilai bahaya (hazard rate).
• Hubungan sederhana yang ada antara fungsi survival R(t) dan nilai
kegagalan adalah:
𝑡
• R(t) = exp (-‫׬‬0 𝑧 𝑥 𝑑𝑥)
 Reliability (Kurva Cerukan (Bathtub Curve))

• Pengalaman nyata dunia tentang keandalan sistem menunjukkan bahwa

nilai kegagalan komponen-komponen yang berbeda merupakan fungsi
waktu. Hasil penggambaran fungsi ini biasanya karena penampakannya
dapat dinyatakan sebagai kurva cerukan, seperti pada Gambar berikut
 Reliability (Kurva Cerukan (Bathtub Curve))

• Dari kurva cerukan tersebut terlihat tiga periode penting dalam

menganalisa dan mempertimbangkan periode waktu keandalan yaitu :
• Periode waktu gagal dini atau sering disebut periode resiko kematian
bayi
• Periode operasi berguna (useful life period)
• Periode masa pakai sudah lewat (wear out period).
• Periode gagal dini sering ditangani dengan melakukan periode "burn in"
yaitu dalam waktu tertentu sistem dilatih dengan mengalami uji coba
sebelum benar-benar digunakan.
• Sedang periode waktu “wear out” diharapkan tidak akan berlangsung
lama, terutama bila secara ekonomis waktu pakai efektifnya sudah usai
atau sudah lewat.
 Reliability (Kurva Cerukan (Bathtub Curve))

• Oleh karena itu dalam pertimbangan analisa keandalan sistem, umumnya

yang dipertimbangkan adalah periode waktu operasi berguna. Mengingat
nilai gagal yang konstan pada periode ini, dapat dianggap bahwa variabel-
variabel stokastik dari waktu gagal akan terdistribusi secara eksponensial.
Oleh karena itu fungsi survival suatu sistem pada prinsipnya dapat
dinyatakan dengan fungsi eksponensial berikut ini:
R(t) = exp (- λ𝑡)
• Dimana λ adalah suatu nilai kegagalan yang konstan yang dinyatakan
dalam jumlah kesalahan setiap jam (err/h).
 Reliability (MTTF / MTBF)

• MTTF adalah singkatan dari Mean Time To Failure. Secara sederhana sama
dengan lifetime yang diharapkan dari sistem atau komponen, tanpa
memperhitungkan waktu perbaikan.
• Bila pengaruh waktu perbaikan diperhitungkan biasanya ditulis MTBF
(Mean Time Between Failure). MTBF menjadi waktu fungsional yang
diharapkan sistem atau komponen antara dua waktu perbaikan.
• Baik MTBF maupun MTTF diukur dalam jam (h) dan dihitung dari fungsi
survival:
∞
MTTF = ‫׬‬0 𝑅 𝑡 𝑑𝑡)
 Reliability (MTTF / MTBF)

• Baik MTBF maupun MTTF diukur dalam jam (h) dan dihitung dari fungsi
survival:
∞
MTTF = ‫׬‬0 𝑅 𝑡 𝑑𝑡)
• Jika waktu kesalahan didistribusikan secara eksponensial (bagian tengah
dari kurva ceruk) MTTF dihitung sebagai:
∞ ∞ 1
MTTF = ‫׬‬0 𝑅 𝑡 𝑑𝑡)=‫׬‬0 exp (- λ𝑡)𝑑𝑡 =
λ
 Reliability (Pengaruh perbaikan)

• Pada kehidupan nyata sistem dan komponen sistem kebanyakan dapat

diperbaiki. Setelah suatu sistem gagal maka diperlukan waktu untuk
menemukan bagian sistem yang menyebabkan terjadinya error, mencari
orang yang cocok untuk melaksanakan perbaikan, mencari suku cadang
dan waktu untuk memperbaiki sistem yang gagal tersebut.
• Total waktu yang diperlukan dianggap sebagai waktu perbaikan. Waktu ini
sering dianggap sebagai variabel stokastik dengan beberapa harga rata-
rata. Harga rata-rata ini disebut Mean Time to Repair (MTTR) yang
didefinisikan sebagai:
MTTR = Jumlah waktu kerusakan sampai dengan sistem bekerja lagi
 Reliability (Pengaruh perbaikan)

• Perhatikan fungsi U(t) = 1 jika sistem berfungsi dan 0 jika sistem tidak
berfungsi digambarkan pada Gambar fungsi status sistem berikut
 Reliability (Pengaruh perbaikan)

• Fungsi ini menunjukkan apa yang terjadi pada sistem; sistem bekerja untuk
suatu periode tertentu T1, dan kemudian rusak dan berhenti untuk
perbaikan dalam waktu tertentu t1. Proses Ini diulangi. Jika n→∞ jelas
bahwa:
1
𝑡= σ𝑛𝑖=0 𝑡1 MTTR
𝑛
1
𝑇= σ𝑛𝑖=0 𝑇1 MTBF
𝑛
• Konsep availability (A) secara sederhana adalah harga rata-rata u(t) untuk
t→∞
1 𝑡
𝐴 = 𝑢(𝑡) න 𝑢 𝑥 𝑑𝑥
𝑡 0
 Reliability (Pengaruh perbaikan)

• Interpretasi lain dari availability adalah kemungkinan sistem berfungsi

pada waktu yang ditentukan. Dengan menggunakan besaran
MTBF (=MTTF) dan MTTR akan mudah menghitung availibility (A) dari
sistem yang besarnya dapat dihitung dari persamaan:

𝑀𝑇𝐵𝐹 1
𝐴= =
𝑀𝑇𝐵𝐹 + 𝑀𝑇𝑇𝑅 1 + 𝜆 𝑀𝑇𝑇𝑅
 Reliability (Ringkasan Asumsi-Asumsi Model)

• Sebelum diteruskan perlu diperjelas asumsi-asumsi apa yang sudah

disederhanakan. Berlakunya hasil-hasil yang dicapai jika asumsi
penyederhanaan juga berlaku.
• Hanya error hardware (yang mungkin menyebabkan 25% saja dari
semua error) yang dipertimbangkan.
• Hanya periode waktu ditengah kurva ceruk (berarti waktu yang
diharapkan untuk kesalahan didistribusikan secara eksponensial) yang
dipertimbangkan
• Diasumsikan bahwa sebab-sebab error yang berbeda dalam sistem
tidak saling terkait.
 Perhitungan Sistem Availability

• Konsep tunggal yang paling penting dalam analisis keandalan adalah

availability.
• Konsep ini digunakan secara luas untuk mengukur sejauh mana keandalan
suatu sistem dan biasanya didefinisikan dulu sebelum disepakati suatu
sistem untuk diserahterimakan, seperti dalam perancangan dan
pengiriman suatu sistem komputer.
• Sistem tertentu kadang-kadang dijual dengan garansi availability tertentu.
Karenanya penting untuk mendapatkan pengertian dasar dari bagaimana
availability suatu sistem didefinisikan dan dihitung.
 Perhitungan Sistem Availability

• Dua definisi dari availability telah diberikan yakni pertama adalah definisi
bukan matematik dan kedua lebih matematik.
• Definisi-definisi keduanya disebut sama; availability menyatakan
kemungkinan suatu sistem (atau komponen) akan bekerja. Tetapi ini
perlu untuk mendefinisikan apa arti bekerja.
• Diperlukan untuk mendefinisikan fungsi apa atau bagian fungsi mana
dalam sistem yang perlu dipertimbangkan agar sistem bekerja. Spesifikasi
berbagai fungsi harus cocok dan juga terdefinisi.
 Perhitungan Sistem Availability

• Suatu definisi bekerja (berfungsi) suatu pusat kontrol mungkin dapat termasuk:
• Bekerjanya operator console equipment
• Bekerjanya fungsi-fungsi SCADA komputer
• Waktu respons kurang dari 2 detik
• Bekerjanya remote control dan akuisisi data dari 95% gardu
• Tidak semua komponen kontrol sistem perlu diikutsertakan dalam
mendefinisikan kondisisi atau persyaratan yang diperlukan oleh suatu control
center untuk dapat bekerja. Umpanya AC cadangan, printer kecepatan tinggi,
perangkat lunak stastistik yang terdapat pada suatu kontrol sistem bukanlah hal
yang mutlak diperlukan dalam mendefinisikan persyaratan bekerjanya kontrol
sistem tersebut.
• Yang perlu diperhatikan adalah semua bagian dari kontrol sistem yang mutlak
diperlukan sebagai syarat bekerjanya kontrol sistem tersebut.
 Perhitungan Sistem Availability (Pengurangan Struktural)

• Suatu definisi bekerja (berfungsi) suatu pusat kontrol mungkin dapat termasuk:
• Bekerjanya operator console equipment
• Bekerjanya fungsi-fungsi SCADA komputer
• Waktu respons kurang dari 2 detik
• Bekerjanya remote control dan akuisisi data dari 95% gardu
• Tidak semua komponen kontrol sistem perlu diikutsertakan dalam
mendefinisikan kondisisi atau persyaratan yang diperlukan oleh suatu control
center untuk dapat bekerja. Umpanya AC cadangan, printer kecepatan tinggi,
perangkat lunak stastistik yang terdapat pada suatu kontrol sistem bukanlah hal
yang mutlak diperlukan dalam mendefinisikan persyaratan bekerjanya kontrol
sistem tersebut.
• Yang perlu diperhatikan adalah semua bagian dari kontrol sistem yang mutlak
diperlukan sebagai syarat bekerjanya kontrol sistem tersebut.
 Perhitungan Sistem Availability (Pengurangan Struktural)

• Semua cara-cara evaluasi keandalan sistem adalah untuk mendapatkan

apa yang disebut pengurangan struktural.
• Diawali dari mendefinisikan fungsi-fungsi tertentu apa dari sistem yang
diperlukan untuk kondisi bekerja.
• Berikutnya dijelaskan bagaimana komponen-komponen yang berbeda
dalam sistem secara struktural saling dihubungkan.
• Setelah itu dikurangi kerumitan sistem dengan menggunakan metoda step-
wise.
 Perhitungan Sistem Availability (Pengurangan Struktural)

• Sebagai contoh sederhana kita umpamakan suatu sistem komputer terdiri

dari sebuah unit peraga VDU, satu CPU dan dua disk untuk mass storage
seperti terlihat pada Gambar berikut
 Perhitungan Sistem Availability (Pengurangan Struktural)

• Umpamanya aplikasi sistem komputer digunakan sedemikian rupa

sehingga meskipun hanya dengan satu dari dua disk yang baik namun
sistem masih tetap dapat bekerja.
• Sebaliknya bila salah satu dari CPU atau VDU tidak berfungsi maka sistem
tersebut tidak akan dapat bekerja. Dengan demikian dapat kita definisikan
suatu kondisi yang harus dipenuhi agar sistem tersebut dapat bekerja
sebagai berikut ini:
• Paling kurang satu disk harus dalam keadaan baik.
• CPU dalam keadaan baik.
• VDU dalam keadaan baik.
 Perhitungan Sistem Availability (Pengurangan Struktural)

• Diasumsikan bahwa availability masing-masing komponen-komponen

tersebut (disk, CPU, VDU) diketahui dengan harga availability-nya
dinyatakan masing-masing sebagai berikut: ADisk ACPU AVDU sebenarnya
• Selanjutnya dapat dibuat hubungan yang jelas antar struktur antara
komponen-komponen yang berbeda dengan menggunakan Gambar
berikut
 Perhitungan Sistem Availability (Struktur Paralel)

• Bagian disk dari sistem komputer di atas adalah jenis struktur paralel. Ada
dua disk dalam sistem tetapi hanya satu dari mereka membutuhkan
fungsi. Struktur paralel dapat dikurangi:

Ap = 1 – (1 – A1)(1-A2)
Ap = 1-(1-A)2 (Jika A1 = A2 = A)
 Perhitungan Sistem Availability (Struktur Paralel)

• Hasil-hasil ini selanjutnya dapat digeneralisasi dalam kasus berikut.

• Sistem 'm out of n” (n komponen dengan A1 = A2 = ... = An dan m
komponen yang diperlukan untuk fungsi:
𝑛

𝐴𝑝 = ෍ ( 𝑛𝑖) 𝐴𝑖 (1 − 𝐴)𝑛−1
𝑖=𝑚
• Kasus Khusus jika m = 1
𝐴𝑝 = 𝑛𝐴𝑛−1 − (𝑛 − 1)𝐴𝑚
 Perhitungan Sistem Availability (Struktur Seri)

• Bagian CPU dan VDU dari sistem komputer mempunyai jenis struktur seri.
Semua komponen-komponen (CPU dan VDU) diperlukan untuk sistem agar
berfungsi. Jenis struktur dapat juga dikurangi:
 Perhitungan Sistem Availability (Struktur Seri)

• Mengurangi struktur seri lebih mudah digeneralisasi: Jika rantai seri terdiri
dari komponenkomponen 1, 2, ... n yang mempunyai availability
A1 = A2 = ... = A , maka:
As = A1A2....An = ς𝑛𝑖=1 𝐴𝑖
 Perhitungan Sistem Availability

• Maka jika digambarkan rangkuman dari struktur yang baru dari Availibility
Sistem adalah sebagai berikut
 Perhitungan Sistem Availability

• Pertama, availability dari dua pengurangan tengah dihitung.

A1 = ACPU AVDU
A2 = 1-(1-ADISK)2
• Kemudian Availibility sistem dihitung sebagai,
Asistem = A1 A2 = (ACPU AVDU) (1-(1-ADISK)2)
 Perhitungan Sistem Availability

• Andaikata data-data keandalan berikut diperoleh melalui hasil-hasil

pengujian atau dari hasil spesifikasi teknis, maka:
AVDU = 99,5%
MTBFCPU = 3000 h, MTTRCPU = 20h
MTTRDISK = 10h 𝜆Disk = 10-3 h-1
• Maka untuk menghitung availability CPU maupun disk yang belum
diketahui, dapat dihitung dengan menggunakan data yang tersedia.
𝑀𝑇𝐵𝐹𝐶𝑃𝑈 3000
𝐴𝐶𝑃𝑈 = = = 99,3%
𝑀𝑇𝐵𝐹𝐶𝑃𝑈 + 𝑀𝑇𝑇𝑅𝐶𝑃𝑈 3000 + 20
1 1
𝐴𝐷𝐼𝑆𝐾 = = −3
= 99%
1 + 𝜆𝐷𝐼𝑆𝐾 𝑀𝑇𝑇𝑅𝐷𝐼𝑆𝐾 1 + 10 10
 Perhitungan Sistem Availability

• Dengan menggunakan persamaan Availibility Sistem akan diperoleh

Asistem = 0,995 x 0,993 x (1-(1-0,99)2) = 98,8%
• Atau dengan kata lain, setelah periode 1 tahun sistem akan bekerja rata-
rata sebesar:
365 x 24 x 0,988 = 8760 x 0.988 = 8654,9 jam/tahun
• Sebaliknya sistem akan ”down” rata-rata sebesar
8760 – 8655 = 15 jam/tahun.
 Keandalan Perangkat Lunak

• Gambaran terhadap apa yang telah dijelaskan mengenai sebab kegagalan

suatu sistem sudah cukup jelas memperlihatkan bahwa dibutuhkan juga
pertimbangan perangkat lunak untuk menganalisis keandalan sistem.
• Keandalan perangkat lunak sudah banyak diperhatikan dalam beberapa
tahun terakhir dimana model-model untuk pengukuran dan pengelolaan
keandalan perangkat lunak sudah diusulkan.
• Pada bagian ini pertama-tama akan dibicarakan penyebab ketidak andalan
perangkat lunak dan setelah itu akan didiskusikan suatu model yang
diusulkan untuk menganalisis keandalan suatu perangkat lunak. Akhirnya
beberapa penjelasan bagaimana memperbaiki keandalan perangkat lunak
diberikan.
 Keandalan Perangkat Lunak (Jenis Error Perangkut Lunak)

• Ada banyak kesamaan antara konsep keandalan perangkat keras dan

perangkat lunak, tetapi perbedaan utama terletak pada mekanisme
penyebab suatu kegagalan; sementara error perangkat keras selalu
dihasilkan dari sebab-sebab fisik dan dari luar, error perangkat lunak
kebanyakan disebabkan oleh kesalahan pada waktu perancangan sistem.
• Perbedaan lain adalah bahwa kesalahan perangkat lunak yang telah
diperbaiki tak akan dapat terulang lagi.
• Error perangkat lunak dapat dibedakan dalam dua kelas:
• Error perancangan atau fungsional
• Error pemrograman
 Keandalan Perangkat Lunak (Jenis Error Perangkut Lunak)

• Perangkat-perangkat untuk membantu programer sudah banyak

dikembangkan untuk menemukan error pada perangkat lunak yang ditulis.
• Seringkali akibat-akibat kegagalan perangkat lunak pada saat program
diekspos pada suatu lingkungan belum diuji seperti misalnya bagian-
bagian yang seharusnya tidak dijalankan ternyata dijalankan.
• Perangkat pemrogram lain untuk mencari error dapat mengidentifikasi
kejadian-kejadian tersebut sehingga dapat membantu programer untuk
melaksanakan track record terhadap semua bagian-bagian dari program
yang belum lulus dalam suatu pengetesan.
 Keandalan Perangkat Lunak (Model Untuk Error
Perangkat Lunak)

• Salah satu model execution time yang diusulkan oleh Musa tahun 1975 sangat
sederhana dan serupa dengan jenis-jenis model keandalan yang sudah dibahas
pada uraian-uraian sebelumnya.
• Ide dasar yang ada dibalik model tersebut adalah bahwa MTTF (diukur dalam
execution time) bagian terpenting (great fiece) dari suatu perangkat lunak
berkorespondensi dengan kesalahan yang masih terdapat dalam sistem
perangkat lunak tersebut.
• Dengan model matematik yang sederhana dapat dilihat bahwa MTTF akan
membaik (naik) bila kita menemukan kesalahan dan memperbaikinya. Akan
terlihat bahwa kesalahan-kesalahan yang masih ada akan berhubungan dengan
MTTF dan beberapa variabel lainnya secara eksponential. Dengan menggunakan
model tersebut kita akan dapat mengestimasi jumlah kesalahan-kesalahan yang
masih ada dalam perangkat lunak dan berapa waktu eksekusi tambahan yang
dibutuhkan untuk mengatasi kesalahan-kesalahan tersebut.
 Keandalan Perangkat Lunak (Model Untuk Error
Perangkat Lunak)

• Cara-cara untuk menghindari kesaluhun pada perangkat lunak

• Beberapa cara yang digunakan untuk menghindari kesalahan pada perangkat
lunak dapat disebut anlara lain sebagai berikut;
• Sistem harus benar-benar diperiksa terlebih dahulu sebelum
mencobakannya.
• Sistem harus dibuat secara modular dengan degree yang tinggi hingga
semua level sistem.
• Menggunakan bahasa tingkat tinggi yang mudah dirancang dan diuji
tentang sistem mengenai keandalannya.
• Semua perangkat lunak tersebut harus terdokumentasikan dengan baik dan
sistematis.
• Perangkat lunak harus dicoba secara sistematis.
• Telah tersedia beberapa perangkat yang dapat membantu untuk melakukan
hal-hal diatas.