KOMPETENSI RPL
Judul Skripsi
Kompetensi
Nama
NIM
: 1008605056
Disetujui oleh :
Reviewer I
Reviewer II
NIP. 198503152010121007
NIP. 198012062006041003
Mengetahui,
Komisi Seminar dan Tugas Akhir
Jurusan Ilmu Komputer FMIPA UNUD
Ketua,
ii
KATA PENGANTAR
Proposal penelitian dengan judul Perancangan Dan Implementasi Sistem
Untuk Memprediksi Masa Studi Mahasiswa Menggunakan Algoritma Decision
Tree C4.5 ini disusun dalam rangkaian kegiatan pelaksanaan Tugas Akhir di
Jurusan Ilmu Komputer FMIPA UNUD. Sehubung dengan telah terselesaikannya
proposal ini, maka diucapkan terima kasih dan penghargaan kepada berbagai
pihak yang telah membantu pengusul, antara lain:
1.
2.
Bapak I Gede Santi Astawa, S.T., M.Cs sebagai reviewer 2 yang telah
bersedia mengkritisi, membantu dan memeriksa serta menyempurnakan
proposal ini.
3.
4.
Komisi Tugas Akhir Jurusan Ilmu Komputer FMIPA UNUD, yang telah
memberikan petunjuk dalam penyusunan proposal tugas akhir ini.
5.
6.
Keluarga dan kerabat serta semua pihak yang turut serta memberi
dukungan sehingga laporan ini dapat diselesaikan sesuai dengan waktu
yang ditentukan.
Penulis menyadari bahwa tugas akhir ini masih belum sempurna, untuk itu
kritik dan saran yang bermanfaat demi kesempurnaan tugas akhir ini sangat
penulis harapkan.
Denpasar,April 2014
Penulis
iii
DAFTAR ISI
2.
3.
4.
Batasan Masalah........................................................................................... 3
5.
6.
7.
6.1
6.2
Klasifikasi ............................................................................................. 4
6.3
6.4
6.5
6.6
6.7
6.8
Waterfall ............................................................................................... 7
6.9
Entropy.................................................................................................. 9
6.10
6.11
6.12
7.2.
7.3.
7.3.1
7.4.
7.4.1.
iv
7.4.2.
7.4.3.
7.5.
8.
DAFTAR GAMBAR
vi
DAFTAR TABEL
vii
1.
Latar Belakang
Kemampuan mahasiswa untuk menyelesaikan masa studi tepat waktu
merupakan salah satu faktor yang menentukan kualitas perguruan tinggi dan juga
merupakan salah satu elemen penilaian akreditasi universitas (Buku VI Matriks
Penilaian Instrumen Akreditasi Program Studi Badan Akreditasi Nasional
Perguruan Tinggi, 2008). Data dari Pusat Statistik Pendidikan Badan Penelitian
dan Pengembangan Departemen Pendidikan Nasional Republik Indonesia pada
tahun akademik 2001/2002 sampai dengan 2009/2010 menunjukkan bahwa
perguruan tinggi menerima rata-rata sebanyak 868.050 mahasiswa baru dan
meluluskan rata-rata 451.168 mahasiswa setiap tahunnya yaitu hanya mencapai
51,97% dari jumlah mahasiswa baru setiap tahun, artinya terdapat 48,03%
mahasiswa yang tidak diketahui status studinya dari jumlah mahasiswa baru setiap
tahunnya. Ketika masuk ke dalam perguruan tinggi seorang mahasiswa memiliki
masa studi program sarjana sekurang-kurangnya 144 SKS dan sebanyakbanyaknya 160 SKS yang dijadwalkan untuk 8 Semester dan dapat ditempuh
dalam waktu kurang dari 8 semester dan selama-lamanya 14 semester setelah
pendidikan menengah (Direktorat Jenderal Pendidikan Tinggi, 2000). Mahasiswa
yang menempuh pendidikan sarjana yang lebih dari 8 semester atau hingga 14
semester sudah tergolong mahasiswa yang menempuh masa studi yang lama.
Untuk menghindari bertambahnya jumlah mahasiswa yang menempuh
masa studi yang lama, maka diperlukannya suatu sistem untuk memprediksi masa
studi dari mahasiswa dari semester yang masih awal. Sistem ini juga berguna
untuk memberi motivasi dan refleksi bagi mahasiswa untuk dapat mencapai masa
lulus yang lebih baik. Dalam perkembangannya terdapat banyak model prediksi
yang tersedia dengan berbagai pendekatan untuk memprediksi kinerja mahasiswa,
tetapi tidak ada kepastian apakah ada model prediksi yang akurat untuk
menentukan masa studi dari mahasiswa. Klasifikasi juga dapat digunakan sebagi
model untuk memprediksi jika hasil dari model digunakan dalam dataset yang
baru (Tan, Steinbach, & Kumar, 2006). Terdapat berbagai jenis algoritma untuk
melakukan klasifikasi seperti contoh di atas dan juga untuk mengklasifikasikan
masa studi mahasiswa. Beberapa jenis algoritma tersebut seperti Decision Tree,
Nave Bayes, dan Neural Network. Menurut penelitian yang dilakukan oleh Abeer
Badr El Din Ahmed tentang Using Data Mining Technique to Analyze Student's
Performance algoritma C4.5 memberikan akurasi yang lebih baik daripada ID3
dan REPTree, serta algoritma C4.5 memberikan hasil yang lebih cepat dan
decision tree yang lebih baik daripada ID3 dan REPTree (Ahmed & Elaraby).
Menurut penelitian yang dilakukan oleh Khafiizh Hastuti tentang
Analisis
2.
Rumusan Masalah
Adapun permasalahan yang akan dibahas dalam proposal ini adalah
sebagai berikut :
1. Bagaimana merancang dan membangun sistem untuk memprediksi
masa studi seorang mahasiswa ?
2. Apakah algoritma Decision Tree C4.5 dapat membantu memprediksi
masa studi seorang mahasiswa ?
3.
Tujuan Penelitian
Adapun tujuan penelitian yang dibahas dalam proposal ini adalah sebagai
berikut :
1. Membuat rancang bangun sistem untuk memprediksi masa studi
seorang mahasiswa dengan algoritma Decision Tree C4.5
2. Mengetahui akurasi algoritma Decision Tree C4.5 untuk memprediksi
masa studi seorang mahasiswa.
4.
Batasan Masalah
Adapun batasan masalah yang dibahas dalam proposal ini adalah sebagai
berikut :
1. Pengolahan basis data menggunakan SQLyog.
2. Data nilai yang digunakan yaitu dari semester 1 hingga semeter 4
5.
Manfaat Penelitian
Adapun manfaat yang nantinya diharapkan dari penelitian ini adalah
sebagai berikut :
a. Bagi penulis
Hasil penelitian ini diharapkan dapat menambah wawasan dan
menjawab keingintahuan penulis terhadap masalah yang penulis teliti
sehingga penulis dapat lebih memahami penerapannya.
b. Bagi pihak lain
Hasil penelitian diharapkan dapat digunakan sebagai salah satu cara
alternatif untuk memprediksi masa studi seorang mahasiswa
6.
Tinjauan Pustaka
6.1
Data Mining
Data mining adalah proses pencarian atau penemuan secara otomatis dari
informasi yang berguna pada penyimpanan data yang besar (Tan, Steinbach, &
Kumar, 2006). Data mining juga melayani atau memiliki kemampuan
memprediksi hasil dari sebuah pengamatan. Secara garis besar tugas data mining
ada dua kategori, yaitu :
1.
Memprediksikan
Pada bagian ini, tugasnya adalah memprediksi nilai hasil dari
atribut-atribut pada fakta yang ada berdasarkan nilai-nilai dari atribut yang
lain. Atribut yang diprediksi biasanya berupa target atau tujuan atau
variabel ketergantungan, sementara yang digunakan untuk memprediksi
adalah penjelasan-penjelasan atau variabel bebas.
2.
Mendeskripsikan
Tujuan
tugas
ini
untuk
mendapatkan
pola
(korelasi,
6.2
Klasifikasi
Klasifikasi adalah sebuah metode yang digunakan untuk mempelajari
suatu fungsi target f yang di mana fungsi tersebut berguna untuk memetakan suatu
atribut x ke sebuah class label y yang belum didefinisikan (Tan, Steinbach, &
Kumar, 2006). Fungsi target tersebut biasanya disebut sebagai classification
model. Classification model tersebut sangat berguna untuk hal berikut ini, yaitu :
a.
b.
Teknik
classification
sangatlah
cocok
untuk
memprediksi
atau
6.3
Tree
adalah
pendekatan
sistematis
untuk
membangun
classification model dari data set yang ada (Tan, Steinbach, & Kumar, 2006).
Decision Tree yang memiliki struktur seperti hirarki pada biasanya, yaitu
memiliki node (daun) dan edge (garis penghubung antar daun). Dalam Decision
Tree, terdapat tiga bentuk node, yaitu :
a.
Root node, yaitu node yang tidak memiliki edge yang menuju ke
dirinya sendiri dan bisa juga tidak memiliki edge yang menuju node
yang lainnya, namun bisa juga memiliki edge yang lebih dari satu
yang menuju node yang lainnya.
b.
Internal nodes, yaitu node yang hanya memiliki satu buah edge yang
menuju ke dirinya sendiri dan memiliki dua buah edge atau lebih yang
menuju node yang lainnya.
c.
Leaf atau terminal node, yaitu node yang memiliki satu buah edge
yang menuju ke dirinya sendiri namun tidak memiliki edge yang
menuju ke node yang lainnya.
Dalam Decision Tree, setiap daun atau node merepresentasikan class label.
Root dan internal node adalah atribut kondisi yang merepresentasikan jawaban
dari pertanyaan yang diberikan.
6.4
Algoritma C4.5
Banyak algotima yang dapat dipakai dalam pembentukan pohon keputusan
antara lain ID3, CART dan C4 (Larose, 2005). Algoritma C4.5 merupakan
pengembangan dari algoritma ID3. Algoritma C4.5 secara rekursif mengunjungi
masing-masing node keputusan, memilih split yang optimal, sampai tidak ada
split yang mungkin lebih lanjut. Kelebihan algoritma C4.5 yaitu menghasilkan
bentuk pohon yang bervariasi, tidak hanya berbentuk biner saja.
Secara umum algoritma C4.5 untuk membangun pohon keputusan adalah
sebagai berikut :
Untuk memilih atribut sebagai akar, didasarkan pada nilai GAIN tertinggi
dari atribut-atribut yang ada.
6.5
Deteksi Outlier
Sebuah sumber data atau dataset pada umumnya mempunyai nilai-nilai
pada setiap obyek yang tidak terlalu berbeda jauh dengan obyek lain (Handriyadi,
Bijaksana, & Setiawan, 2009). Akan tetapi terkadang pada data tersebut juga
ditemukan obyek-obyek yang mempunyai nilai atau sifat atau karakteristik yang
berbeda dibandingkan dengan obyek pada umumnya.
Deteksi oulier adalah suatu teknik untuk mencari obyek dimana obyek
tersebut mempunyai perilaku yang berbeda dibandingkan obyek-obyek pada
umumnya. Teknik data mining dapat digunakan untuk mendeteksi adanya suatu
outlier pada sebuah dataset. Teknik data mining yang diganakan adalah
Clustering-based, Distance-based dan Density-based.
6.6
obyek adalah outlier atau bukan, akan tetapi lebih kepada pemberian nilai kepada
obyek sebagai derajat kekuatan obyek tersebut dapat dikategorikan sebagai outlier
6
(Handriyadi, Bijaksana, & Setiawan, 2009). Ukuran derajat kekuatan ini adalah
local outlier factor (LOF). Pendekatan untuk pencarian outlier ini hanya
membutuhkan satu parameter yaitu MinPts, dimana MinPts adalah jumlah
tetangga terdekat yang digunakan untuk mendefinisikan local neighborhood suatu
obyek. MinPts diasumsikan sebagai jangkauan dari nilai MinPtsLB dan
MinPtsUB. Nilai MinPtsLB dan MinPtsUB disarankan bernilai 10 dan 20.
Akhirnya semua obyek dalam dataset dihitung nilai LOFnya. Secara sederhana
algoritma LOF dapat dideskripsikan sebagai berikut:
6.7
1.
2.
3.
4.
Development
(JAD),
Information
Engineering
(IE),
Rapid
6.8
Waterfall
Model siklus hidup (life cycle model) adalah model utama dan dasar dari
banyak model. Salah satu model yang cukup dikenal dalam dunia rekayasa
perangkat lunak adalah The Waterfall Model (Sommerville, 2011). Ada 5 tahapan
utama dalam The Waterfall Model seperti terlihat pada gambar di bawah :
b.
c.
d.
6.9
Entropy
Sebuah pohon keputusan dibangun dari atas hingga bawah yaitu dari
simpul akar dan melibatkan partisi data menjadi himpunan bagian yang
mengandung kasus dengan nilai yang sama (homogen). Algoritma C4.5
menggunakan entropi untuk menghitung homogenitas sampel. Jika semua sampel
benar-benar homogen atau berasal dari satu class maka nilai entropi adalah nol
dan jika sampel terdistribusi sama rata antar semua class yang ada maka memiliki
nilai entropi satu (Tan, Steinbach, & Kumar, 2006).
6.10
Information GAIN
Information GAIN didasarkan pada penurunan entropi setelah dataset
dibagi pada atribut. Proses dalam membangun pohon keputusan yaitu menemukan
atribut yang mengembalikan information gain tertinggi (yaitu, cabang-cabang
yang paling homogen) (Tan, Steinbach, & Kumar, 2006).
6.11
Confusion Matrix
Confusion Matix menampilkan jumlah prediksi yang benar dan tidak benar
yang dibuat oleh model dibandingkan dengan klasifikasi yang sebenarnya dalam
data uji. Confusion Matrix memiliki dimensi sebesar n x n, di mana n adalah
jumlah kelas. Baris dalam Confusion Matrix menyajikan jumlah aktual dalam
klasifikasi data uji. Kolom dalam Confusion Matrix menyajikan jumlah klasifikasi
diprediksi dibuat oleh model (Tan, Steinbach, & Kumar, 2006).
6.12
Tinjauan Studi
Terdapat beberapa penelitian sebelumnya yang menggunakan algoritma
C4.5. Pada bagian ini peneliti akan membahas perbedaan penelitian ini dengan
tiga penelitian sebelumnya yang menggunakan algoritma C4.5.
1.
bagaimana kinerja akademik mahasiswa yang baru terdaftar pada waktu yang
mendatang. Sehingga sistem ini nantinya mampu mengidentifikasi mahasiswa
mana yang menjanjikan dan juga memberikan mereka kesempatan untuk
memperhatikan dan meningkatkan mahasiswa-mahasiswa yang mungkin akan
mendapatkan nilai yang lebih rendah. Atribut atau variabel yang digunakan pada
penelitian ini yaitu jenis kelamin, hasil nilai ujian dari 10 dan kelas 12, nilai dan
peringkat dari ujian masuk universitas, serta nilai dari tahun pertama mahasiswa
tersebut masuk universitas. Pada penelitian ini algoritma klasifikasi yang
digunakan yaitu ID3 dan C4.5 dan didapat dari hasil bahwa algoritma C4.5
memiliki waktu eksekusi algoritma yang lebih cepat dibandingkan dengan
algoritma ID3.
2.
kinerja dari mahasiswa yang dibagi menjadi 5 class yang berbeda, yaitu apakah
mahasiswa tersebut memeliki kinerja Excellent, Very good, Good, Acceptable dan
Fail. Pada penelitian ini juga melakukan perbandingan 3 buah algoritma
klasifikasi yaitu ID3, C4.5 dan REPTree. Dari hasil penelitian didapat hasil
bahwa algoritma C4.5 memiliki akurasi dan kecepatan dalam membuat decision
tree yang lebih baik daripada kedua algoritma lainnya, serta algoritma C4.5
memiliki tingkat error yang lebih kecil dibandingkan dengan kedua algoritma
lainnya.
3.
10
Tujuan
Penelitian
sekarang
Algorima
Output
< 4 tahun, = 4
studi
mahasiswa
dengan
tahun
Memprediksi
Adhatrao,
bagaimana
Gaykar, Dhawan,
akademik
mahasiswa
2013)
yang
yang
mendatang
Penelitian
oleh Memprediksi
Algoritma
ID3, Excellent,
Very
mahasiswa
dan
Good,
perbandingan
tiga
Acceptable
buah metode
good,
11
kecepatan, dan
error rate dari
masingmasing
algoritma
Penelitian
Hastuti
oleh Membandingkan
Logistic
Akurasi
Decision
dari
masingTree masing
memprediksi
dan
Neural serta
class
aktif
non aktif
7.
Metodologi Penelitian
7.1.
Desain Penelitian
Pada penelitian ini desain penelitian yang digunakan adalah desain
penelitian studi kasus karena studi kasus merupakan penelitian yang memusatkan
perhatian pada suatu kasus tertentu dengan menggunakan individu atau kelompok
sebagai bahan studinya (Hasibuan, 2007). Selain itu, penelitian ini berfokus untuk
mengumpulkan data-data terhadap objek yang diteliti untuk menjawab
permasalahan yang sedang terjadi dan juga untuk menguji teori terhadap suatu
permasalahan, sehingga bisa dikategorikan sebagai penelitian bertipe studi kasus.
Permasalahan
yang
nantinya
ingin
diselesaikan
yaitu
apakah
dengan
12
7.2.
Pengumpulan Data
Sesuai dengan jenis penelitian yang digunakan yaitu studi kasus, maka
data yang nantinya digunakan sebagai penelitian adalah data primer (Hasibuan,
2007). Namun pada penelitian ini diperlukan data primer ketika terdapat
kekurangan pada variabel atau atribut yang terdapat pada data sekunder yang telah
dikumpulkan. Jadi, pada penelitian ini peneliti sebagian besar menggunakan data
sekunder untuk mengumpulkan data, namun jika terdapat kekurangan variabel
atau atribut, peneliti menggunakan data primer yang dikumpulkan dengan
menggunakan kuesioner. Data sekunder yang nantinya dikumpulkan adalah data
mahasiswa dari tahun 2006 hingga tahun 2009 pada semester 1 hingga 4 di
Fakultas MIPA Universitas Udayana. Berikut merupakan atribut-atribut yang
akan digunakan pada penelitian ini yang diambil dari data mahasiswa pada
Jurusan Ilmu Komputer Fakultas MIPA Universitas Udayana.
Tabel 2 Atribut yang Digunakan pada Sistem
Nama Atribut
Nilai Atribut
Kosentrasi
Kategori
SNMPTN, PMDK
Masuk
Jumlah Cuti
Jumlah
Mengulang
Jenis Kelamin
Laki-laki, Perempuan
IPS 1
IPS 2
IPS 3
IPS 4
SKS 1
SKS 2
SKS 3
SKS 4
13
7.3.
tersebut terlebih dahulu diolah di awal (data preprocessing). Pengolahan data awal
diperlukan karena pada saat pengambilan data sekunder bisa saja terdapat data
yang hilang atau kosong, kekurangan atribut yang sesuai, atau berisi nilai yang
berbeda dalam suatu atribut (Han & Kamber, 2006). Pada penelitian ini teknikteknik data preprocessing yang digunakan yaitu data cleaning dan data reduction.
Berikut merupakan penjelasan dari masing-masing proses pengolahan data awal.
7.4.
..........................................................(1)
14
Dengan :
S
: Himpunan Kasus
: Fitur
Jumlah partisi S
pi
( )
| |
| |
( ) ...........................(2)
Dengan :
S
: Himpunan kasus
: Atribut
|Si|
|S|
fungsional,
dan
kebutuhan
nonfungsional.
Untuk
15
2.
Desain sistem, pada proses ini peneliti merancang diagram aliran data
(DFD) pada sistem dari kebutuhan yang sudah ditentukan. Selain
diagram aliran data peneliti juga mendesain database dengan
menggunakan Entity Relationship Diagram (ERD) dan antarmuka
pada sistem.
3.
Implementasi
dan
pengujian
unit,
pada
proses
ini
peneliti
Integrasi dan pengujian sistem, pada proses ini setiap fungsi yang
telah diselesaikan diintegrasikan ke dalam sistem yang utuh, lalu dari
sistem yang utuh tersebut kembali diuji untuk mendapatkan output
yang sesuai. Pengujian sistem nantinya menggunakan teknik
pengujian Black Box Testing dan White Box Testing. Untuk Black
Box Testing yaitu Functional Testing dan Stress Testing (Williams,
2006). Untuk White Box Testing teknik pengujian yang dilakukan
menggunakan teknik Basis Path (Watson & McCabe, 1996) yang
termasuk ke dalam Unit Testing. Sedangkan untuk pengujian
algoritma menggunakan teknik Confusion Matriks.
5.
7.5.
cara pengujian Black Box (Patton, 2006) yaitu pengujian Functional Testng dan
Stress Testing. Teknik pengujian Functional Testing menguji fungsi-fungsi
khusus dari sistem yang dirancang. Kebenaran fungsi-fungsi yang diuji nantinya
dilihat dari output yang dihasilkan dari proses pada fungsi tersebut tanpa melihat
source code dari fungsi tersebut. Dari hasil pengujian tersebut nantinya dapat
diketahui kesalahan-kesalahan pada fungsi dan bagaimana suatu program
16
Test ID
Deskripsi
Hasil
Diharapkan
White
Box
dengan
menggunakan
Basis
Path.
Metode
ini
...................................................................................(3)
17
Dengan :
E = jumlah edge pada basis path
N = jumlah node pada basis path
Cyclomatic
Type of Procedure
Complexity
Risk
1-4
A simple procedure
Low
5-10
Low
11-20
Moderate
21-50
High
>50
high
18
No.
Hasil Output
Hasil Diharapkan
Keterangan
1
2
...
dst.
Actual Class
Class = 1
Class = 0
Class = 1
f11
f10
Class = 0
f01
f00
...................................................................(5)
8.
No.
Kegiatan
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
19
Studi literatur
Analisis kebutuhan
Pengumpulan data
awal
Desain sistem
Implementasi dan
pengujian unit
Perbaikan sistem
Penyusun laporan
penelitian
20
DAFTAR PUSTAKA
Adhatrao, K., Gaykar, A., Dhawan, A., Jha, R., & Honrao, V. (2013).
PREDICTING STUDENTS PERFORMANCE USING ID3 AND C4.5
CLASSIFICATION ALGORITHMS. International Journal of Data
Mining & Knowledge Management Process (IJDKP), 3(5), 14.
Ahmed, A. B., & Elaraby, I. S. (t.thn.). Using Data Mining Technique to Analyze
Student's Performance. International Journal of Research in Education
Methodolgy, 5(2), 7.
Breunig, M. M., Kriegel, H.-P., Ng, R. T., & Sander, J. (2000). LOF: Identifying
Density-Based Local Outliers. Proc. ACM SIGMOD 2000 Int. Conf. On
Management of Data, 12.
Buku VI Matriks Penilaian Instrumen Akreditasi Program Studi Badan Akreditasi
Nasional Perguruan Tinggi. (2008).
Direktorat Jenderal Pendidikan Tinggi. (2000). Diambil kembali dari Direktorat
Jenderal Pendidikan Tinggi: http://www.dikti.go.id/
Han, J., & Kamber, M. (2006). Data Mining: Concepts and Techniques. San
Francisco: Services Manager Simon Crump.
Handriyadi, D., Bijaksana, M. A., & Setiawan, E. B. (2009). ANALISIS
PERBANDINGAN CLUSTERING-BASED, DISTANCE-BASED DAN
DENSITY-BASED DALAM MENDETEKSI OUTLIER. Seminar
Nasional Aplikasi Teknologi Informasi, 8.
Hasibuan, Z. A. (2007). METODOLOGI PENELITIAN PADA BIDANG ILMU
KOMPUTER DAN TEKNOLOGI INFORMASI.
Hastuti, K. (2012). ANALISIS KOMPARASI ALGORITMA KLASIFIKASI
DATA MINING UNTUK PREDIKSI MAHASISWA NON AKTIF.
Seminar Nasional Teknologi Informasi & Komunikasi Terapan 2012
(Semantik 2012), 9.
Larose, D. T. (2005). Discovering Knowledge in Data: An Introduction to Data
Mining. New Jersey: John Wiley & Sons .
Patton, R. (2006). Software Testing. Sams Publisher.
Sommerville, I. (2011).
Education.
SOFTWARE
21
ENGINEERING.
Boston:
Pearson
Tan, P.-N., Steinbach, M., & Kumar, V. (2006). Introduction to Data Mining.
Addison-Wesley Companion Book Site.
Watson, A. H., & McCabe, T. J. (1996). Structured Testing: A Testing
Methodology Using the Cyclomatic Complexity Metric. Gaithersburg:
National Institute of Standards and Technology.
Williams, L. (2006). Diambil kembali dari Real Search Software Engineering:
www.agile.csc.ncsu.edu
22