Research Methodology

3. Literature Review

Romi Satria Wahono

romi@romisatriawahono.net
http://romisatriawahono.net/rm
WA/SMS: +6281586220090

1
Romi Satria Wahono
• SD Sompok Semarang (1987)
• SMPN 8 Semarang (1990)
• SMA Taruna Nusantara Magelang (1993)
• B.Eng, M.Eng and Ph.D in Software Engineering from
Saitama University Japan (1994-2004)
Universiti Teknikal Malaysia Melaka (2014)
• Research Interests: Software Engineering,
Machine Learning
• Founder dan Koordinator IlmuKomputer.Com
• Peneliti LIPI (2004-2007)
• Founder dan CEO PT Brainmatics Cipta Informatika

2
Course Outline
1. Pengantar Penelitian

2. Tahapan Penelitian

3. Literature Review

4. Penulisan Ilmiah dan Publikasi Penelitian

5. Systematic Literature Review (SLR)

6. Pembimbingan dan Presentasi Penelitian

3
3. Literature Review
3.1 Literatur Ilmiah
3.2 Teknik Mengelola Paper
3.3 Teknik Mereview Paper

4
3.1 Literatur Ilmiah

5
Manfaat Mereview Literatur
• Memperdalam pengetahuan tentang bidang
yang diteliti (Textbooks)
• Mengetahui hasil penelitian yang berhubung
an dan yang sudah pernah dilaksanakan (Rel
ated Research) (Paper)
• Mengetahui perkembangan ilmu pada bidan
g yang kita pilih (state-of-the-art) (Paper)
• Memperjelas masalah penelitian (Paper)

6
Jenis Literatur Ilmiah
1. Paper dari Journal
2. Paper dari Book Chapter
3. Paper dari Conference (Proceedings)
4. Thesis dan Disertasi
5. Report (Laporan) dari Organisasi yang Terper
caya
6. Buku Textbook

* Prioritaskan mengambil paper journal yang terindeks oleh ISI dan SCOPUS,
cek dengan http://scimagojr.com

7
8
9
10
Organisasi Yang Mengindeks Journal
1. Thomson Reuters Web of Science
• Since 1963, formerly produced by ISI, 12032 journals are indexed
• Pengindeks journal yang memiliki level paling baik
• http://wokinfo.com
2. Scopus
• Launched by Elsevier in 2004, 20000 journals, conference papers a
nd other are indexed
• Pengindeks journal level standard, biasa untuk syarat menyelesaika
n PhD
• http://scopus.com
3. Google Scholar
• Launched in 2004, mengindeks semua publikasi ilmiah yang online
• http://scholar.google.com
* Organisasi pengindeks journal selain di atas (EBSCO, DBLP, ProQuest, dsb), boleh
dikatakan selevel dengan Google Scholar
11
Algoritma Perangkingan Journal
1. Journal Impact Factor (JIF)
• Data source: ISI Web of Science
2. Eigenfactor Score (ES) * JIF adalah algoritma yang digunakan
• Data source: ISI Web of Science oleh ISI, sedangkan SJR adalah
• http://www.eigenfactor.org algoritma yang digunakan oleh
SCOPUS
3. Scimago Journal Rank (SJR)
• Data source: Scopus
• http://www.scimagojr.com
4. Source Normalized Impact per Paper (SNIP)
• Data source: Scopus
• http://www.journalindicators.com
5. h-index
• Data source: Google Scholar
• http://scholar.google.com/intl/en/scholar/metrics.html

12
Insentif Publikasi Internasional (ITB)

13
 Sumber Pencarian Literatur

GRATIS BERBAYAR

Journal Journal
• http://sci-hub.io • http://sciencedirect.com
• http://libgen.org
• http://www.ebscohost.com
• http://scholar.google.com
• http://citeseer.ist.psu.edu
• http://link.springer.com
• http://ieeexplore.ieee.org
Buku • http://dl.acm.org
• http://bookzz.org
• http://learnr.pro

14
link.springer.com  sci-hub.cc

15
16
sciencedirect.com  sci-hub.cc

17
18
http://scholar.google.com

19
3.2 Teknik Mengelola Paper

20
Mengelola Paper Yang Direview
• Buat account di mendeley.com dan download aplikasin
ya
• Buat folder dan sub folder pada aplikasi mendeley, dan
letakkan paper (pdf) yang sudah didownload ke folder
yang diinginkan di mendeley
• Bibliografi dari paper akan ditampilkan secara otomatis
setelah pdf diletakkan
• Apabila mendeley gagal membaca bibliografi dari pape
r, cari DOI dari paper, isikan di catalog ID, dan setelah l
ookup dipilih, bibliografi akan muncul secara otomatis
• Install MS Word Plugin untuk membantu dalam menuli
skan sitasi dan daftar referensi

21
22
23
24
25
26
3.3 Teknik Mereview Paper

27
Jenis Paper Ilmiah
1. Technical Paper
1. Paper yang isinya adalah hasil penelitian dan eksperime
n yang dilakukan seorang peneliti
2. Penilaian kualitas technical paper dari kontribusi ke pen
getahuan

2. Survey Paper
1. Paper yang isinya adalah review dan survey tentang top
ik/tema suatu penelitian, biasanya jumlah penelitian ya
ng direview mencapai ratusan atau ribuan
2. Rujukan dan panduan penting bagi peneliti yang baru
memulai penelitian untuk memahami suatu topic/tema
penelitian secara komprehensif

28
3.3.1 Technical Paper

29
Kiat Mereview Technical Paper
1. Pahami Masalah Penelitian
• Apakah penelitian hanya menyelesaikan masalah yang dibuat-buat?
• Apakah masalah penelitian dilandasi dan divalidasi?
2. Pahami Kontribusi
• Apakah peneliti hanya mengulang hal yang sudah ada?
• Apakah peneliti menyadari literatur lain yang berhubungan dengan pene
litiannya?
• Apa yang baru dan orisinil di paper itu (metodologi, algoritma, evaluasi,
validasi, tool, dsb.)?
3. Pahami Validitas Kontribusi
• Apakah teori atau model yang diusulkan sudah terbukti benar? Tidak ad
akah kesalahan pada pembuktian?
• Adakah faktor-faktor aneh pada proses eksperimen penelitian?
• Apakah benchmark yang dilakukan realistis atau hanya buatan? Ataukah
membandingkan apel dan jeruk?
• Apakah generalisasi cukup valid?

30
Masalah Penelitian

• Masalah penelitian adalah alasan utama mengapa p

enelitian harus dilakukan
• Reviewer jurnal internasional menjadikan “masalah
penelitian“sebagai parameter utama proses review
• Masalah penelitian harus objective (tidak subjectiv
e), dan harus dibuktikan secara logis dan valid bahw
a masalah itu benar-benar masalah
• Supaya logis dan valid, perlu dilakukan objektifikasi
masalah, dengan cara melandasi masalah penelitian
dengan literature terbaru

31
Contoh Masalah Penelitian
• Masalah Penelitian (Research Problem):
• Neural network terbukti memiliki performa bagus untuk me
nangani data besar seperti pada data prediksi harga saham,
akan tetapi memiliki kelemahan pada pemilihan arsitektur j
aringannya yang harus dilakukan secara trial error, sehingga
tidak efisien dan mengakibatkan hasil prediksi kurang akura
t
• Rumusan Masalah (Research Question):
• Bagaimana peningkatan akurasi dan efisiensi neural networ
k apabila pada pemilihan arsitektur jaringan diotomatisasi
menggunakan algoritma genetika?
• Tujuan Penelitian (Research Objective):
• Menerapkan algoritma genetika untuk mengotomatisasi pe
milihan arsitektur jaringan pada neural nework sehingga leb
ih efisien dan hasil prediksi lebih akurat
32
Contoh Masalah Penelitian
• Research Problem (RP):
• Algoritma K-Means merupakan algoritma clustering yang pop
uler karena efisien dalam komputasi, akan tetapi memiliki kele
mahan pada sulitnya penentuan K yang optimal dan komputas
i yang tidak efisien bila menangani data besar (Zhao, 2010)
• Research Question (RQ):
• Seberapa efektif algoritma Bee Colony bila digunakan untuk m
enentukan nilai K yang optimal pada K-Means?
• Seberapa efisien algoritma backward elimination bila digunak
an untuk mengurangi jumlah atribut pada algoritma K-Means?
• Research Objective (RO):
• Menerapkan algoritma bee colony untuk menentukan nikai K
yang optimal pada K-Means
• Menerapkan backward elimination untuk mengurangi jumlah
atribut pada algoritma K-Means
33
 Masalah Penelitian dan Landasannya
Masalah Penelitian Landasan Literatur

There are noisy data points in the software defect data sets that
can not be confidently assumed to be erroneous using such
simple method (Gray, Bowes, Davey, & Christianson, 2011)
The performances of software defect prediction improved when
irrelevant and redundant attributes are removed (Wang, Khoshgoftaar,
Data set pada prediksi & Napolitano, 2010)
cacat software
berdimensi tinggi, The software defect prediction performance decreases
memiliki atribut yang significantly because the dataset contains noisy attributes (Kim,
bersifat noisy, dan Zhang, Wu, & Gong, 2011)
classnya bersifat tidak
seimbang, Software defect datasets have an imbalanced nature with very
menyebabkan few defective modules compared to defect-free ones (Tosun, Bener,
Turhan, & Menzies, 2010)
penurunan akurasi pada
prediksi cacat software Imbalance can lead to a model that is not practical in software
defect prediction, because most instances will be predicted as
non-defect prone (Khoshgoftaar, Van Hulse, & Napolitano, 2011)
Software fault prediction data sets are often highly imbalanced
(Zhang & Zhang, 2007)

34
 Formulasi RP-RQ-RO
Research Problems Research Questions (RQ) Research Objectives (RO)
(RP)

Algoritma pemilihan fitur Untuk mengidentifikasi algoritma

apa yang performanya pemilihan fitur apa yang memiliki
RQ1
terbaik untuk meyelesaikan RO1
performa terbaik apabila
Data set masalah atribut yang noisy digunakan untuk menyelesaikan
pada pada prediksi cacat masalah atribut yang noisy pada
prediksi software? prediksi cacat software
cacat
software
Algoritma meta learning apa Untuk mengidentifikasi algoritma
berdimensi yang performanya terbaik meta learning apa yang memiliki
tinggi, dan
untuk menyelesaikan performa terbaik apabila
RP memiliki RQ2
masalah class imbalance
RO2
digunakan untuk menyelesaikan
atribut yang
pada prediksi cacat masalah class imbalance pada
bersifat software? prediksi cacat software
noisy, serta
classnya
bersifat Bagaimana pengaruh
tidak penggabungan algoritma Untuk mengembangkan algoritma
balance baru yang menggabungkan
pemilihan fitur dan metode
RQ3
meta learning apabila
RO3 algoritma pemilihan fitur dan
meta learning untuk prediksi
digunakan untuk prediksi
cacat software? cacat software
35
Syarat Masalah Penelitian -1-

• Menarik: Memotivasi kita untuk melakukan p

enelitian dengan serius
• Bermanfaat: Manfaat bagi masyarakat dalam s
kala besar maupun kecil (kampus, sekolah, kel
urahan, dsb)
• Hal Yang Baru: Solusi baru yang lebih efektif,
murah, cepat, dsb bila dikomparasi dengan sol
usi lain. Bisa juga merupakan perbaikan dari si
stem dan mekanisme kerja yang sudah ada

36
Syarat Masalah Penelitian -2-

• Dapat Diuji (Diukur): Masalah penelitian beserta va

riabel-variablenya harus merupakan sesuatu yang b
isa diuji dan diukur secara empiris. Untuk penelitian
korelasi, korelasi antara beberapa variabel yang kita
teliti juga harus diuji secara ilmiah dengan beberap
a parameter.
• Dapat Dilaksanakan: Khususnya berkaitan erat deng
an keahlian, ketersediaan data, kecukupan waktu d
an dana. Hindari research impossible !

37
Syarat Masalah Penelitian -3-

• Merupakan Masalah Yang Penting: Jangan mel

akukan penelitian terhadap suatu masalah ya
ng tidak penting
• Tidak Melanggar Etika: Penelitian harus dilaku
kan dengan kejujuran metodologi, prosedur h
arus dijelaskan kepada obyek penelitian, tidak
melanggar privacy, publikasi harus dengan per
setujuan obyek penelitian, tidak boleh melaku
kan penipuan dalam pengambilan data maup
un pengolahan data

38
Latihan Mereview Paper

• Technical Paper:
• Judul: Chinese Grain Production Forecasting Method Based o
n Particle Swarm Optimization-based Support Vector Machine
• Author: Sheng-Wei Fei, Yu-Bin Miao and Cheng-Liang Liu
• Publications: Recent Patents on Engineering 2009, 3, 8-12
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian
39
Introduction
• Forecasting of grain production is an important resource for e
stablishing agriculture policy [1]. The accurate forecasting of g
rain production avails to the reasonable adjustment of agricul
tural structure and healthy development of agricultural econo
my. At present, the international popular grain production for
ecasting methods are meteorologic analysis method [2,3], re
mote sensing technology [4,5] and statistical dynamics growt
h simulation method [6]. The forecasting lead time of this thr
ee methods is only 1-2 months and their forecasting error of g
rain production is usually 5-10%, which can effect on the esta
blishment of agriculture policy and reasonable adjustment of
agricultural structure. Thus, time series prediction method is i
ntroduced to forecasting of grain production by some experts
[7]. In the method, grain production is forecasted according to
the production in former years and future change of grain pro
duction is forecasted in the years ahead.
40
 Introduction
• In recent years, various time series prediction techniques have been proposed, including ar
tificial neural network [8], grey model [9], support vector machine [10], etc. Artificial neural
network (ANN) is one of the commonest methods used in non-linear forecasting, which has
strong parallel processing and fault tolerant ability. However, the practicability of ANN is lim
ited due to several weaknesses, such as requirement for a large amount of training data, ‘ov
er-fitting’, slow convergence velocity and relapsing into local extremum easily [11]. Superior
forecasting accuracy can be gained with a small quantity of training data by using grey mod
el. However, grey model only depicts a monotonously increasing or decreasing process with
time as exponential law, and the change of gain production usually takes on the fluctuation
state. So a certain error is always generated in forecasting gain production based on GM.
• Support vector machine (SVM) is a new machine learning method based on the statistical le
arning theory, which solves the problem of ‘over-fitting’, local optimal solution and low con
vergence rate existed in ANN and has excellent generalization ability in the situation of smal
l sample [12]. However, the practicability of SVM is effected due to the difficulty of selecting
appropriate SVM parameters [13]. Particle swarm optimization (PSO) motivated by social b
ehavior of bird flocking or fish schooling is a new optimization technology [14]. The optimiz
ation method is very easy to implement and there are few parameters to adjust. It has been
successfully applied to solve multidimensional optimization problem in artificial neural net
work training, function optimization, etc [15, 16]. Thus, in the study, the proposed PSO-SV
M model is applied to forecast Chinese grain production, among which PSO is used to deter
mine free parameters of support vector machine.
41
Prediksi Produksi Padi dengan SVM berbasis PSO

• Object: Padi
• Latar Belakang: Prediksi Produksi Padi
• Metode:
• Konvensional: Remote Sensing, Statistik
• Masalah: tingkat error tinggi, periode pendek
• Time Series: NN, GM, SVM
• SVM itu bisa mengatasi masalah yang ada di NN dan GM
• Masalah:
• SVM itu bisa mengatasi masalah yang ada di NN dan G
M, akan tetapi memiliki kelemahan pada pemilihan para
meter (C, e, gamma)

42
Latihan Mereview Paper
• Technical Paper:
• Judul: Resampling Logistic Regression untuk Penanganan
Ketidakseimbangan Class pada Prediksi Cacat Software
• Author: Harsih Rianto dan Romi Satria Wahono
• Publications: Journal of Software Engineering, Vol. 1, No.
1, April 2015
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran 43penelitian
Latihan Mereview Paper
• Technical Paper:
• Judul: Genetic Algorithms With Guided and Local Search Strategi
es for University Course Timetabling
• Author: Shengxiang Yang and Sadaf Naseem Jat
• Publications: IEEE Transactions on Systems, Man and Cybernetic
s Vol. 41, No. 1, 2011
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian

44
Latihan Mereview Paper
• Technical Paper:
• Judul: Integrasi Kromosom Buatan Dinamis untuk Memecahkan
Masalah Konvergensi Prematur pada Algoritma Genetika untuk
Traveling Salesman Problem
• Author: Muhammad Rikzam Kamal dan Romi Satria Wahono
• Publications: Journal of Intelligent Systems, Vol. 1, No. 2, Decem
ber 2015
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian
45
Latihan Mereview Paper
• Technical Paper:
• Judul: Credal-C4.5: Decision tree based on imprecise probabilitie
s to classify noisy data
• Author: Carlos J. Mantas, Joaquín Abellán
• Publications: Expert Systems with Applications 41 (2013) 4625–4
627
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian
46
Latihan Mereview Paper
• Technical Paper:
• Judul: Penerapan Metode Average Gain, Threshold Pruning dan
Cost Complexity Pruning untuk Split Atribut pada Algoritma C4.5
• Author: Erna Rahayu dan Romi Satria Wahono
• Publications: Journal of Intelligent Systems, Vol. 1, No. 2, Decem
ber 2015
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian

47
Latihan Mereview Paper
• Technical Paper:
• Judul: Genetic Feature Selection for Software Defect Prediction
• Author: Romi Satria Wahono and Nanna Suryana Herman
• Publications: Advanced Science Letters, Vol 20 No 1, 2014
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian

48
Latihan Mereview Paper
• Technical Paper:
• Judul: Particle swarm optimization for parameter determination a
nd feature selection of support vector machines
• Author: Shih-Wei Lin, Kuo-Ching Ying, Shih-Chieh Chen, and Zne-Ju
ng Lee
• Publications: Expert Systems with Applications 35 (2008) 1817–18
24
• Download: http://romisatriawahono.net/lecture/rm/paper/

• Tugas:
Pahami dan rangkumkan paper di atas dalam 3 slide:
1. Masalah penelitian
2. Metode-metode yang ada (State-of-the-art Method)
3. Metode yang diusulkan
4. Metode pengukuran penelitian
49
 Tugas Mereview Paper
LATAR BELAKANG MASALAH PENELITIAN YANG
REVIEW PAPER METODE A (2014) METODE B (2015)
MASALAH PENELITIAN (MP) BERHUBUNGAN
DAN LANDASAN (PYB)
Penulis, Judul, Jurnal, - Obyek Penelitian (What- Why) MP LANDASAN 1. Metode A (2014) - deskripsi - deskripsi
Tahun - Metode-Metode yg Ada
- Analisis Gap Metode yg Ada Landasan (blablabla, - deskripsi - deskripsi
2014) 2. Metode B (2015)
- deskripsi - deskripsi
- Rangkum - deskripsi - deskripsi
Masalah Penelitian
Blablabla (john, 2013)
3. Metode C (2016)
JIF/SJR: - deskripsi - deskripsi
Blablabla (Yang, 2014)

ANALISIS
METODE C (2016) METODE YANG TAHAPAN DATASET HASIL PENELITIAN
PERBEDAAN
DIUSULKAN (MYD) PENELITIAN
PYB DAN MYD
M P1 P2 P3
1. Tahap 1 - deskripsi
- deskripsi - deskripsi A 2. Tahap 2 - Penjelasan Dataset - deskripsi
- deskripsi - deskripsi - deskripsi
- deskripsi
B 3. Tahap 3 - Penjelasan Dataset - deskripsi
- deskripsi
- deskripsi - deskripsi C 4. Tahap 4 - Penjelasan Dataset - deskripsi
- deskripsi - deskripsi MYD

KESIMPULAN TUGAS:
1. Pilih Satu Technical Paper dari Topik Penelitian yang Dipilih, yang Terbit di Jurnal
- Kesimpulan 1
- Kesimpulan 2
- Kesimpulan 3 Terindeks ISI/SCOPUS 3 Tahun Terakhir, Rangkum dengan Format di Atas
2. Rangkumkan SLR dengan Topik yang Sesuai Paper yang Dipilih (No 1)
3. Rangkumkan Bagian Buku Teks yang Sesuai dengan Paper
50
3.3.2 Survey Paper

51
Literature Review
• This literature review aims to identify and analyze t
he state-of-the-art research and methods in the fiel
d of interest
• Type of Literature Review:
1. Traditional Review
2. Systematic Literature Review or Systematic Review
3. Systematic Mapping Study (Scoping Study)
4. Tertiary Study
• SLR is now well established review method in the fi
eld of software engineering

(Kitchenham & Charters, Guidelines in performing Systematic Literature R

eviews in Software Engineering, EBSE Technical Report version 2.3, 2007)
52
1. Traditional Review
• Provides an overview of the research findings on particula
r topics
• Advantages: produce insightful, valid syntheses of the rese
arch literature if conducted by the expert
• Disadvantages: vulnerable to unintentional and intentional
bias in the selection, interpretation and organization of co
ntent
• Examples:
• Liao et al., Intrusion Detection System: A Comprehensive Review, Journal
of Network and Computer Applications, 36(2013)
• Galar et al., A Review on Ensembles for the Class Imbalance Problem: Bag
ging-, Boosting-, and Hybrid-Based Approaches, IEEE Transactions on Syste
ms, Man, and Cybernetics, Part C (Applications and Reviews), Vol. 42, No.
4, July 2012
• Cagatay Catal, Software fault prediction: A literature review and current tr
ends, Expert Systems with Applications 38 (2011)
53
2. Systematic Mapping Study
• Suitable for a very broad topic
• Identify clusters of evidence (making classificatio
n)
• Direct the focus of future SLRs
• To identify areas for future primary studies
• Examples:
• Neto et al., A systematic mapping study of software product li
nes testing, Information and Software Technology Vol. 53, Issu
e 5, May 2011
• Elberzhager et al., Reducing test effort: A systematic mapping
study on existing approaches, Information and Software Techn
ology 54 (2012)

54
3. Systematic Literature Review (SLR)
• The purpose of a systematic literature reviews is to provid
e as complete a list as possible of all the published studies
relating to a particular subject area
• A process of identifying, assessing, and interpreting all av
ailable research evidence, to provide answers for a partic
ular research question
• A form of secondary study that uses a well-defined metho
dology
• SLRs are well established in other disciplines, particularly
medicine. They integrate an individual clinical expertise a
nd facilitate access to the outcomes of the research

(Kitchenham & Charters, Guidelines in performing Systematic Literature Reviews

in Software Engineering, EBSE Technical Report version 2.3, 2007)
55
3. Systematic Literature Review (SL
R)
Examples of SLR:
• Hall et al., A Systematic Literature Review on Fault Predic
tion Performance in Software Engineering, IEEE Transacti
on on Software Engineering, Vol. 38, No. 6, 2012
• Romi Satria Wahono, A Systematic Literature Review of S
oftware Defect Prediction: Research Trends, Datasets, M
ethods and Frameworks, Journal of Software Engineerin
g, Vol. 1, No. 1, April 2015
• Matthias Galster, Danny Weyns, Dan Tofan, Bartosz Mich
alik, and Paris Avgeriou, Variability in Software Systems:
A Systematic Literature Review, IEEE Transactions on So
ftware Engineering, Vol 40, No 3, 2014

56
4. Tertiary study
• Is a SLR of SLRs
• To answer a more wider question
• Uses the same method as in SLR
• Potentially less resource intensive
• Examples:
• Kitchenham et al., Systematic literature reviews in s
oftware engineering – A tertiary study, Information
and Software Technology 52 (2010)
• Cruzes et al., Research synthesis in software enginee
ring: A tertiary study, Information and Software Tec
hnology 53 (2011)

57
Kiat Mereview Paper Survey
• Pahami Research Question (RQ) yang biasanya tertu
lis secara eksplisit di paper
• Jawaban RQ ada di bagian “result and analysis” di h
alaman belakang
• Perhatikan pelan-pelan apabila RQ ada tentang “be
st method/algorithm” karena di situ akan dibahas t
entang state-of-the-art method
• Perhatikan juga RQ tentang “research challenge/pro
blems”, karena di situ kita bisa menemukan masala
h penelitian terkini (state-of-the-art problem)

58
Contoh Survey Paper

59
Contoh Survey Paper

60
Latihan Mereview Paper Survey
• Survey Paper:
• Judul: Intrusion Detection System: A Comprehensive Review
• Author: Hung-Jen Liao, Chun-Hung Richard Lin, Ying-ChihLin,
Kuang-YuanTung
• Publications: Journal of Network and Computer Application
s, 36(2013)
• Download: http://romisatriawahono.net/lecture/rm/surve
y/

• Tugas:
• Pahami dan rangkumkan paper di atas dalam bentuk slide d
engan format:
1. Identifikasi Research Question (RQ)
2. Analisis jawaban dari Research Question (RQ)
61
Latihan Mereview Paper Survey
• Survey Paper:
• Judul: A Systematic Literature Review of Software Defect Predi
ction: Research Trends, Datasets, Methods and Frameworks
• Author: Romi Satria Wahono
• Publications: Journal of Software Engineering, Vol. 1, No. 1, Ap
ril 2015
• Download: http://romisatriawahono.net/lecture/rm/survey/

• Tugas:
Pahami dan rangkumkan paper di atas dalam bentuk slide
dengan format:
1. Identifikasi Research Question (RQ)
2. Analisis jawaban dari Research Question (RQ)

62
Latihan Mereview Paper Survey
• Survey Paper:
• Judul: Systematic literature review of machine learning based s
oftware development effort estimation models
• Author: Jianfeng Wen, Shixian Li, Zhiyong Lin, Yong Hu, Changq
in Huang
• Publications: Information and Software Technology 54 (2012) 4
1–59
• Download: http://romisatriawahono.net/lecture/rm/survey/

• Tugas:
Pahami dan rangkumkan paper di atas dalam bentuk slide denga
n format:
1. Identifikasi Research Question (RQ)
2. Analisis jawaban dari Research Question (RQ)

63
Latihan Mereview Paper Survey
• Survey Paper:
• Judul: Variability in Software Systems: A Systematic Literature
Review
• Author: Matthias Galster, Danny Weyns, Dan Tofan, Bartosz M
ichalik, and Paris Avgeriou
• Publications: IEEE Transactions on Software Engineering, Vol 4
0, No 3, 2014
• Download: http://romisatriawahono.net/lecture/rm/survey
/

• Tugas:
• Pahami dan rangkumkan paper di atas dalam bentuk slide den
gan format:
1. Identifikasi Research Question (RQ)
2. Analisis jawaban dari Research Question (RQ)
64
Latihan Mereview Paper Survey
• Survey Paper:
• Judul: A Systematic Literature Review on Fault Prediction Perfo
rmance in Software Engineering
• Author: Tracy Hall, Sarah Beecham, David Bowes, David Gray, a
nd Steve Counsell
• Publications: IEEE Transaction on Software Engineering, Vol. 3
8, No. 6, 2012
• Download: http://romisatriawahono.net/lecture/rm/survey/

• Tugas:
Pahami dan rangkumkan paper di atas dalam bentuk slide denga
n format:
1. Identifikasi Research Question (RQ)
2. Analisis jawaban dari Research Question (RQ)

65
Reference
• Abbott, M., & McKinney, J. (2013). Understanding and Applying Research
Design. John Wiley & Sons, Inc.
• Berndtsson, M., Hansson, J., & Olsson, B. (2008). Thesis Projects: a Guide
for Students in Computer Science and Information Systems (2nd ed.). Lon
don: Springer-Verlag
• Blaxter, L., Hughes, C., & Tight, M. (2006). How to Research (3rd ed.). Ope
n University Press
• Blessing, L. T. M., & Chakrabarti, A. (2009). DRM, a Design Research Meth
odology. Springer-Verlag London
• Cohen, L., Manion, L., & Morrison, K. (2005). Research Methods in Educa
tion (5th ed.). Taylor & Francis Group
• Dawson, C. W. (2009). Projects in Computing and Information Systems A S
tudent’s Guide (2nd ed.). Pearson Education Limited
• Jonker, J., & Pennink, B. (2010). The Essence of Research Methodology. Sp
ringer-Verlag Berlin Heidelberg
• Lichtfouse, E. (2013). Scientific Writing for Impact Factor Journals. Nova S
cience Publishers, Inc.
66
Reference
• Kothari, C. (2004). Research Methodology: Methods and Techniques.
New Age International
• Might, M. (2010). The Illustrated Guide to a Ph.D. Matt.might.net. Re
trieved from http://matt.might.net/articles/phd-school-in-pictures/
• Marczyk, G., DeMatteo, D., & Fertinger, D. (2005). Essentials of Resea
rch Design and Methodology. John Wiley & Sons, Inc.
• Rea, L. M., & Parker, R. A. (2014). Designing and Conducting Survey R
esearch: A Comprehensive Guide (4th ed.). John Wiley & Sons, Inc.
• Runeson, P., Host, M., Rainer, A., & Regnell, B. (2012). Case Study Re
search in Software Engineering: Guidelines and Examples. John Wile
y & Sons, Inc.
• Sahu, P. K. (2013). Research Methodology: A Guide for Researchers I
n Agricultural Science, Social Science and Other Related Fields. Sprin
ger
• Veit, R., Gould, C., & Gould, K. (2013). Writing, Reading, and Researc
h (9th ed.). Cengage Learning
67