Anda di halaman 1dari 132

10 MITOS

PENELITIAN
Romi Satria Wahono
romi@romisatriawahono.net
http://romisatriawahono.net
http://youtube.com/RomiSatriaWahono
08118228331

1
Romi Satria Wahono
• SMA Taruna Nusantara Magelang (1993)
• B.Eng, M.Eng & Ph.D in Software Engineering
Saitama University Japan (1994-2004)
Universiti Teknikal Malaysia Melaka (2014)
• Core Competency in Enterprise Architecture,
Software Engineering and Machine Learning
• LIPI Researcher (2004-2007)
• Founder, CoFounder and CEO:
• IlmuKomputerCom (2003) (Free eLearning Portal)
• PT Brainmatics Cipta Informatika (2005) (IT Training & Certification)
• PT Imani Prima (2007) (Internet of Things)
• PT IlmuKomputerCom Braindevs Sistema (2014) (EA & Data Science)
• PT Brainmatics Indonesia Cendekia (2020) (IT Teaching Factory)
• International IT & Research Award Winners from WSIS (United Nations), Kemdikbud,
Ristekdikti, LIPI, etc.
• Inventor of the idEA Framework, Software Defect Prediction Framework & Software
Development Government Framework
• Industrial IT Certifications: TOGAF, ITIL, PSM, CCAI, CCNA, etc
• Enterprise Architecture & Digital Transformation Expert: KPK, INSW, BPPT, LIPI, Kemenkeu,
RistekDikti, Pertamina EP, PLN, PJB, PJBI, IP, FIF, Kemlu, ESDM, UT, etc.
• Advisory Board of the UGM (DTETI) & Professional Member of IEEE, ACM and PMI
• SCOPUS/ISI Indexed Journal Reviewer: Information and Software Technology, Journal of
Systems and Software, Software: Practice and Experience, etc
2
3
Research Myths
Mitos (Indonesia)
Myths (Inggris)
Mythos (Yunani)
Mythe (Belanda)

Cerita turun temurun sejak masa lampau, yang


mengandung penafsiran tentang alam semesta, dan
dianggap benar-benar terjadi oleh para pengikut dan
penganutnya

4
Mitos 1: Penelitian Yang Baik Itu
Outputnya Nyata dalam Bentuk Produk

Mitos 10: Satu Hasil Eksperimen Bisa Mitos 2: Tujuan Utama


Jadi Banyak Paper dan Dipublikasikan Penelitian adalah Adanya
di Banyak Jurnal Kontribusi ke Masyarakat

Mitos 9: Saya Melakukan Citation

10 MITOS
Mitos 3: Metode Penelitian yang
dengan Meng-Copy Paste Kalimat
dan Paragraf dari Paper Lain Saya Gunakan adalah Waterfall

PENELITIAN
Mitos 8: Penelitian yang Baik itu Mitos 4: Masalah Penelitian itu
Topik dan Skalanya Besar, serta adalah Masalah Yang Muncul di
Berhubungan dengan Banyak Bidang Masyarakat

Mitos 7: Penelitian Itu Semakin Mitos 5: Studi Literatur Berisi


Aplikatif dan Terapan Semakin Berbagai Teori Dasar dan Definisi
Mudah Masuk Jurnal Terindeks yang Ada di Buku

Mitos 6: Semakin Banyak Literatur


yang Saya Baca, Saya Semakin Pusing
5
MITOS 1
Penelitian Yang Baik Itu Outputnya Nyata
dalam Bentuk Produk (Software)

6
Mengapa Melakukan Penelitian?
• Berangkat dari adanya masalah penelitian
• yang mungkin sudah diketahui metode pemecahannya
• tapi belum diketahui metode pemecahan yang lebih baik

• Research (Inggris) dan recherche (Prancis)


• re (kembali)
• to search (mencari)

• The process of exploring the unknown, studying and


learning new things, building new knowledge about
things that no one has understood before
(Berndtsson et al., 2008)
7
Penelitian Computing Produknya Software?
• Membangun software bukanlah tujuan utama
penelitian, hanya testbed untuk mempermudah kita
dalam mengukur hasil penelitian
• Tidak ada listing code, UML atau screenshot software di paper-
paper journal (SCOPUS/WoS), kecuali penelitian tentang
perbaikan paradigma pemrograman, analisis design, dsb

• Ketika pada penelitian kita mengusulkan perbaikan suatu


algoritma (proposed method)
• Bidang image processing, topik penelitian face recognition,
memikirkan perbaikan metode/algoritma untuk pengenalan
wajah dengan akurat/efisien
• Bidang data mining, topik decision tree, memikirkan perbaikan
algoritma decision tree sehingga bisa memprediksi (klasifikasi)
dengan lebih akurat
• Untuk mempermudah eksperimen dan evaluasi, kita menulis
kode program (software) untuk menguji dan mengevaluasi
performance dari algoritma yang kita usulkan

8
Software Engineering Research Trends
Penelitian bidang software engineering bukan penelitian tentang pengembangan
software yang hasil akhirnya produk software, tapi penelitian untuk perbaikan
metodologi pengembangan software
Requirement Engineering 13

Software Design
Software Engineering Topics

Software Construction 7

Software Testing 9

Software Maintenance 7

Software Process Improvement 9

Software Defect Prediction 9

Software Effort Estimation 10

Self Adaptive Systems 4

Service Oriented Architecture 4

Software Product Line 4

Software Architecture 7

Global Software Engineering 3

Software Outsourcing 3

Systematic Literature Review 8

0 2 4 6 8 10 12 14

Jumlah Survey Paper


Resources: Survey Papers from ScienceDirect, SpringerLink, and IEEE Explore (2011-2020)
9
Evolution of Sciences
• Sebelum 1600: Empirical science
• Disebut sains kalau bentuknya kasat mata dan berbentuk barang
• 1600-1950: Theoretical science
• Disebut sains kalau bisa dibuktikan secara matematis atau empiris
melalui eksperimen
• 1950s-1990: Computational science
• Seluruh disiplin ilmu bergerak ke komputasi
• Lahirnya banyak model komputasi
• 1990-sekarang: Data science
• Kultur manusia menghasilkan data besar
• Kemampuan komputer untuk mengolah data besar
• Datangnya data mining sebagai arus utama sains

(Jim Gray and Alex Szalay, The World Wide Telescope: An Archetype for Online Science,
Communication of ACM, 45(11): 50-54, Nov. 2002)
10
It Computing Service
governance research operation
bagaimana
BUAT produk
produk
JUALAN it
CD
aplikasi
DATA dikembangkan
MUSIK GA & Infrastructure &
langganan
SCIENCE dijalankan
LAKU? Security
musik?
di era gafam &
Product startup? SOFTWARE
management ENGINEERING
11
MITOS 2
Tujuan Utama Penelitian adalah Adanya
Kontribusi ke Masyarakat

12
Apa Yang Dikejar di Penelitian?

Research is a considered activity,


which aims to make an original
contribution to knowledge

(Dawson, 2009)

13
Bentuk Kontribusi ke Pengetahuan

Kegiatan penyelidikan dan investigasi


terhadap suatu masalah yang dilakukan
secara berulang-ulang dan sistematis,
dengan tujuan untuk menemukan atau
merevisi teori, metode, fakta, dan
aplikasi

(Berndtsson et al., 2008)

14
Bentuk Kontribusi ke Pengetahuan

(Dawson, 2019)
15
Bentuk Kontribusi ke Pengetahuan
Marketing Mix
7P (Booms and Bitner, 1981)

8P (Gold Smith, 1999)

4P (Jerome McCarthy, 1964)

12 Elements (Neil Borden, 1953)


16
Bentuk Kontribusi ke Pengetahuan
Educational Bloom’s Taxonomy
Objectives (Bloom, 1956)

Taxonomy
Bloom’s
Digital Taxonomy
(Churces, 2009)

Bloom’s Modified
Taxonomy (Lorin, 2001)

Psychomotor Domain
(Simpson, 1966)
18
Bentuk Kontribusi ke Pengetahuan
Decision Tree CART (Breiman ,1984)

Credal C4.5 (Mantas, 2014)

Adaptative Credal C4.5


(Abellan, 2018)

Credal DT (Abellan, 2003)

C4.5 (Quinlan, 1993)

ID3 (Quinlan, 1986)


21
Contoh Ide Dasar Penelitian
• Ingin mengambil topik Algoritma Genetika

• Untuk penentuan nilai parameter (panjang,


tinggi, lebar, dalam, bentuk, jenis material,
etc) yang paling optimal pada desain
bendungan
• Sehingga bisa menampung kubik air terbesar

• Judul Penelitian:
Penerapan Algoritma Genetika untuk
Penentuan Design Bendungan: Studi Kasus
Bendungan Jati Luhur
22
Contoh Penelitian Dengan Kontribusi
• Masalah Penelitian:
Algoritma genetika pada saat diterapkan untuk desain
bendungan, sering sekali terkena konvergensi prematur

• Judul:
Penerapan Metode XYZ untuk Pemecahan Masalah
Konvergensi Prematur pada Algoritma Genetika untuk
Penentuan Desain Bendungan

• Kontribusi:
Menerapkan Metode XYZ yang sebelumnya tidak pernah
digunakan orang untuk memecahkan masalah konvergensi
premature pada Algoritma Genetika

23
Contoh Penelitian Tanpa Kontribusi
• Penerapan Algoritma Genetika untuk Penentuan
Desain Bendungan di Bendungan Jatiluhur

• Penerapan Algoritma Genetika untuk Penentuan


Desain Bendungan di Bendungan Gajah Mungkur

• Penerapan Algoritma Genetika untuk Penentuan


Desain Bendungan di Bendungan Karang Kates

* banyak peneliti computing di Indonesia yang terjebak dengan


penelitian tanpa kontribusi dan hanya mengganti obyek tempat,
akhirnya ditolak ketika publikasi ke journal internasional terindeks

24
Kontribusi ke Pengetahuan vs
Kontribusi ke Masyarakat

Kontribusi ke masyarakat tidak secara


langsung bisa diukur, karena itu tidak
dimasukkan ke tujuan penelitian, tapi
ke manfaat penelitian

25
MITOS 3
Metode Penelitian yang Saya Gunakan
adalah Waterfall

26
Waterfall itu bukan metode atau
metodologi penelitian, tapi metodologi
pengembangan software

27
Metodologi Pengembangan Software
1. Structured Design (SD)
• Waterfall method More
Prescriptive/
• Parallel development Documentation

2. Rapid Application Development (RAD)


• Phased Development
• Prototyping
More
Adaptive/
Communication
3. Agile Development
• Extreme Programming (XP)
• Scrum

(Dennis, 2012)
28
uc UCD Sistem ATM

Sistem ATM

Waterfall
Memasukan Kartu Memasukan PIN
«include»

act 4 AD Mengambil Uang

Mengecek Saldo Nasabah Sistem ATM Sistem Inti Perbankan


Mengupdate Informasi
Mulai Kotak Deposit
Petugas

Nasabah
Pilih Ambil Uang dari Tampilkan Menu
Menu Utama Pengambilan Uang
Mengambil Uang

Planning Analysis
sd 2 SD Memasukan PIN
Masukan Jumlah Cek
Request Kecukupan
Uang Kecukupan
Saldo Sistem Inti Perbankan
Mengirim Uang Saldo

:Nasabah
MenuPIN Manaj erValidasi Login MenuUtama Saldo Cukup?
tidak
masukanPIN() Tampilkan Error Saldo
validasiPIN(id) Tidak Cukup
Keluar Sistem
getPIN()
tidak

Keluarkan Uang di Proses Ambil


alt PIN Valid? tampilkan() Kotak Uang Uang
[ya]

[tidak]

alt Lebih dari 3x?


tampilkan() Selesai
[tidak]

[ya]

blokirAccount()
tampilkan(pesanKesalahan)

class CD Sistem ATM

Manaj erValidasi
Login
- m_Login: Login
mengakses + getPIN(): int
+ blokirAccount(): void
+ ManajerValidasi()
+ validasiKartu(): int
+ validasiPIN(): int
dikelola oleh dikelola oleh
Manaj erPengecekanUang
MenuPengecekanSaldo
KotakKartu dikelola oleh
MenuPIN

mengakses
Balance

memiliki mewarisi
memiliki mengakses
MenuPengambilanUang Manaj erPengambilanUang
dikelola oleh
SistemATM
MenuUtama mewarisi

Implementation
mengakses

Design
mewarisi
MenuPengirimanUang
memiliki memiliki Manaj erPengirimanUang Account
dikelola oleh
mengakses

mewarisi
KotakKuitansi KotakUang
mewarisi

MenuDeposit Manaj erDeposit Deposit


dikelola oleh mengakses
Manaj erLogout MenuLogout
dikelola oleh

29
uc UCD Sistem ATM

Phased development
Sistem ATM

Memasukan Kartu Memasukan PIN


«include»

act 4 AD Mengambil Uang

Mengecek Saldo Nasabah Sistem ATM Sistem Inti Perbankan


Mengupdate Informasi
Mulai Kotak Deposit
Petugas

Nasabah
Pilih Ambil Uang dari Tampilkan Menu
Menu Utama Pengambilan Uang
Mengambil Uang

Planning Analysis
sd 2 SD Memasukan PIN
Masukan Jumlah Cek
Request Kecukupan
Uang Kecukupan
Saldo Sistem Inti Perbankan
Mengirim Uang Saldo

:Nasabah
MenuPIN Manaj erValidasi Login MenuUtama Saldo Cukup?
tidak
masukanPIN() Tampilkan Error Saldo
validasiPIN(id) Tidak Cukup
Keluar Sistem
getPIN()
tidak

Keluarkan Uang di Proses Ambil


alt PIN Valid? tampilkan() Kotak Uang Uang
[ya]

[tidak]

alt Lebih dari 3x?


tampilkan() Selesai
[tidak]

[ya]

blokirAccount()
tampilkan(pesanKesalahan)

Versi 1 Versi 2 class CD Sistem ATM

+
+
Manaj erValidasi

m_Login: Login

blokirAccount(): void
ManajerValidasi()
mengakses +
Login

getPIN(): int

+ validasiKartu(): int
+ validasiPIN(): int
dikelola oleh dikelola oleh
Manaj erPengecekanUang
MenuPengecekanSaldo
KotakKartu dikelola oleh
MenuPIN

mengakses
Balance

memiliki mewarisi
memiliki mengakses
MenuPengambilanUang Manaj erPengambilanUang
dikelola oleh
SistemATM
MenuUtama mewarisi

Implementation
mengakses

Design
mewarisi
MenuPengirimanUang
memiliki memiliki Manaj erPengirimanUang Account
dikelola oleh
mengakses

mewarisi
KotakKuitansi KotakUang
mewarisi

MenuDeposit Manaj erDeposit Deposit


dikelola oleh mengakses
Manaj erLogout MenuLogout
dikelola oleh

30
uc UCD Sistem ATM

prototyping
Sistem ATM

Memasukan Kartu Memasukan PIN


«include»

act 4 AD Mengambil Uang

Mengecek Saldo Nasabah Sistem ATM Sistem Inti Perbankan


Mengupdate Informasi
Mulai Kotak Deposit
Petugas

Prototype Nasabah
Pilih Ambil Uang dari
Menu Utama
Mengambil Uang
Tampilkan Menu
Pengambilan Uang

Planning Analysis
sd 2 SD Memasukan PIN
Masukan Jumlah Cek
Request Kecukupan
Uang Kecukupan
Saldo Sistem Inti Perbankan
Mengirim Uang Saldo

:Nasabah
MenuPIN Manaj erValidasi Login MenuUtama Saldo Cukup?
tidak
masukanPIN() Tampilkan Error Saldo
validasiPIN(id) Tidak Cukup
Keluar Sistem
getPIN()
tidak

Keluarkan Uang di Proses Ambil


alt PIN Valid? tampilkan() Kotak Uang Uang
[ya]

[tidak]

alt Lebih dari 3x?


tampilkan() Selesai
[tidak]

[ya]

blokirAccount()
tampilkan(pesanKesalahan)

class CD Sistem ATM

Manaj erValidasi
Login
- m_Login: Login
mengakses + getPIN(): int
+ blokirAccount(): void
+ ManajerValidasi()
+ validasiKartu(): int
+ validasiPIN(): int
dikelola oleh dikelola oleh
Manaj erPengecekanUang
MenuPengecekanSaldo
KotakKartu dikelola oleh
MenuPIN

mengakses
Balance

memiliki mewarisi
memiliki mengakses
MenuPengambilanUang Manaj erPengambilanUang
dikelola oleh
SistemATM
MenuUtama mewarisi

Implementation
mengakses

Design
mewarisi
MenuPengirimanUang
memiliki memiliki Manaj erPengirimanUang Account
dikelola oleh
mengakses

mewarisi
KotakKuitansi KotakUang
mewarisi

MenuDeposit Manaj erDeposit Deposit


dikelola oleh mengakses
Manaj erLogout MenuLogout
dikelola oleh

31
uc UCD Sistem ATM

SCRUM
Sistem ATM

Memasukan Kartu Memasukan PIN


«include»

act 4 AD Mengambil Uang

Mengecek Saldo Nasabah Sistem ATM Sistem Inti Perbankan


Mengupdate Informasi
Mulai Kotak Deposit
Petugas

Nasabah
Pilih Ambil Uang dari Tampilkan Menu
Menu Utama Pengambilan Uang
Mengambil Uang

Planning Analysis
sd 2 SD Memasukan PIN
Masukan Jumlah Cek
Request Kecukupan
Uang Kecukupan
Saldo Sistem Inti Perbankan
Mengirim Uang Saldo

:Nasabah
MenuPIN Manaj erValidasi Login MenuUtama Saldo Cukup?
tidak
masukanPIN() Tampilkan Error Saldo

Sprint 1
validasiPIN(id) Tidak Cukup
Keluar Sistem
getPIN()
tidak

Keluarkan Uang di Proses Ambil


alt PIN Valid? tampilkan() Kotak Uang Uang
[ya]

[tidak]

alt Lebih dari 3x?

Sprint 2
tampilkan() Selesai
[tidak]

[ya]

blokirAccount()
tampilkan(pesanKesalahan)

Hasil Sprint 1 class CD Sistem ATM

Hasil Sprint 2
Manaj erValidasi
Login
- m_Login: Login
mengakses + getPIN(): int
+ blokirAccount(): void
+ ManajerValidasi()
+ validasiKartu(): int
+ validasiPIN(): int
dikelola oleh dikelola oleh
Manaj erPengecekanUang
MenuPengecekanSaldo
KotakKartu dikelola oleh
MenuPIN

mengakses
Balance

memiliki mewarisi
memiliki mengakses
MenuPengambilanUang Manaj erPengambilanUang
dikelola oleh
SistemATM
MenuUtama mewarisi

Implementation
mengakses

Design
mewarisi
MenuPengirimanUang
memiliki memiliki Manaj erPengirimanUang Account
dikelola oleh
mengakses

mewarisi
KotakKuitansi KotakUang
mewarisi

MenuDeposit Manaj erDeposit Deposit


dikelola oleh mengakses
Manaj erLogout MenuLogout
dikelola oleh

32
Klasifikasi Penelitian
1. Pendekatan Kualitatif
1. Pendekatan 2. Pendekatan Kuantitatif

1. Metode Penelitian Tindakan


2. Metode Eksperimen
2. Metode 3. Metode Studi Kasus
4. Metode Survei
1. Dasar vs Terapan
2. Eksplanatori vs Konfirmatori
3. Jenis 3. Deskripsi vs Eksperimen vs
Korelasi

1. Pengujian Teori (S1)


4. Level Kontribusi 2. Pengembangan Teori (S2)
3. Penemuan Teori (S3)

33
1. Pendekatan
1. Pendekatan Kualitatif:
• Dari ilmu sosial, konsepnya peningkatan pemahaman terhadap sesuatu, dan
bukan membangun penjelasan dari sesuatu (Berndtsson et al., 2008)
• Sifatnya subyektif, berorientasi ke observasi tanpa dikontrol, dan secara umum
tidak ada generalisasi (Blaxter, Hughes, & Tight, 2006)
• Dilakukan bidang sistem informasi, dengan metode penelitian seperti “studi
kasus” dan “survei”, berbasis pola alur induktif

Pengamatan terhadap obyek Menghasilkan konsep atau


penelitian (Khusus) teori baru (Umum)

2. Pendekatan Kuantitatif:
• Dari ilmu alam, konsepnya bagaimana sesuatu dibangun dan bekerja, dan
membangun penjelasan dari sesuatu
• Sifatnya obyektif, berorientasi ke verifikasi, observasi yang dikontrol, dan secara
umum ada generalisasi (Blaxter et al., 2006)
• Menggunakan skala numerik, berbasis pola alur deduktif-induktif
Kumpulkan Rumuskan Tarik
Hasilkan Uji
Teori Hipotesis Kesmpulan
Konsep Hipotesis
(Umum) (Khusus) (Umum)

(Berndtsson et al., 2008)


34
2. Metode
1. Penelitian Tindakan
• Studi berupa monitoring dan pencatatan penerapan sesuatu oleh
peneliti secara hati-hati, yang tujuannya untuk memecahkan masalah
dan mengubah situasi (Herbert, 1990)
• Penelitian Tindakan Kelas (PTK) di bidang Pendidikan
2. Eksperimen
• Investigasi hubungan sebab akibat dengan menggunakan ujicoba yang
dikontrol oleh peneliti
• Melibatkan pengembangan dan evaluasi
• Penelitian bidang Science dan Teknik
3. Studi Kasus
• Eksplorasi satu situasi secara mendalam dan hati hati
(Cornford and Smithson, 2006)
• Penelitian bidang Sosial, Ekonomi, Politik
4. Survei
• Pengumpulan data dari populasi yang bisa diukur,
dengan cara yang ekonomis (Saunders et al., 2007)
• Melibatkan penggunaan kuesioner dan interview

(Dawson, 2009)
35
3. Jenis
Deskripsi Eksperimen Korelasi

Kualitatif Kuantitatif

Eksplanatori Konfirmatori

Terapan

Dasar
36
4. Level Kontribusi
Aspek Skripsi (D4/S1) Tesis (S2) Disertasi (S3)
Pengujian Teori Pengembangan Teori Penemuan Teori Baru
Level
Kontribusi
Implementasi dan Perbaikan Secara Substansial dan
Bentuk penerapan Inkremental dan Invention
Kontribusi Terus Menerus
Domestic International International Journal
Target Conference Conference
Publikasi

(Permendikbud No 3 tahun 2020 tentang SNPT)

37
Level Kontribusi Penelitian D4/S1 vs S2 vs S3
• D4/S1:
• Pengaruh 4P Marketing Mix pada Peningkatan
Penjualan Perusahaan XYZ
• Kontribusi: menguji dan menerapkan
teori/hukum/model/metode
• S2:
• Pengaruh 4P+3C Marketing Mix pada Peningkatan
Penjualan Perusahaan XYZ
• Kontribusi: mengembangkan dan memperbaiki
teori/hukum/model/metode
• S3:
• Pengaruh ABCD Marketing Mix pada Peningkatan
Penjualan Perusahaan
• Kontribusi: mengembangan dan menemukan (invention)
teori/hukum/model/metode baru yang sifatnya lebih general
38
Level Kontribusi Penelitian D4/S1 vs S2 vs S3
• D4/S1:
• Penerapan Taksonomi Bloom untuk Evaluasi
Pembelajaran Pelajaran IPS pada SMA ABC
• Kontribusi: menguji dan menerapkan teori/hukum/model/metode
• S2:
• Integrasi Teori Sosial Networking dan Taksonomi
Bloom untuk Evaluasi Pembelajaran Pelajaran IPS
Secara Online pada SMA ABC
• Kontribusi: mengembangkan dan memperbaiki
teori/hukum/model/metode
• S3:
• Modifikasi Taksonomi Bloom untuk Evaluasi
Pembelajaran Pelajaran Secara Online
• Kontribusi: mengembangan dan menemukan (invention)
teori/hukum/model/metode baru yang sifatnya lebih general
39
Level Kontribusi Penelitian D4/S1 vs S2 vs S3
• D1-D3:
• Pengembangan Sistem Informasi Rumah Sakit untuk Rumah Sakit
“Suka Sembuh”
• Karakter: menguasai skill teknis
• D4/S1:
• Sistem Cerdas Berbasis Neural Network untuk Prediksi Harga Saham
• Karakter: menguji teori, ada software development
• S2:
• Penerapan Algoritma Genetika untuk Pemilihan Arsitektur Jaringan
Secara Otomatis pada Neural Network untuk Prediksi Harga Saham
• Karakter: mengembangkan teori (perbaikan metode), ada kontribusi ke
teori/metode meskipun specific obyek
• S3:
• Penerapan Algoritma XYZ untuk Pemilihan Arsitektur Jaringan Secara
Otomatis pada Neural Network
• Karakter: menemukan teori (invensi metode), ada kontribusi ke
teori/metode dengan generalisasi lebih luas

40
Metodologi Penelitian vs Metodologi
Pengembangan Software
• Metodologi pengembangan software bukan
metodologi penelitian!

• Jangan pernah masukan waterfall/RAD/Agile


di Bab 3 skripsi/tesis/disertasi sebagai
metode penelitian!
• Bab 3 seharusnya membahas tentang
bagaimana metode, teknik, cara, tahapan dan
evaluasi pada penelitian kita (metodologi
penelitian)

41
MITOS 4
Masalah Penelitian itu adalah Masalah
Yang Muncul di Masyarakat

42
Konsepsi Masalah Penelitian
• Penelitian dilakukan karena ada
masalah penelitian

• Dimana masalah penelitian sendiri


muncul karena ada latar belakang
masalah penelitian

• Latar belakang masalah penelitian itu


berangkatnya bisa dari masalah
kehidupan (obyek penelitian)
43
Contoh Alur Latar Belakang Masalah Penelitian:
Penerapan XYZ untuk Masalah E pada SVM untuk Prediksi Nilai Tukar Uang
• Nilai tukar uang adalah faktor penting pada perekonomian suatu
negara. Nilai tukar uang perlu diprediksi supaya kebijakan
perekonomian bisa diambil dengan lebih akurat dan efisien…
• Metode untuk prediksi nilai tukar yang saat ini digunakan adalah
regresi linier, neural network dan support vector machine…
• Regresi linier memiliki kelebihan A dan kelemahan B…
• Neural network memiliki kelebihan C dan kelemahan D…
• Support vector machine memiliki kelebihan bisa mengatasi masalah
B (pada regresi linier) dan D (pada neural network)… tapi memiliki
kelemahan E

• Masalah penelitian pada penelitian di atas?


• Kebijakan perekonomian negara?
• Prediksi nilai tukar uang?
• Metode apa yang sebaiknya dipakai untuk prediksi nilai tukar?
• Masalah: Support vector machine memiliki kelebihan memecahkan
masalah B dan D (argumentasi dipilih), tapi memiliki kelemahan E
• Tujuan: Menerapkan metode XYZ untuk memecahkan masalah E
pada support vector machine
44

Contoh •
Ungu: Obyek Data (Opsional, Bisa Data Publik)
Oranye: Topik (Obyek Metode yang Diperbaiki)
Masalah •

Merah: Masalah Penelitian
Hijau: Metode Perbaikan yang Diusulkan
Penelitian • Biru: Pengukuran Penelitian (Tidak Harus Masuk Judul)

Penerapan Particle Swarm Optimization untuk Pemilihan


Parameter Secara Otomatis pada Support Vector Machine
untuk Prediksi Produksi Padi
Research Problem (RP) Research Question (RQ) Research Objective (RO)
SVM dapat memecahkan Seberapa meningkat Menerapkan PSO
masalah ‘over-fitting’, akurasi metode SVM untuk pemilihan
lambatnya konvergensi, dan apabila PSO parameter yang sesuai
sedikitnya data training, akan diterapkan pada pada SVM (C, lambda
tetapi memiliki kelemahan proses pemilihan dan epsilon) ,
pada sulitnya pemilihan parameter? sehingga hasil
parameter SVM yang sesuai prediksinya lebih
yang mengakibatkan akurasi akurat
tidak stabil 46
MITOS 5
Studi Literatur Berisi Berbagai Teori
Dasar dan Definisi yang Ada di Buku

47
Manfaat Studi Literatur
• Memperdalam pengetahuan tentang bidang dan topik
yang diteliti (Textbooks)
• Memperdalam pengetahuan tentang topik lebih detail
yang diteliti (Survey Paper)
• Mengetahui hasil penelitian yang berhubungan dan
yang sudah pernah dilaksanakan (Related Research)
(Technical Paper)
• Mengetahui perkembangan ilmu pada bidang yang kita
pilih (state-of-the-art) (Technical atau Survey Paper)
• Memperjelas masalah penelitian (Technical Paper)
• Studi literature adalah bingkai dari tahapan penelitian
• Kita lakukan pada setiap tahapan siklus penelitian

48
Tahapan Penelitian
Literature Review
1. Penentuan Bidang Penelitian (Research Field)

2. Penentuan Topik Penelitian (Research Topic)

3. Penentuan Masalah Penelitian (Research Problem)

4. Perangkuman Metode-Metode Yang Ada (State-of-the-Art Methods)

5. Penentuan Metode Yang Diusulkan (Proposed Method)

6. Evaluasi Metode Yang Diusulkan (Evaluation)

7. Penulisan Ilmiah dan Publikasi Hasil Penelitian (Publications)

*https://www.site.uottawa.ca/~bochmann/dsrg/how-to-do-good-research/
*http://romisatriawahono.net/2013/01/23/tahapan-memulai-penelitian-untuk-mahasiswa-galau/
49
Jenis Literatur Ilmiah
1. Paper dari Journal *
2. Paper dari Book Chapter
3. Paper dari Conference (Proceedings)
4. Thesis dan Disertasi
5. Report (Laporan) dari Organisasi yang
Terpercaya
6. Buku Textbook

* Prioritaskan paper journal


terindeks WoS (Clarivate) or SCOPUS
Cek dengan http://scimagojr.com

50
Jenis Paper Ilmiah
1. Technical Paper (Research Articles)
1. Paper yang isinya adalah hasil penelitian dan eksperimen
yang dilakukan seorang peneliti
2. Penilaian kualitas technical paper dari kontribusi ke
pengetahuan

2. Survey Paper (Review Articles)


1. Paper yang isinya adalah review dan survey tentang
topik/tema suatu penelitian, biasanya jumlah penelitian
yang direview mencapai ratusan atau ribuan paper
2. Rujukan dan panduan penting bagi peneliti yang baru
memulai penelitian untuk memahami suatu topic/tema
penelitian secara komprehensif

51
Organisasi Yang Mengindeks Journal
1. Thomson Reuters Web of Science (Clarivate Analytics)
• Since 1963, formerly produced by ISI, 12032 journals are indexed
• Pengindeks journal yang memiliki level paling baik
• http://wokinfo.com
2. Scopus
• Launched by Elsevier in 2004, 20000 journals, conference papers
and other are indexed
• Pengindeks journal level standard, biasa untuk syarat
menyelesaikan PhD
• http://scopus.com
3. Google Scholar
• Launched in 2004, mengindeks semua publikasi ilmiah yang
online
• http://scholar.google.com
* Organisasi pengindeks journal selain di atas (EBSCO, DBLP, ProQuest, dsb),
boleh dikatakan selevel dengan Google Scholar
52
MITOS 6
Semakin Banyak Literatur yang Saya Baca,
Saya Semakin Pusing

54
Jumlah Literatur yang Harus Dibaca
• Adagium level pendidikan dan jumlah literatur yang
harus dibaca untuk penyelesaian penelitian
• S1: 20-70 paper
• S2: 70-200 paper
• S3: 200-700 paper
• Kepala jadi pusing, bukan karena kita banyak membaca,
tapi karena yang kita baca memang “belum banyak”

55
Tools Pengelola Literatur Ilmiah
• Mendeley: mengelola literature ilmiah yang
didownload dan membantu dalam penulisan ilmiah

• Vosviewer: analisis, abstraksi dan visualisasi


bibliometrik untuk mendapatkan insight dan
finding dalam waktu cepat

• Researcher: monitoring literatur terbaru pada topik


penelitian

56
57
58
59
60
61
Bibliometric Analysis (Mendeley -> RIS)

62
Bibliometric Analysis (RIS -> Vosviewer)

63
64
Bibliometric Analysis (RIS -> Vosviewer)

65
Researcher: Research Topics Monitoring

66
MITOS 7
Penelitian Itu Semakin Aplikatif dan
Terapan Semakin Mudah Masuk Jurnal
Terindeks

67
Penelitian Terapan

Penelitian Dasar
68
Pengaruh 12 Elemen Marketing Mix pada
Peningkatan Penjualan Perusahaan XYZ

12 Elements
of the
Marketing
Mix

(Neil Borden,
1953)

Mixer of Ingredients (James Culliton, 1948)


69
Pengaruh 4P Marketing Mix pada
Peningkatan Penjualan Perusahaan XYZ

4P
of the
Marketing
Mix
(Jerome
McCarthy, 1964)

Mixer of Ingredients (James Culliton, 1948)


70
Pengaruh 7P Marketing Mix pada
Peningkatan Penjualan Perusahaan XYZ

7P
of the
Marketing
Mix
(Booms and
Bitner, 1981)

Mixer of Ingredients (James Culliton, 1948)


71
Penerapan Bloom’s Taxonomy untuk
Evaluasi Pembelajaran di Sekolah ABC

Bloom’s
Taxonomy

(Bloom, 1956)

Basic Principles of Curriculum and Instruction


(Tyler, 1949)
72
Penerapan Bloom’s Modified Taxonomy
untuk Evaluasi Pembelajaran di Sekolah ABC

Bloom’s
Modified
Taxonomy

(Lorin, 2001)

Basic Principles of Curriculum and Instruction


(Tyler, 1949)
73
Penerapan Bloom’s Digital Taxonomy untuk
Evaluasi Pembelajaran di Sekolah ABC

Bloom’s
Digital
Taxonomy
(Churces, 2009)

Basic Principles of Curriculum and Instruction


(Tyler, 1949)
74
Penerapan C4.5 untuk Prediksi
Kelulusan Mahasiswa pada STMIK ABC

Split Criterion

C4.5

Gain Ratio

(Quinland, 1993)

Teori Gain (Kullback & Leibler, 1951)


75
Penerapan Credal C4.5 untuk Prediksi
Kelulusan Mahasiswa pada STMIK ABC

Split Criterion

Credal C4.5

Imprecise
Gain Ratio

(Mantas, 2013)

Imprecise Probability Theory (Walley, 1996)


76
Perbaikan 4P Menjadi 4E

Marketing Mix Baru


Khusus untuk Industri Turisme

Marketing Mix Khusus untuk


Private Labels Brand Equity

Standarisasi Marketing Mix untuk


Generalisasi Lebih Luas

77
Memperbaiki C4.5

Memperbaiki
Use Case Points

Memperbaiki
Genetic Algorithms
78
Akademisi vs Technopreneur

Meja Indah Meja Kuat

• Technopreneur?
1. Jual Produk
2. Beri Nilai Tambah Produk
3. Jadikan Aset, Jual Layanan

• Akademisi?
• Pelajari, Preteli Komponen
• Ciptakan Meja Baru yang
Berbeda dengan 3 Meja Itu
Meja Luas
79
State-of-the-Art Frameworks on
Software Defect Prediction
Three frameworks have been highly cited and
influential in software defect prediction field

Menzies Lessmann Song


Framework Framework Framework

(Menzies et al. 2007) (Lessmann et al. 2008) (Song et al. 2011)

80
Menzies Framework
(Menzies et al. 2007)

Framework Dataset Data Feature Meta- Classifiers Parameter Validation Evaluation


Preprocessor Selectors learning Selectors Methods Methods
(Menzies et NASA Log Filtering Info Gain - 3 algorithms - 10-Fold X ROC Curve
al. 2007) MDP 81 (DT, 1R, NB) Validation (AUC)
Lessmann Framework
(Lessmann et al. 2008)

Framework Dataset Data Feature Meta- Classifiers Parameter Validation Evaluation


Preprocessor Selectors learning Selectors Methods Methods
(Lessman et NASA - - - 22 - 10-Fold X ROC Curve
al. 2008) MDP 82 algorithms Validation (AUC)
Song Framework
(Song et al. 2011)

Framework Dataset Data Feature Meta- Classifiers Parameter Validation Evaluation


Preprocessor Selectors learning Selectors Methods Methods
(Song et al. NASA Log Filtering FS, BE - 3 algorithms - 10-Fold X ROC Curve
2011) MDP 83 (DT, 1R, NB) Validation (AUC)
Dari State-of-the-Art Methods ke Research Gaps

• Hasil dari literature review, kita menemukan


research gaps
• yang nantinya akan menjadi kandidat masalah penelitian

• Kita selesaikan masalah penelitian di atas dengan


“cara dan metode kita yang unik, berbeda, dan
lebih baik”
• inilah yang disebut metode yang diusulkan
• yang diharapkan ada kontribusi ke pengetahuan

84
Proposed LEARNING SCHEME
NASA
MDP
Datasets

Framework
Training Testing
Data Data

Feature Selectors

on Software PSO GA
Feature Selection

Defect Processed
Training
Processed
Testing

Prediction
Data Data
Learning Algorithms

10 Classifiers Learning Testing and


Meta Learning Method Validation
Meta Learning Models

Bagging

Parameter Selectors

Parameter Selection Performance Report

GA

Framework Dataset Data Preprocessor Feature Meta-Learning Classifiers Parameter Validation Evaluation
Selectors Selectors Methods Methods
(Menzies et al. NASA MDP Log Filtering Info Gain 3 algorithm - 10-Fold X ROC Curve
2007) (DT, 1R, NB) Validation (AUC)
(Lessman et al. NASA MDP - - 22 algorithm - 10-Fold X ROC Curve
2008) Validation (AUC)
(Song et al. NASA MDP Log Filtering FS, BE 3 algorithm - 10-Fold X ROC Curve
2011) (DT, 1R, NB) Validation (AUC)
Proposed NASA MDP - PSO, GA Bagging 10 algorithms GA 10-Fold X ROC Curve
Framework 85 Validation (AUC)
A Hybrid Particle Swarm
Optimization based Feature
Selection and Bagging
Technique for Software
Defect Prediction (PSOFS+B)

• Each particle represents a feature


subset, which is a candidate
solution
• Implement bagging technique and
train the classifier on the larger
training set based on the selected
feature subset and the type of
kernel
• If all classifiers are finished,
combine votes of all classifiers
• Finally, measure validation accuracy
on testing dataset via the generated
model
86
Results: With PSOFS+B
Classifiers CM1 KC1 KC3 MC2 MW1 PC1 PC2 PC3 PC4
LR 0.738 0.798 0.695 0.78 0.751 0.848 0.827 0.816 0.897
Statistical
LDA 0.469 0.627 0.653 0.686 0.632 0.665 0.571 0.604 0.715
Classifier
NB 0.756 0.847 0.71 0.732 0.748 0.79 0.818 0.78 0.85

Nearest k-NN 0.632 0.675 0.578 0.606 0.648 0.547 0.594 0.679 0.738
Neighbor K* 0.681 0.792 0.66 0.725 0.572 0.822 0.814 0.809 0.878
Neural
BP 0.7 0.799 0.726 0.734 0.722 0.809 0.89 0.823 0.915
Network
Support Vector
SVM 0.721 0.723 0.67 0.756 0.667 0.792 0.294 0.735 0.903
Machine
C4.5 0.682 0.606 0.592 0.648 0.615 0.732 0.732 0.78 0.769
Decision Tree CART 0.611 0.679 0.787 0.679 0.682 0.831 0.794 0.845 0.912
RF 0.62 0.604 0.557 0.533 0.714 0.686 0.899 0.759 0.558

• Almost all classifiers that implemented PSOFS+B outperform the


original method
• Proposed PSOFS+B method affected significantly on the
performance of the class imbalance suffered classifiers
87
Without PSOFS+B vs With PSOFS+B
Classifiers P value of t-Test Result
LR 0.323 Not Sig. (P > 0.05)
Statistical
LDA 0.003 Sig. (P < 0.05)
Classifier
NB 0.007 Sig. (P < 0.05)

Nearest k-NN 0.00007 Sig. (P < 0.05)


Neighbor K* 0.001 Sig. (P < 0.05)
Neural Network BP 0.03 Sig. (P < 0.05)
Support Vector
SVM 0.09 Not Sig. (P > 0.05)
Machine
C4.5 0.0002 Sig. (P < 0.05)
Decision Tree CART 0.002 Sig. (P < 0.05)
RF 0.01 Sig. (P < 0.05)

• Although there are two classifiers that have no significant


difference (P > 0.05), the results have indicated that those of
remaining eight classifiers have significant difference (P < 0.05)
• The proposed PSOFS+B method makes an improvement in
prediction performance for most classifiers
88
Proposed Methods vs Other Methods
CM1 KC1 KC3 MC2 MW1 PC1 PC2 PC3 PC4
NB only (Lessmann et al.) 0.734 0.786 0.67 0.739 0.732 0.781 0.811 0.756 0.838
NB with InfoGain (Menzies et al.) 0.708 0.786 0.677 0.712 0.752 0.775 0.885 0.756 0.84
NB with FS (Song et al.) 0.601 0.799 0.749 0.707 0.704 0.742 0.824 0.583 0.812
NB (PSOFS+B) 0.756 0.847 0.71 0.732 0.748 0.79 0.818 0.78 0.85
NB (GAFS+B) 0.702 0.79 0.677 0.739 0.724 0.799 0.805 0.78 0.861

89
Research Publication

Romi Satria Wahono, Nanna Suryana and Sabrina


Ahmad, Metaheuristic Optimization based Feature
Selection for Software Defect Prediction, Journal of
Software, Vol. 9, No. 5, May 2014
(SCOPUS SJR: 0.260)

90
MITOS 8
Penelitian yang Baik itu Topik dan Skalanya
Besar, serta Berhubungan dengan Banyak
Bidang

91
Penelitian yang Berkualitas Tinggi

Topik dan skalanya kecil, fokus,


dalam, dan membawa pengaruh
yang besar ke bidang penelitian kita

92
The Illustrated Guide to a Ph.D (Might, 2010)

93
The Illustrated Guide to a Ph.D (Might, 2010)

94
The Illustrated Guide to a Ph.D (Might, 2010)

95
The Illustrated Guide to a Ph.D (Might, 2010)

96
The Illustrated Guide to a Ph.D (Might, 2010)

97
The Illustrated Guide to a Ph.D (Might, 2010)

98
The Illustrated Guide to a Ph.D (Might, 2010)

99
The Illustrated Guide to a Ph.D (Might, 2010)

100
The Illustrated Guide to a Ph.D (Might, 2010)

101
Memperbaiki C4.5

Memperbaiki
Use Case Points

Memperbaiki
Genetic Algorithms
102
Research and (then) Development
• Setelah para peneliti memperbaiki algoritma
sehingga membuat prediksi lebih akurat
(contribution to knowledge)

• Peran technopreneur di dunia industri


mengembangkan produk dengan berdasarkan
algoritma yang sudah diperbaiki peneliti tadi
• Karena produk unik dan lebih akurat, harapannya
bisa terserap pasar dengan baik dan dimanfaatkan
untuk perbaikan kehidupan
(contribution to people)

103
Penentuan Kelayakan Kredit
20

15

10 Jumlah kredit
macet
5

0
2003 2004

104
Pola Profil Tersangka Koruptor

105
Pola Aturan Asosiasi dari Data Transaksi

106
Pola Aturan Asosiasi di Amazon.com

107
Revolusi Industri 4.0

108
From Stupid Apps to Smart Apps

Stupid Smart
Applications Applications
• Sistem Informasi • Sistem Prediksi
Akademik Kelulusan Mahasiswa
• Sistem Pencatatan • Sistem Prediksi Hasil
Pemilu Pemilu
• Sistem Laporan • Sistem Prediksi
Kekayaan Pejabat Koruptor
• Sistem Pencatatan • Sistem Penentu
Kredit Kelayakan Kredit

109
Perusahaan Pengolah Pengetahuan
• Uber - the world’s largest taxi company,
owns no vehicles
• Google - world’s largest
media/advertising company, creates no
content
• Alibaba - the most valuable retailer, has
no inventory
• Airbnb - the world’s largest
accommodation provider, owns no real
estate
• Gojek - perusahaan angkutan umum,
tanpa memiliki kendaraan
110
Contoh Lain dari Masalah Penelitian ke Produk
Enterprise architecture is dead, too much in-breeding and self-
asphyxiation (Jon Mc Leod, 2017)
EA berbentuk statis cetak EA tidak sesuai dengan berbagai
menggunakan banyak tools yang peraturan dan standard: SPBE, BPMN,
terpisah-pisah APQC, UML, ISO, dsb

EA tidak mendukung integrasi dimensi Framework TOGAF terlalu kompleks,


organisasi (strategi, program, risiko, tidak efisien, tanpa contoh praktis,
kpi, standard, regulation) tidak mendukung berbagai dimensi
organisasi (Kotusev, 2018) (Alm & Wißotzki, 2013)

Proses bisnis sebagi ruh pergerakan


organisasi tidak dimodelkan dan
disimulasikan secara komprehensif

111
Framework idEA
6
Roadmap dan
1
Compliance dan
Governance yang
komprehensif, selaras
terintegrasi dengan dengan visi dan misi
berbagai standar organisasi

2 5
Tools dan template yang Terintegrasi dengan
terintegrasi dan mendukung
Digital Transformation
3 4 dimensi organisasi
(program, regulasi, data,
1. Big Data aplikasi, risiko, KPI)
2. Internet of Things
3. Business Process Metode sistematis dan Transfer pengetahuan
Simulation selaras dengan artifact dan Change
4. Enterprise sehingga mudah dipahami Management secara
Architecture iterative

112
Simplified Systematic Method idEA

113
Multidimensional Architectures
Kementerian
Strategi dan Program

Standar dan Regulasi

Aplikasi
Data

Proses
Bisnis

Risiko
KPI 114 114
Penerapan idEA di Berbagai Organisasi

115
Penghargaan Malcolm Baldrige

Perdir No. 3 Tahun 2019


PJB-IMS 2.0 tentang Implementasi PJB-IMS 2.0

116
Hasil Penerapan idEA di PT PJB
4,00
3,60
3,50 3,50
3,50 3,33 3,33

3,00 3,00
3,00

Administration
2,50
Architecture Planning
Effectiveness

2,00 2,00 Method


2,00
1,67 Deliverables
1,60
1,50 1,50 Integration
1,50 1,33
Agility
Alignment

Peningkatan Efektifitas Kerja dari 1.66 ke 3.32


1,00

0,50 4,00

0,00 3,50 3,32


Sebelum Sesudah
Dimensi 3,00

2,50
Effectiveness

2,00
1,66
1,50

1,00

0,50

0,00
Sebelum Sesudah

117
Intelectual Property Right dari idEA

118
MITOS 9
Saya Melakukan Citation dengan Meng-
Copy Paste Kalimat dan Paragraf dari
Paper Lain

119
Jenis Citation
1. Kutipan (Quotation): Kata-kata yang diambil persis
sama dengan apa yang dituliskan (tanpa
perubahan). Ditulis dalam tanda kutip
2. Paraphrase: Menyusun kembali pemikiran penulis
dan mengungkapkannya dengan kata-kata sendiri
3. Ringkasan: Sari dari suatu tulisan
4. Evaluasi: Interpretasi dalam bentuk komentar, baik
setuju atau tidak dengan menyebutkan alasannya

(Beast & Kohn, 1998)

120
Konsep Dasar Penulisan
• Kutipan itu tidak berarti bahwa satu paragraf kita
copy-paste. Praktek seperti ini tetap disebut
plagiarism meskipun referensi disebutkan
• Kutipan hanya untuk hal penting (hasil penelitian,
teori, data, model, definisi) dalam paper
• Segala kalimat yang tidak merujuk atau menunjuk
ke kutipan, berarti adalah tulisan karya sendiri
• Daftar referensi bukan daftar bacaan, tapi daftar
rujukan atau kutipan (dibaca langsung, bukan dari
penulis ketiga)

121
Mensitasi Sitasi Orang Lain

• Mensitasi (mengutip) hasil rangkuman dan


kutipan yang dilakukan orang lain di buku
atau papernya
• Definisi logika fuzzy menurut Lotfie Zadeh dalam
Suyanto (Suyanto, 2009) adalah: blablabla

• Jangan terlalu banyak dilakukan kecuali dalam


keadaan:
• Kita tidak bisa mengakses publikasi asli
• Bahasa asli publikasi bukan bahasa inggris (sulit
dipahami)

122
MITOS 10
Satu Hasil Eksperimen Penelitian Bisa Jadi
Banyak Paper dan Dipublikasikan
di Banyak Jurnal

123
Software Defect Prediction Frame
Research Problems (RP) Metaheuristic Optimiza

RP1
1. While many studies on software defect
RP1 RQ1
prediction report the comparative performance
of the classification algorithms used, but there
is no strong consensus on which classifiers
perform best when individual studies are
RQ2
looked separately

2. Noisy attribute predictors and imbalanced class


RP2 distribution of software defect datasets result RP2 RQ3

in inaccuracy of classification models

3. Neural network has strong fault tolerance and RQ4


RP3 strong ability of nonlinear dynamic processing
of software fault data, but practicability of
neural network is limited due to difficulty of
selecting appropriate parameters RP3 RQ5

124
Pola RP – RQ – RC pada Penelitian
Software Defect Prediction Framework based on Hybrid
Metaheuristic Optimization Methods
• Research Problem (RP) atau masalah
penelitian adalah alasan kita RC1
RP1 RQ1
melakukan penelitian CF-SDP

RC2
• Satu RP bisa coba dipecahkan dengan RQ2
GAFS+B
banyak cara/metode/solusi/hipotesis
(Research Question (RQ)) RC3
RP2 RQ3
PSOFS+B

• Satu RQ akan membentuk satu


kontribusi ke pengetahuan RQ4
(Research Contribution (RC))
RC4

• Satu RC akan menjadi satu paper RP3 RQ5


NN-GAPO+B
publikasi
125
A Hybrid Particle Swarm
Optimization based Feature
Selection and Bagging
Technique for Software
Defect Prediction (PSOFS+B)

• Each particle represents a feature


subset, which is a candidate
solution
• Implement bagging technique and
train the classifier on the larger
training set based on the selected
feature subset and the type of
kernel
• If all classifiers are finished,
combine votes of all classifiers
• Finally, measure validation accuracy
on testing dataset via the generated
model
126
Results: With PSOFS+B
Classifiers CM1 KC1 KC3 MC2 MW1 PC1 PC2 PC3 PC4
LR 0.738 0.798 0.695 0.78 0.751 0.848 0.827 0.816 0.897
Statistical
LDA 0.469 0.627 0.653 0.686 0.632 0.665 0.571 0.604 0.715
Classifier
NB 0.756 0.847 0.71 0.732 0.748 0.79 0.818 0.78 0.85

Nearest k-NN 0.632 0.675 0.578 0.606 0.648 0.547 0.594 0.679 0.738
Neighbor K* 0.681 0.792 0.66 0.725 0.572 0.822 0.814 0.809 0.878
Neural
BP 0.7 0.799 0.726 0.734 0.722 0.809 0.89 0.823 0.915
Network
Support Vector
SVM 0.721 0.723 0.67 0.756 0.667 0.792 0.294 0.735 0.903
Machine
C4.5 0.682 0.606 0.592 0.648 0.615 0.732 0.732 0.78 0.769
Decision Tree CART 0.611 0.679 0.787 0.679 0.682 0.831 0.794 0.845 0.912
RF 0.62 0.604 0.557 0.533 0.714 0.686 0.899 0.759 0.558

• Almost all classifiers that implemented PSOFS+B outperform the


original method
• Proposed PSOFS+B method affected significantly on the
performance of the class imbalance suffered classifiers
127
Without PSOFS+B vs With PSOFS+B
Classifiers P value of t-Test Result
LR 0.323 Not Sig. (P > 0.05)
Statistical
LDA 0.003 Sig. (P < 0.05)
Classifier
NB 0.007 Sig. (P < 0.05)

Nearest k-NN 0.00007 Sig. (P < 0.05)


Neighbor K* 0.001 Sig. (P < 0.05)
Neural Network BP 0.03 Sig. (P < 0.05)
Support Vector
SVM 0.09 Not Sig. (P > 0.05)
Machine
C4.5 0.0002 Sig. (P < 0.05)
Decision Tree CART 0.002 Sig. (P < 0.05)
RF 0.01 Sig. (P < 0.05)

• Although there are two classifiers that have no significant


difference (P > 0.05), the results have indicated that those of
remaining eight classifiers have significant difference (P < 0.05)
• The proposed PSOFS+B method makes an improvement in
prediction performance for most classifiers
128
Proposed Methods vs Other Methods
CM1 KC1 KC3 MC2 MW1 PC1 PC2 PC3 PC4
NB only (Lessmann et al.) 0.734 0.786 0.67 0.739 0.732 0.781 0.811 0.756 0.838
NB with InfoGain (Menzies et al.) 0.708 0.786 0.677 0.712 0.752 0.775 0.885 0.756 0.84
NB with FS (Song et al.) 0.601 0.799 0.749 0.707 0.704 0.742 0.824 0.583 0.812
NB (PSOFS+B) 0.756 0.847 0.71 0.732 0.748 0.79 0.818 0.78 0.85
NB (GAFS+B) 0.702 0.79 0.677 0.739 0.724 0.799 0.805 0.78 0.861

129
Research Publication

Romi Satria Wahono, Nanna Suryana and Sabrina


Ahmad, Metaheuristic Optimization based Feature
Selection for Software Defect Prediction, Journal of
Software, Vol. 9, No. 5, May 2014
(SCOPUS SJR: 0.260)

130
Software Defect Prediction Framework based on
Software Defect Prediction Framework based on Hybrid
Research Publications
Hybrid Metaheuristic Optimization Methods
Metaheuristic Optimization Methods

RC1 Romi Satria Wahono, Nanna Suryana Herman and


Sabrina Ahmad, A Comparison Framework of
RP1 RQ1 Classification Models for Software Defect Prediction ,
CF-SDP Advanced Science Letters, Vol. 20, No. 8, August 2014

RC2 Romi Satria Wahono and Nanna Suryana Herman,


Genetic Feature Selection for Software Defect
RQ2 Prediction, Advanced Science Letters, Vol. 20, No. 1,
GAFS+B January 2014

Romi Satria Wahono and Nanna Suryana, Combining


RC3 Particle Swarm Optimization based Feature Selection
RP2 RQ3 and Bagging Technique for Software Defect Prediction,
PSOFS+B International Journal of Software Engineering and Its
Applications, Vol. 7, No. 5, October 2013

Romi Satria Wahono, Nanna Suryana and Sabrina


RQ4 Ahmad, Metaheuristic Optimization based Feature
Selection for Software Defect Prediction, Journal of
Software, Vol 9, No 5, May 2014

Romi Satria Wahono, Nanna Suryana and Sabrina


RC4 Ahmad, Metaheuristic, Neural Network Parameter
RP3 RQ5 Optimization Based on Genetic Algorithm for Software
NN-GAPO+B Defect Prediction, Advanced Science Letters, Vol. 20,
No. 8, August 2014
131
Mitos 1: Penelitian Yang Baik Itu
Outputnya Nyata dalam Bentuk Produk

Mitos 10: Satu Hasil Eksperimen Bisa Mitos 2: Tujuan Utama


Jadi Banyak Paper dan Dipublikasikan Penelitian adalah Adanya
di Banyak Jurnal Kontribusi ke Masyarakat

Mitos 9: Saya Melakukan Citation

10 MITOS
Mitos 3: Metode Penelitian yang
dengan Meng-Copy Paste Kalimat
dan Paragraf dari Paper Lain Saya Gunakan adalah Waterfall

PENELITIAN
Mitos 8: Penelitian yang Baik itu Mitos 4: Masalah Penelitian itu
Topik dan Skalanya Besar, serta adalah Masalah Yang Muncul di
Berhubungan dengan Banyak Bidang Masyarakat

Mitos 7: Penelitian Itu Semakin Mitos 5: Studi Literatur Berisi


Aplikatif dan Terapan Semakin Berbagai Teori Dasar dan Definisi
Mudah Masuk Jurnal Terindeks yang Ada di Buku

Mitos 6: Semakin Banyak Literatur


yang Saya Baca, Saya Semakin Pusing
132
Terima Kasih
Romi Satria Wahono
romi@romisatriawahono.net
http://romisatriawahono.net
http://youtube.com/RomiSatriaWahono
08118228331

133
Serial Metodologi Penelitian
(Youtube Channel: Romi Satria Wahono)

134
Textbooks

135
Reference
• Abbott, M., & McKinney, J. (2013). Understanding and Applying
Research Design. John Wiley & Sons, Inc.
• Berndtsson, M., Hansson, J., & Olsson, B. (2008). Thesis Projects: a
Guide for Students in Computer Science and Information Systems
(2nd ed.). London: Springer-Verlag
• Blaxter, L., Hughes, C., & Tight, M. (2006). How to Research (3rd ed.).
Open University Press
• Blessing, L. T. M., & Chakrabarti, A. (2009). DRM, a Design Research
Methodology. Springer-Verlag London
• Cohen, L., Manion, L., & Morrison, K. (2005). Research Methods in
Education (5th ed.). Taylor & Francis Group.
• Dawson, C. W. (2009). Projects in Computing and Information
Systems A Student’s Guide (2nd ed.). Pearson Education Limited
• Jonker, J., & Pennink, B. (2010). The Essence of Research
Methodology. Springer-Verlag Berlin Heidelberg
• Lichtfouse, E. (2013). Scientific Writing for Impact Factor Journals.
Nova Science Publishers, Inc.
136
Reference
• Kothari, C. (2004). Research Methodology: Methods and Techniques.
New Age International
• Might, M. (2010). The Illustrated Guide to a Ph.D. Matt.might.net.
Retrieved from http://matt.might.net/articles/phd-school-in-
pictures/
• Marczyk, G., DeMatteo, D., & Fertinger, D. (2005). Essentials of
Research Design and Methodology. John Wiley & Sons, Inc.
• Rea, L. M., & Parker, R. A. (2014). Designing and Conducting Survey
Research: A Comprehensive Guide (4th ed.). John Wiley & Sons, Inc.
• Runeson, P., Host, M., Rainer, A., & Regnell, B. (2012). Case Study
Research in Software Engineering: Guidelines and Examples. John
Wiley & Sons, Inc.
• Sahu, P. K. (2013). Research Methodology: A Guide for Researchers
In Agricultural Science, Social Science and Other Related Fields.
Springer.
• Veit, R., Gould, C., & Gould, K. (2013). Writing, Reading, and
Research (9th ed.). Cengage Learning.
137

Anda mungkin juga menyukai