AGUSRIANDI
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2019
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa tesis berjudul model prediksi kinerja
siswa berdasarkan analisis log aktivitas pada social network dan e-learning adalah
benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam
bentuk apapun kepada perguruan tinggi manapun. Sumber informasi yang berasal
atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain
telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir
tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Juli 2019
Agusriandi
NIM G651170121
RINGKASAN
AGUSRIANDI. Model Prediksi Kinerja Siswa Berdasarkan Analisis Log Aktivitas
pada Social Network dan E-learning. IMAS SUKAESIH SITANGGANG dan
SONY HARTONO WIJAYA.
Kinerja siswa adalah gambaran seorang siswa sebagai hasil dari kerja yang
dapat diukur dari berbagai aspek. Programme for International Student Assessment
(PISA) pada tahun 2015 mempublikasikan bahwa kinerja siswa Indonesia pada
bidang sains, matematika dan keterampilan membaca masih jauh di bawah rata-rata
yaitu pada posisi 62 dari 70 negara. Padahal, kinerja siswa merupakan bagian
terpenting dari berkembangnya institusi pendidikan. Di sisi lain, 99% institusi
pendidikan tinggi di beberapa negara termasuk Amerika Serikat telah menerapkan
e-learning. Mereka tidak hanya mengimplementasikan e-learning tetapi juga
melibatkan social network atau SN-Learning.
Faktanya, SN-learning (social network dan e-learning) telah digunakan oleh
institusi pendidikan di Indonesia. Namun, social network hanya dimanfaatkan
sebatas menyampaikan informasi atau pengumuman. Sedangkan e-learning telah
dimanfaatkan namun belum masif. Padahal, log aktivitas dalam SN-learning dapat
dimanfaatkan untuk memperoleh pengetahuan strategis dalam rangka memahami
kinerja siswa. Memahami kinerja siswa dapat dilakukan dengan analisis data,
analisis social network, dan analisis log aktivitas. Analisis social network adalah
analisis struktural yang menggunakan teori grafik dan bertujuan mempelajari pola
kolaborasi sosial antaraktor dalam konteks pendidikan seperti siswa, guru, atau
lembaga melalui analisis struktural yang mencerminkan sebuah jaringan.
Sedangkan, e-learning adalah alat untuk melakukan pendidikan jarak jauh. Analisis
log aktivitas dalam e-learning adalah salah satu proses transformasi data mentah
menjadi pengetahuan strategis.
Pemanfaatan SN-learning dalam kegiatan pembelajaran memiliki
keterbatasan yang dapat menimbulkan masalah. Masalah yang sering muncul pada
grup social network adalah siswa tidak memiliki kesempatan yang sama untuk
berkontribusi. Sedangkan dalam e-learning memiliki log aktivitas sebagai
gambaran kondisi nyata siswa yang beraktivitas namun memiliki volume yang
sangat besar sehingga dibutuhkan teknik khusus untuk memperoleh pengetahuan
tentang kinerja siswa.
Penelitian ini memiliki tiga tujuan (1) mengidentifikasi masalah kolaborasi
siswa pada grup social network berdasarkan derajat sentralitas (2) menganalisis
kinerja siswa dalam e-learning menggunakan teknik process mining (3) membuat
model prediksi kinerja siswa dengan algoritme Random Forest atau RF. Hasil dari
penelitian ini menunjukkan bahwa aktivitas siswa pada social network dan e-
learning berkontribusi atau berkorelasi positif terhadap nilai akhir siswa. Oleh
karena itu, penelitian ini merekomendasikan agar pengelola institusi pendidikan
menggunakan social network dan e-learning secara masif.
Kata kunci: e-learning, log aktivitas, kinerja siswa, random forest, social network
SUMMARY
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
MODEL PREDIKSI KINERJA SISWA BERDASARKAN
ANALISIS LOG AKTIVITAS PADA SOCIAL NETWORK
DAN E-LEARNING
AGUSRIANDI
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Komputer
pada
Program Studi Ilmu Komputer
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2019
Penguji Luar Komisi pada Ujian Tesis : Dr Eng Annisa, SKom, MKom
Judul Tesis : Model Prediksi Kinerja Siswa Berdasarkan Analisis Log
Aktivitas pada Social Network dan E-learning
Nama : Agusriandi
NIM : G651170121
Disetujui oleh
Komisi Pembimbing
Dr Imas Sukaesih Sitanggang, SSi, MKom Dr Sony Hartono Wijaya, SKom, MKom
Ketua Anggota
Diketahui oleh
Dr Imas Sukaesih Sitanggang, SSi, MKom Prof Dr Ir Anas Miftah Fauzi, MEng
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang
dipilih dalam penelitian yang dilaksanakan sejak bulan November 2018 ini adalah
model prediksi kinerja siswa berdasarkan analisis log aktivitas pada social network
dan e-learning.
Penulisan tesis ini merupakan karya ilmiah dari gelar Master yang dilakukan
oleh penulis sendiri. Banyak tantangan dan kendala dari awal hingga berakhirnya
penelitian ini. Doa, dukungan, dan motivasi dari Ayah Empu Pariwangi dan Ibu
Diana serta istri penulis Fitriani dan ketiga anak kami yaitu Naurah Fathiyyah
Riandi, Nafis Ajwad Riandi, dan si bungsu Rizhan Syauqi Riandi menjadi kekuatan
untuk menyelesaikan penelitian ini. Terima kasih juga penulis sampaikan kepada
Ibu Dr Imas Sukaesih Sitanggang, SSi MKom dan Bapak Dr Sony Hartono Wijaya
SKom MKom selaku komisi pembimbing yang senantiasa mengarahkan,
memberikan solusi ketika terdapat kesulitan, dan ikhlas meluangkan waktu untuk
memberikan bimbingan selama penelitian. Terima kasih kepada LPDP
Kementerian Keuangan RI sebagai sponsor studi ini. Penulis juga menyampaikan
terima kasih kepada:
1 Ibu Dr Imas Sukaesih Sitanggang, SSi MKom selaku Ketua Program Studi
Magister Ilmu Komputer IPB.
2 Ibu Dr Eng Annisa, SKom MKom selaku penguji luar komisi pembimbing
yang telah memberikan banyak saran dalam penyempurnaan karya ini.
3 Seluruh dosen, staf tata usaha, dan staf pegawai Departemen Ilmu Komputer
dan Sekolah Pascasarjana IPB.
4 Seluruh teman-teman sebimbingan, yaitu Andi Nurkholis, Vega Purwayoga,
Yazid Aufar, Andi Widya Mufila Gaffar dan Elsa Elvira Awal.
5 Teman-teman seperjuangan di Asrama Bendhitos yang senantiasa memotivasi.
6 Seluruh teman-teman Program Pascasarjana Ilmu Komputer IPB angkatan 2017.
Semoga segala kebaikan, perhatian, bimbingan, motivasi, dan dukungan yang
telah diberikan kepada penulis senantiasa dibalas oleh Allah subhanahu wa ta’ala.
Semoga karya ilmiah ini memberikan manfaat dan menambah wawasan bagi
pembaca. Aamiin ya Rabbal Alamin. Jazakamullah khairan katsiran wa
jazakumullah ahsanal jaza.
Agusriandi
DAFTAR ISI
DAFTAR GAMBAR
1 PENDAHULUAN
Latar Belakang
Kinerja siswa adalah gambaran seorang siswa sebagai hasil dari kerja yang
dapat diukur dari berbagai aspek (Yang dan Li 2018). Programme for
International Student Assessment (PISA) mempublikasikan hasil kinerja siswa
Indonesia pada bidang sains, matematika, dan keterampilan membaca jauh di
bawah rata-rata negara anggota PISA, yaitu berada pada urutan 62 dari 70 negara
(PISA 2015). Berbagai cara telah dilakukan pemerintah Indonesia dalam
meningkatkan kinerja siswa seperti mengganti kurikulum, sertifikasi guru dan
dosen, beasiswa, penerapan teknologi, dan kebijakan lainnya. Namun, peringkat
kinerja siswa Indonesia masih di bawah negara tetangga seperti Singapura.
Padahal, kinerja siswa merupakan bagian terpenting berkembangnya institusi
pendidikan (Koutina dan Kermanidis 2011, Shahiri et al. 2015).
Di sisi lain, negara yang memiliki kinerja pendidikan yang baik telah
memanfaatkan e-learning (Vogt 2016). Khusus di Amerika Serikat, 99% institusi
pendidikan tingginya telah menerapkan e-learning (Dahlstrom et al. 2014, Vogt
2016). Tidak hanya sebatas e-learning, teknologi pembelajaran terus berkembang
dengan melibatkan social network atau Social Network-based learning (SN-
Learning) (Krouska et al. 2018). Faktanya, SN-learning telah digunakan oleh
institusi pendidikan di Indonesia. Namun, social network hanya dimanfaatkan
sebatas menyampaikan informasi atau pengumuman. Sedangkan e-learning telah
dimanfaatkan namun belum masif. Padahal, log aktivitas dalam SN-learning
dapat dimanfaatkan menjadi pengetahuan strategis yang dapat ditindaklanjuti
untuk mendapatkan pengetahuan (Das 2013).
Analisis log aktivitas pada social network bertujuan mempelajari pola
hubungan sosial antara aktor dalam konteks pendidikan berupa siswa, guru, atau
institusi yang melalui analisis struktural yang mencerminkan network bukan
atribut atau properti aktor (Crespo 2013). Penggunaan social network dalam
kolaborasi sering kali menimbulkan masalah sehingga siswa yang lain tidak
berkontribusi sama. Oleh karena itu, mengidentifikasi masalah pada kolaborasi
siswa menjadi bagian penting supaya siswa dapat mencapai tujuan bersama. Siswa
diidentifikasi menggunakan pengukuran derajat centrality. Derajat centrality
diperoleh dengan 2 pendekatan, metode global dan lokal. Metode global
menekankan pada semua aspek interaksi aktor (betweenness centrality),
sedangkan metode lokal fokus pada posisi aktor (degree centrality) (Ahajjam et
al. 2018).
Analisis log aktivitas pada e-learning merupakan salah satu proses
transformasi baris data ke dalam pengetahuan strategis yang dapat ditindaklanjuti
untuk mendapatkan wawasan tentang proses bisnis (Yurek et al. 2018). Salah satu
tujuan analisis log aktivitas adalah conformance checking untuk memperoleh
pengetahuan strategis (Rozinat dan Aalst 2008, Aalst 2011). Cairns et al. (2015)
menggunakan ProM Framework untuk memperoleh pengetahuan dari log
aktivitas. Algoritme terbaru dalam ProM Framework adalah Inductive Miner atau
IM (Bogarin et al. 2018).
2
Rumusan Masalah
Tujuan Penelitian
Manfaat Penelitian
2 TINJAUAN PUSTAKA
Kinerja Siswa
Analisis Pemodelan
Preskriptif
Prediktif
Value
Diagnostik
Deskriptif
Difficulty
Analisis kualitas data adalah upaya untuk mendapatkan kualitas data dengan
pengukuran secara objektif (Jugulum 2014). Kegagalan dalam menghasilkan
kualitas data yang baik pada tahap praproses akan mengurangi akurasi secara
signifikan dari setiap pekerjaan analisis data (Corrales et al. 2018). Jugulum
(2014) menjelaskan bahwa terdapat 4 dimensi inti dari kualitas data seperti
kelengkapan data, kesesuaian data, validitas data, dan akurasi data. Analisis
kualitas data digunakan pada penelitian ini sebelum melakukan tahapan analisis
deskriptif, diagnostik, dan prediktif.
Analisis Deskriptif
Analisis Diagnostik
Analisis diagnostik adalah ilmu mengidentifikasi hal yang terjadi pada masa
lalu atau yang sedang terjadi saat ini. Analisis diagnostik termasuk memahami
6
dampak dari faktor input dan kebijakan operasional (Shao et al. 2014). Pada
bagian ini dijelaskan 2 jenis pendekatan yang dilakukan dalam diagnostik, yaitu
analisis log aktivitas pada social network dan e-learning.
Social Network
Social network adalah jaringan directed atau undirected dari graf 𝐺 =
(𝑉, 𝐸) dimana 𝑉 merupakan {1,2 … . , 𝑁} (kumpulan vertex) yang
merepresentasikan individu dan 𝐸 (edge) sebagai komunikasi atau interaksi (Chen
et al. 2009, Nikolaev et al. 2015). Setiap vertex dalam 𝐺 merepresentasikan
elemen di dalam dataset (Ahajjam et al. 2018). Informasi nilai interaksi antaraktor
tersimpan pada sebuah matriks yang dinamakan adjacency seperti pada Tabel 2
(Smedt et al. 2016). Nilai 1 pada Tabel 2 merepresentasikan adanya interaksi
antaraktor sedangkan nilai 0 merepresentasikan tidak adanya interaksi antaraktor.
Tabel 2 Matriks adjacency (Smedt et al. 2016)
a b c d
a 0 1 1 0
b 1 0 1 1
c 0 1 0 0
d 0 1 0 0
Process Mining
Pekerjaan memperoleh pengetahuan dari process yang menawarkan
serangkaian teknik dan alat untuk menemukan pola berurutan yang
direpresentasikan sebagai workflow dari log aktivitas adalah pekerjaan process
mining (Munoz-gama 2014, Emond dan Buffett 2015). Workflow dari process
mining menghasilkan process model yang digunakan sebagai masukan langsung
untuk mengelola, koordinasi, memantau, dan memvalidasi semua aktivitas
(Munoz-gama 2016). Setelah process model ditemukan atau adanya process
model sebagai referensi, langkah berikutnya adalah conformance checking (Aalst
2016).
ProM Framework adalah alat process mining yang paling lengkap dan
mumpuni untuk menganalisis log aktivitas. Data log aktivitas yang masuk ke
dalam ProM memiliki standar yaitu Mining eXtensible Markup Language atau
disingkat MXML (Bhat 2016). Arsitektur ProM bersifat pluggable dan open
source yang digunakan untuk process mining dari semua perspektif (Dongen et al.
2005). Cairns et al. (2015) menggunakan algoritme pada ProM yaitu heurisitk
miner dalam melakukan yang analisis log aktivitas. Selain heuristic miner,
beberapa algoritme yang dapat digunakan seperti alpha miner, evolutionary tree
miner dan yang terbaru inductive miner (Bogarin et al. 2018).
Gambar 2 menunjukkan tahapan teknik process mining dari semua
prespektif pada log aktivitas. Conformance checking bertujuan untuk memantau
penyimpangan antara perilaku yang diamati dalam log aktivitas dan process model
normatif (Rozinat dan Aalst 2008, Aalst 2011). Berdasarkan cara tersebut, maka
penyimpangan perilaku atau tindakan-tindakan yang tidak sesuai dengan process
model dapat diidentifikasi dan dianalisis (Ghazal et al. 2017).
8
Penemuan model
/Model Discovery
Penemuan model
Analisis Kinerja Log
Aktivitas dengan perluasan
Conformance
Checking
Pemasukan model
Analisis Prediktif
baik. Seperti penelitian yang dilakukan oleh Mythili dan Shanavas (2014)
menghasilkan nilai akurasi 89.23% dan waktu eksekusi paling singkat dibanding
algoritme ML lainnya. Koutina dan Kermanidis (2011) dengan nilai akurasi
90.90% untuk data sampel, dan Corrales et al. (2018) dengan nilai akurasi di atas
90% untuk dataset yang diujicobakan.
3 METODOLOGI
Penelitian ini dimulai pada bulan September 2018 sampai dengan Juni 2019
dengan studi kasus pada mata kuliah Data Mining Terapan yang ditawarkan ke
mahasiswa S2 Ilmu Komputer FMIPA IPB. Lokasi riset di Kampus IPB Dramaga
dengan alamat Jalan Raya Dramaga, Babakan, Kecamatan Dramaga, Kabupaten
Bogor, Jawa Barat.
Peralatan Penelitian
Pengumpulan Data
Data diperoleh dengan cara memanfaatkan log aktivitas pada grup social
network dan e-learning serta nilai-nilai mata kuliah Data Mining Terapan yang
ditawarkan kepada mahasiswa S2 Ilmu Komputer FMIPA IPB. Periode data yaitu
semester genap tahun akademik 2017/2018. Beberapa atribut yang akan
digunakan pada penelitian ini seperti pada Tabel 3.
10
Mulai
Tujuan pertama dan kedua Tujuan ketiga
Analisis diagnostik 1,
analisis kinerja siswa
pada social network Tidak Apakah rata-rata
akurasi>= 75% ?
Analisis diagnostik 2,
analisis kinerja siswa Ya
pada e-learning
Selesai
Analisis kualitas data atau praproses digunakan untuk memahami data yang
kompleks dan heterogen. Proses yang dilakukan pada praproses yaitu menghapus
data duplikat, memeriksa data yang tidak konsisten, dan memperbaiki kesalahan
dalam data serta menangani missing value.
Analisis Deskriptif
Analisis Diagnostik
Start
𝑎𝑖 = ∑ ℎ𝑖 ′ , ℎ𝑖 = ∑ 𝑎𝑖 ′ , (1)
𝑖 ′ ∈𝑂 𝑖 ′ ∈𝑇
∑ 𝑎𝑖 = ∑ ℎ𝑖 = 1 (2)
𝑖∈𝐼 𝑖∈𝐼
Conformance Checking
ProM Framework digunakan pada penelitian ini untuk melakukan seluruh
tahapan analisis proses pada e-learning. Tahapan secara keseluruhan analisis
proses pada ProM Framework seperti pada Gambar 5. Gambar 5 menampilkan
tahapan untuk mengerjakan tujuan 2 pada penelitian ini.
15
Start
𝑁 = (𝑃, 𝑇, Ƒ, 𝑚𝑜 , 𝑚𝑓 , 𝜆) (3)
Conformance Checking
Setelah process discovery yang menghasilkan model proses dalam bentuk
notasi Petri net, langkah berikutnya yaitu melakukan analisis dengan conformance
checking. Conformance checking bertujuan untuk memantau penyimpangan
antara perilaku yang diamati dalam log aktivitas dan model proses normatif (hasil
discovery) (Rozinat dan Aalst 2008, Aalst 2011). Berdasarkan cara tersebut, maka
penyimpangan perilaku atau tindakan-tindakan yang tidak sesuai dengan proses
model dapat diidentifikasi (Ghazal et al. 2017). Dimensi utama dalam mengukur
kualitas hasil conformance checking yaitu seperti pada persamaan 4 (Aalst 2016).
16
1 𝑚 𝑟
𝑓𝑖𝑡𝑛𝑒𝑠𝑠 (𝜎, 𝑁) = (1 − ) + (1 − ) (4)
2 𝑐 𝑝
dimana 𝜎 pada penelitian ini adalah trace (jalur) yang dilalui oleh aktivitas siswa.
Ada empat jenis perhitungan: p (token yang diproduksi), c (token yang digunakan),
m (token yang bermasalah), dan r (token yang tersisa). Token melambangkan suatu
bahan yang akan diolah dan disertai dengan aktivitasnya. Nilai fitness berada pada
rentang 0 - 1, dimana 0 berarti sangat buruk dan 1 berarti sempurna atau jawaban
dari log aktivitas tidak terdapat masalah. Sebagai contoh, jika nilai fitness (Lfull,
N1) = 0.90 berarti 90% dari aktivitas di dalam (Lfull) dapat diperiksa oleh sistem
secara benar. Sebuah model yang mempunyai nilai fitness yang baik dapat
mengulang lebih banyak traces (Aalst 2011).
Analisis Prediksi
Mulai
Pembagian dataset
Fail data Penerapan
training dan
CSV Algoritme RF
dataset testing
Tidak
Rata-rata
Selesai akurasi ≥ 75%? Evaluasi dan validasi
kinerja algoritme RF
Ya
Penerapan Algoritme RF
Algoritme ML diterapkan dalam pembuatan model prediksi bertujuan untuk
mencari model yang akurasinya tinggi dan nilai error-nya rendah. Salah satu
17
Pada penelitian ini pembuatan sampel dengan metode LOOCV karena baris
data yang digunakan sedikit. Modifikasi Algoritme 3 dengan menggunakan
LOOCV ditunjukkan pada Algoritme 4.
𝑓𝑝𝑖 +𝑓𝑛𝑖
∑𝑙𝑖=1
Nilai error = 𝑡𝑝𝑖 +𝑓𝑛𝑖 +𝑓𝑝𝑖 +𝑡𝑛𝑖 (6)
𝑙
18
Kualitas Data
(a) (b)
Gambar 7 Data grup WhatsApp (a) sebelum (b) sesudah analisis kualitas data
(a) (b)
Gambar 8 Log aktivitas (a) sebelum (b) sesudah analisis kualitas data
19
Interaksi
Jumlah interaksi
Siswa yang mengirim pesan pada grup social network disertai dengan
tanggal. Interaksi siswa berlangsung selama satu semester yang dimulai pada
tanggal 06 Februari 2018 sampai dengan 20 Juli 2018. Puncak interaksi siswa
20
terjadi pada rentang tanggal 06 sampai dengan 17 Februari 2018. Deskripsi secara
lengkap dari interaksi siswa berdasarkan pada tanggal seperti Gambar 10.
Tanggal
yang aktivitasnya dimulai pada tanggal 23 Januari 2018 sampai dengan 15 Juli
2018. Rangkuman log aktivitas siswa pada e-learning seperti pada Tabel 5.
Tabel 5 Rangkuman log aktivitas siswa di e-learning
Deksripsi Nilai
Jumlah siswa 14
Jumlah aktivitas 2,235
Jumlah kelas aktivitas 16
Aktivitas siswa per kelas
Minimal 4
Maksimal 261
Rata-rata 160
Kelas aktivitas per siswa
Minimal 4
Maksimal 11
Rata-rata 9
Informasi yang dapat diperoleh dari log aktivitas pada ProM Framework
salah satunya adalah rangkuman log. Rangkuman log berisi informasi tentang
aktivitas setiap kelas yang didefinisikan menjadi event name, event name AND
lifecycle transition, dan jalur berdasarkan tanggal siswa beraktivitas pada e-
learning. Pada bagian event name ditampilkan jumlah aktivitas dan persentasenya
dari seluruh kelas aktivitas seperti Tabel 7.
22
Rangkuman log dari setiap kelas aktivitas yang digambarkan dalam bentuk
jalur terhubung dari waktu ke waktu seperti pada Gambar 11. Grafik pada Gambar
11 menunjukkan aktivitas yang paling banyak dilakukan oleh siswa yaitu pada
rentang bulan Februari sampai dengan Maret 2018. Siswa cenderung sepi
beraktivitas pada rentang pada bulan April sampai pertengahan Juni 2018. Pada
akhir bulan Juni 2018 siswa beraktivitas namun hanya terjadi sesaat.
23
Diagnostik Siswa
Pada bagian ini akan dibahas tentang analisis diagnostik. Analisis diagnostik
digunakan untuk mengetahui “why did happened ?” pada hasil analisis deskriptif
interaksi siswa pada grup social network dan e-learning yang dihubungkan
dengan nilai akhir siswa. Nilai akhir siswa ditunjukkan seperti pada Tabel 9.
Tabel 9 Nilai huruf mutu mata kuliah topik dalam Data Mining Terapan
ID siswa Nilai huruf mutu
34140 A
34340 AB
34074 AB
34086 A
34092 B
34107 AB
34073 B
34404 A
34070 B
34085 B
34156 AB
34075 B
Mendominasi
Free-rider
(a) (b)
Gambar 12 Hasil identifikasi siswa mendominasi (a) hub setiap siswa (b)
authority setiap siswa
Gambar 12 menunjukkan siswa mendominasi dengan ID 34140 yang berarti
bahwa interaksi siswa tersebut lebih berpengaruh atau dominan daripada siswa
yang lain dalam grup social network. Selanjutnya, keputusan bahwa siswa
dominan terhadap siswa lain berdasarkan pada rataan nilai hubs dan authority.
Urutan hasil rataan nilai hubs dan authority interaksi siswa secara keseluruhan
ditunjukkan pada Tabel 10.
Tabel 10 Nilai hub dan authority setiap siswa
Id siswa Nilai huba Nilai authorityb Rata-rata nilai hub dan authority
34140 1.00 1.00 1.00
34340 0.73 0.84 0.78
34074 0.70 0.76 0.73
34086 0.63 0.82 0.72
34092 0.59 0.58 0.59
34107 0.76 0.39 0.57
34073 0.28 0.42 0.35
34404 0.21 0.23 0.22
34070 0.17 0.13 0.15
34085 0.10 0.16 0.13
34156 0.06 0.11 0.08
34075 0.02 0.03 0.03
a
Nilai hub adalah nilai interaksi siswa ketika berinteraksi keluar (out-degree) dengan siswa lain.
b
Nilai authoritie adalah nilai interaksi siswa ketika terdapat interaksi masuk (in-degree) dari siswa
lain.
25
dalam bentuk grafik yang mewakili perilaku paling umum dari siswa yang
beraktivitas pada e-learning.
Parameter yang digunakan pada algoritme IM ada 3 yaitu event classifier,
variation, dan noise threshold. Nilai untuk parameter event classifier yaitu event
name AND lifecycle transition, Inductive Miner untuk nilai dari variation, dan
noise threshold = 0.2. Pengaturan parameter algoritme IM pada aplikasi
RapidProM ditunjukkan pada Lampiran 2. Hasil discovery secara umum dari
seluruh siswa ditampilkan dalam bentuk jaringan Petri seperti pada Lampiran 3.
Siklus pada Lampiran 3 meskipun bermanfaat, hanya merupakan pendekatan
tingkat permulaan untuk analisis discovery knowledge (Romero et al. 2016). Hal
tersebut dapat dipahami sebab jaringan yang terbentuk menunjukkan perilaku
umum semua siswa sehingga banyak hubungan/ketergantungan antara aktivitas
yang membuat model lebih sulit ditafsirkan.
Setelah mendapatkan discovery, langkah selanjutnya adalah melakukan
conformance checking terhadap model yang telah dihasilkan dalam bentuk
jaringan Petri seperti pada Lampiran 4. Syarat utama dalam melakukan
conformance checking adalah sebuah jaringan Petri dan data log. Terdapat 4
parameter yang menyertainya yaitu event classifier, Replay Algorithm, Max
Explored States, Timeout, dan Number of Threads. Pengaturan parameter
conformance checking pada aplikasi RapidProM ditunjukkan pada Lampiran 5.
Pada jaringan yang terbentuk tanda segiempat mewakili aktivitas siswa ketika
berinteraksi dengan antarmuka e-learning, dan busur/tautan mewakili
ketergantungan/hubungan antara aktivitas.
Zoom in
Course
module
viewed+compl
ete (177/0)
Course
viewed+comp
lete (214/0)
mutu A, 524 baris untuk huruf mutu B, dan 2,216 baris untuk siswa yang
memperoleh nilai huruf mutu A, AB, dan B.
Gambar 13 menunjukkan subnet (aktivitas) frekuensi hubungan relatif
tinggi dan saling berdekatan antara dua subnet yaitu curse course viewed dan
module viewed dan relatif sedikit pada subnet yang lain. Berdasarkan pola siswa
tersebut, maka dapat dipahami bahwa tipe siswa yang memperoleh huruf mutu A
lebih mementingkan aktivitas course module dan course module viewed dibanding
aktivitas lain. Dengan demikian, dapat diperoleh pengetahuan bahwa siswa yang
memperoleh huruf mutu A, di mana huruf mutu A merupakan nilai tertinggi,
beraktivitas lebih fokus pada membaca modul (materi kuliah) sebelum melakukan
aktivitas lain.
Zoom in
The status of the
submission has
been viewed +
complited
Submission form
viewed + complete
42/0
Course module
viewed+complete
(226/0)
nilai fitness untuk keseluruhan data log menunjukkan angka 0.94 yang berarti 94%
aktivitas di dalam model proses dapat dikenali dengan benar oleh ProM
Framework.
Zoom in
Zoom in
Properti aktivitas terdiri atas tiga yaitu througput time, waiting time, dan
sojourn time. Gambar 16 menunjukkan kinerja seluruh siswa berdasarkan waktu.
Aktivitas siswa bernilai rendah berarti siswa tidak membutuhkan waktu lama
untuk berpindah dari halaman e-learning tersebut. Sedangkan aktivitas yang nilai
propertinya tinggi seperti course searched pada Gambar 16 menunjukkan bahwa
siswa membutuhkan waktu yang lama untuk berpindah dari halaman tersebut.
Waktu yang lama untuk berpindah dari halaman web dapat didiagnosa sebagai
aktivitas yang mengalami bottleneck.
Berdasarkan paparan sebelumnya, maka simpulan tujuan 2 penelitian ini
adalah aktivitas siswa pada e-learning yang paling banyak berdasarkan hasil
conformance checking yaitu course module viewed dan course viewed. Informasi
tersebut dapat menjadi bahan pertimbangan untuk evaluasi kinerja siswa pada e-
learning bahwa layanan e-learning menyediakan banyak fasilitas tidak hanya
course module viewed dan course viewed. Hasil penelitian ini dapat pula menjadi
bahan evaluasi bagi pengelola LMS mata kuliah topik dalam Data Mining Terapan
untuk menyederhanakan layanan karena perilaku siswa hanya terfokus pada dua
aktivitas tersebut.
Hasil analisis social network dan log aktivitas digabungkan menjadi satu
dataset. Variabel class menjadi variabel prediktor yang terdiri dari 3 label yaitu
grade A, AB, dan B yang kemudian ditransformasi menjadi A = 1, AB = 2, dan B
= 3. Deskripsi lengkap dari dataset seperti pada Tabel 12.
Tabel 12 Komponen dataset pada model prediksi
Variabel Deskripsi Tipe
Trace fitness Nilai trace fitness setiap siswa numerik
Move-log fitness Nilai move-log fitness setiap siswa numerik
Move-model fitness Nilai move-model fitness setiap siswa numerik
social_network_as Nilai authority setiap siswa numerik
social_network_hub Nilai hub setiap siswa numerik
Nilai Presentasi Sudah jelas numerik
Nilai Makalah Sudah jelas numerik
Progres Projek Sudah jelas numerik
Tugas Akhir Sudah jelas numerik
P1 Nilai Praktikum 1 pada e-learning numerik
P2 Nilai Praktikum 2 pada e-learning numerik
P3 Nilai Praktikum 3 pada e-learning numerik
P4 Nilai Praktikum 4 pada e-learning numerik
P5 Nilai Praktikum 5 pada e-learning numerik
P6 Nilai Praktikum 6 pada e-learning numerik
PR Tugas PR dosen inisial TJD numerik
Praktikum Nilai praktikum numerik
UTS Nilai ujian tengah semester numerik
UAS 1 Nilai ujian akhir semester dosen 1 numerik
UAS 2 Nilai ujian akhir semester dosen 2 numerik
Nilai huruf Nilai akhir siswa A=1, AB =2 B =3 integer
30
Dataset pada penelitian ini tidak dipartisi dengan probabolitas 80:20 atau
70:30 untuk data train dan test karena menggunakan Leave One Out Cross
Validation (LOOCV). Langkah selanjutnya adalah melakukan pengujian terhadap
data train dengan menggunakan library randomForest dengan parameter number
of tree (ntree) = 100, mtry = 7, importance = TRUE, proximity = TRUE.
Sourcecode penerapan algoritme Random Forest (RF) seperti pada Lampiran 7
dan hasilnya ditampilkan dalam bentuk confusion matrix pada Tabel 13.
Tabel 13 Confusion matrix sebelum pembuatan model prediksi
Kelas A Kelas AB Kelas B
Kelas A 3 0 0
Kelas AB 2 1 1
Kelas B 0 2 3
10 Variabel Penting
UTS
Tugas Akhir
UAS ANN
Tugas.Praktikum.ANN
social_network_as
Trace.fitness
Nilai.Presentasi
Nilai.Makalah
UAS..TDJ.
PR..TJD.
0 0.5 1 1.5 2 2.5
Mean Deacrease Accuracy
(a)
10 Variabel Penting
Tugas Akhir
Tugas.Praktikum.ANN
Nilai.Presentasi
UTS
UAS ANN
Nilai.Makalah
social_network_hub
UAS..TDJ.
Trace.fitness
social_network_as
0 0.5 1 1.5 2
Mean Decrease Gini
(b)
Gambar 17 Daftar 10 variabel penting (a) mean decrease accuracy (b)
mean decrease gini
Gambar 17 menunjukkan variabel UTS sebagai variabel terpenting. Jika
ingin memprediksi nilai siswa yang akan datang, maka hal yang dapat dilakukan
yaitu memprioritaskan pada nilai UTS. Aturan yang dapat diperoleh dari model
prediksi ini adalah jika nilai UTS siswa tinggi maka dapat diprediksi siswa akan
memperoleh nilai huruf yang baik.
Berdasarkan paparan sebelumnya, maka simpulan tujuan 3 pada penelitian
ini memberikan informasi bahwa interaksi siswa pada social network dan e-
learning berkontribusi terhadap nilai akhir siswa. Adanya kontribusi tersebut
sehingga direkomendasikan untuk menyertakan interaksi siswa pada social
32
network dan e-learning sebagai salah satu item penilaian dalam menentukan nilai
akhir siswa. Informasi tersebut dapat juga menjadi bahan pertimbangan bagi
pengelola untuk mendorong penggunaan e-learning secara masif dan menjadikan
grup social network sebagai layanan diskusi alternatif selain ruang diskusi yang
telah disediakan.
Simpulan
Saran
DAFTAR PUSTAKA
Keterangan parameter:
Event classifier adalah parameter yang menentukan cara mengidentifikasi
aktivitas dalam log aktivitas, seperti yang didefinisikan dalam
http://www.xes-standard.org/.
Variation adalah variasi dari jenis algoritme dengan nilai default inductive
miner.
Noise Threshold adalah nilai ambang batas yang merepresentasikan
persentase noisy dari jejak yang difilter. Jejak yang tersisa digunakan untuk
menemukan model.
41
Keterangan parameter:
Event classifier adalah parameter yang menentukan cara mengidentifikasi
aktivitas dalam log aktivitas, seperti yang didefinisikan dalam
http://www.xes-standard.org/
Replay Algorithm adalah Jaringan petri yang akan digunakan untuk
menghitung kesesuaian.
Max Explored States (in Thousand) adalah jumlah maksimum bagian yang
akan ditelusuri jejak aktivitasnya.
Timeout (sec) adalah jumlah detik yang akan dijalankan operator ini sebelum
mengembalikan apa pun yang dapat dihitungnya (atau nol jika tidak).
Number of Threads adalah menentukan jumlah thread yang digunakan untuk
menghitung pekerjaan secara paralel. Setiap tambahan thread maka memori
yang digunakan lebih banyak tetapi waktu cpu yang diperlukan lebih sedikit.
44
Keterangan parameter:
Event classifier adalah parameter yang menentukan cara mengidentifikasi
aktivitas dalam log aktivitas, seperti yang didefinisikan dalam
http://www.xes-standard.org/
Replay Algorithm adalah Jaringan petri yang akan digunakan untuk
menghitung kesesuaian.
Max Explored States (in Thousand) adalah jumlah maksimum bagian yang
akan ditelusuri jejak aktivitasnya.
Timeout (sec) adalah jumlah detik yang akan dijalankan operator ini sebelum
mengembalikan apa pun yang dapat dihitungnya (atau nol jika tidak).
Number of Threads adalah menentukan jumlah thread yang digunakan untuk
menghitung pekerjaan secara paralel. Setiap tambahan thread maka memori
yang digunakan lebih banyak tetapi waktu cpu yang diperlukan lebih sedikit.
45
# Data Partition
set.seed(123)
ind <- sample(2, nrow(data), replace = TRUE, prob = c(0.8, 0.2))
train <- data[ind==1,]
test <- data[ind==2,]
# Random Forest
library(randomForest)
set.seed(222)
rf <- randomForest(class~., data=train,
ntree = 20,
mtry = 7,
importance = TRUE,
proximity = TRUE)
print(rf)
attributes(rf)
p1 <- predict(rf, train)
confusionMatrix(p1, train$class)
# # Prediction & Confusion Matrix - test data
p2 <- predict(rf, test)
confusionMatrix(p2, test$class)
# Error rate of Random Forest
plot(rf)
# Tune mtry
t <- tuneRF(train[,-20], train[,20],
stepFactor = 0.5,
plot = TRUE,
ntreeTry = 20,
trace = TRUE,
improve = 0.05)
RIWAYAT HIDUP