Anda di halaman 1dari 16

Machine Translated by Google

Komputer & Pendidikan 198 (2023) 104762

Daftar isi tersedia di ScienceDirect

Komputer & Pendidikan


beranda jurnal: www.elsevier.com/locate/compedu

Tinjauan penggunaan pemodelan bertingkat dalam penelitian e-learning


B e
Hung-Ming Lin , Jiun-Yu Wu , Jyh-Chong Liang CD,* , Yuan-Hsuan Lee ,
A

F
Pin-Chi Huang , Oi-Man Kwok g , Chin-Chung Tsai c,d
A
Departemen Administrasi Bisnis, Universitas Sains dan Teknologi Minghsin, Taiwan
B
Institut Pendidikan, Universitas Nasional Yang Ming Chiao Tung, Taiwan
C
Program Pembelajaran Sains, National Taiwan Normal University, Taiwan d
Institut Keunggulan Penelitian dalam Ilmu Pembelajaran, National Taiwan Normal University, Taiwan
e
Departemen Pendidikan dan Teknologi Pembelajaran, Universitas Nasional Tsing Hua, Taiwan f
Kantor Sekretariat, National Taiwan Normal University, Taiwan
G
Departemen Psikologi Pendidikan, Texas A&M University, AS

INFO PASAL ABSTRAK

Kata Kunci: Meningkatkan e-learning melibatkan berbagai tingkat dukungan. Oleh karena itu, peneliti biasanya
e-learning mengadopsi desain penelitian yang kompleks dengan struktur bertingkat atau pengukuran berulang untuk
Pemodelan bertingkat menangkap pandangan heuristik tentang persepsi, pemahaman, dan perilaku peserta didik dalam
Pemodelan linier hierarki
lingkungan e-learning. Sebanyak 76 studi dengan Hierarchical Linear Modeling (HLM) sebagai teknik
HLM
pemodelan bertingkat di 13 jurnal e-learning utama dari Januari 2000 hingga September 2022, yang
Tindakan berulang
diterbitkan di Web of Science, telah ditinjau. Kami menilai penerapan kriteria utama berikut: alasan
penggunaan HLM, karakteristik data, karakteristik sampel, karakteristik model, variabel yang digunakan
dalam penelitian, penggunaan perangkat lunak, dan teknologi utama yang digunakan dalam penelitian.
Hasil penelitian menunjukkan bahwa model dua tingkat dan model intersep acak paling banyak digunakan dalam pemba
Selain itu, sebagian besar studi e-learning menyertakan model intersep acak dua tingkat dengan “siswa”
sebagai unit sampel analisis di Tingkat 1, dan “pembelajaran kognitif” (yaitu, nilai ujian, prestasi belajar)
sebagai variabel terikat di Tingkat 1. pada hasil review kami, kami memberikan saran dan potensi
penerapan penggunaan pemodelan bertingkat dalam pembelajaran e-learning.

1. Perkenalan

E-learning telah menjadi bentuk pembelajaran penting baik di pendidikan formal maupun informal. Dalam lingkungan pembelajaran yang
ditingkatkan teknologi, peserta didik menghasilkan berbagai hasil belajar yang dipengaruhi oleh teknologi di sekitarnya. Jejak pembelajaran dan
artefak pengukuran berulang dengan penggunaan teknologi ditinggalkan dan disimpan. Faktanya, struktur data dalam ekologi e-learning pada
dasarnya bersifat hierarkis. Untuk menangkap pandangan heuristik tentang persepsi, pemahaman, dan perilaku peserta didik dalam lingkungan e-
learning, peneliti dapat mengadopsi desain penelitian dengan struktur bertingkat (misalnya, siswa ditempatkan di dalam kelas/sekolah), pengukuran
berulang (misalnya, video -melihat perilaku dalam MOOC atau pesan media sosial yang dihasilkan oleh masing-masing siswa) atau kombinasi
keduanya sebagai model tiga tingkat dengan pengukuran berulang (misalnya, tanggapan yang dikumpulkan di dalam siswa dan siswa yang dikumpulkan di seko

* Penulis terkait.162, Bagian 1, Heping E. Rd., Kota Taipei, 106, Taiwan.


Alamat email: hmlin@must.edu.tw (H.-M.Lin), jiuyu.rms@gmail.com, jiunyuwu@nycu.edu.tw (J.-Y.Wu), aljc@ntnu.edu.tw (J.-C.Liang),
yuanhsuanlee@mx.nthu.edu.tw (Y.-H. Lee), pinhuang@ntnu.edu.tw (P.-C.Huang), omkwok@exchange.tamu.edu (O.-M.Kwok), tsaicc@ntnu.edu. dua (C.-C.Tsai).

https://doi.org/10.1016/j.compedu.2023.104762
Diterima 28 Oktober 2022; Diterima dalam bentuk revisi 15 Januari 2023; Diterima 17 Februari 2023 Tersedia
online 27 Februari 2023
0360-1315/© 2023 Para Penulis. (http:// Diterbitkan oleh Elsevier Ltd. Ini adalah artikel akses terbuka di bawah lisensi CC BY
creativecommons.org/licenses/by/4.0/).
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

data yang dikumpulkan dapat digunakan untuk mengungkap interaksi antara faktor-faktor penting dari berbagai tingkat ekologi e-learning terhadap
hasil pendidikan. Namun, karena adanya hubungan yang tersarang dari unit pengambilan sampel yang lebih kecil dalam unit pengambilan
sampel yang besar, observasi cenderung memiliki respons yang serupa atau bergantung karena adanya pengaruh bersama dari individu atau
lingkungan (Wu et al., 2014; Wu & Kwok , 2012). Pendekatan statistik tradisional yang mengasumsikan independensi antar observasi tidak dapat
secara memadai memperlakukan data dengan struktur bertingkat atau pengukuran berulang (Hox, 2002). Terutama, penggunaan teknik statistik
konvensional (misalnya ANOVA, uji-t, dan regresi OLS) untuk menganalisis data hierarkis tanpa mempertimbangkan masalah ketergantungan
data dengan tepat dapat menyebabkan estimasi parameter menjadi bias, estimasi kesalahan standar tidak efisien, dan karenanya inferensi
statistik tidak konsisten. (Stapleton, 2008; Wu & Kwok, 2012). Sebaliknya, teknik pemodelan bertingkat (MLM) yang paling umum digunakan, yaitu
Hierarchical Linear Modeling (HLM) (Raudenbush & Bryk, 2002) dapat mengakomodasi struktur data tersebut dan telah menarik perhatian yang
semakin besar dalam e-learning (misalnya, Arslan dkk., 2021; Li dkk., 2020; Liu dkk., 2021; Maier, 2021).
Selain itu, keuntungan menggunakan HLM untuk menganalisis data longitudinal adalah dapat melacak perubahan lintasan pertumbuhan,
mengidentifikasi faktor risiko, dan menilai dampak intervensi (Raudenbush, 2001). Nama alternatif untuk strategi pemodelan terkait HLM mencakup
“model efek acak” (Laird & Ware, 1982), “model koefisien acak” (Jennrich & Schluchter, 1986), “model komponen kovarians” (Longford, 1993),
dan “model bertingkat ” (Goldstein, 1995). HLM biasanya cocok untuk melakukan penelitian e-learning karena penerapan e-learning yang sukses
memerlukan upaya dan sumber daya yang terkoordinasi dari berbagai tingkat hierarki pendidikan. Ada dua jenis struktur data hierarki: cross-
sectional dan longitudinal. Yang pertama berasal dari penggunaan multistage sampling atau cluster sampling, dimana unit sampling yang lebih
besar dipilih terlebih dahulu dan unit yang lebih kecil dalam unit yang lebih besar dijadikan sampel berikutnya (Stapleton, 2006). Misalnya, peneliti
mengambil sampel distrik sekolah terlebih dahulu, lalu tanggapan guru di distrik yang dipilih untuk menguji hubungan dukungan dari distrik
administratif dengan penggunaan teknologi guru dalam pengajaran (Kaarakainen & Saikkonen, 2021). Selanjutnya, tanggapan siswa dapat
diambil sampelnya kemudian pada guru yang dipilih untuk memeriksa apakah literasi informasi siswa bergantung pada penggunaan teknologi
oleh guru mereka dalam pengajaran. Teknik HLM kedua berasal dari pengukuran berulang terhadap suatu individu dan unit pengambilan sampel
yang lebih tinggi di mana individu tersebut bersarang (Wu et al., 2014). Misalnya, peneliti dapat mempelajari apakah postingan diskusi siswa
meningkat selama kursus 6 minggu (penyelidikan pertama) dan apakah perbedaan individu atau strategi pembelajaran mempengaruhi jumlah
postingan diskusi dari waktu ke waktu (penyelidikan kedua). Untuk investigasi pertama, respons tingkat pertama (L1) dapat berupa enam
pengukuran berulang terhadap jumlah pesan yang diposting siswa di forum diskusi selama 6 minggu. Peneliti kemudian dapat menggunakan
prediktor waktu yang dimodelkan sebagai tren pertumbuhan linier (atau non-linier) untuk menjelaskan lintasan pesan yang diposting. Untuk
penyelidikan kedua, mereka dapat menguji lebih lanjut pengaruh prediktor invarian waktu tingkat dua (L2) (misalnya, jenis kelamin atau perlakuan
berbeda) terhadap perubahan rata-rata dan/atau kemiringan jumlah pesan.
Namun, untuk mendapatkan manfaat dari HLM, peneliti harus memiliki pemahaman menyeluruh tentang strategi analitis HLM. Hal ini sangat
penting, karena penelitian metodologis dalam HLM sangat dinamis dalam hal memilih HLM yang optimal (yaitu model dengan AIC, BIC, atau
kriteria model-fit lainnya yang terkecil.) yang dapat menjawab pertanyaan penelitian berdasarkan teori secara memadai. (Huang, 2018; Pritikin et
al., 2017) dan menghasilkan interpretasi yang meningkatkan kegunaannya bagi peneliti terapan (Tate & Pituch, 2007; Zhang et al., 2009).

Artikel ulasan sebelumnya tentang HLM memiliki fokus yang kuat pada isu-isu metodologis, seperti memuji penggunaan HLM sebagai bagian
kuantitatif dalam penelitian metode campuran (Bash, Howell Smith, & Trantham, 2021) dan merangkum praktik pelaporan di banyak disiplin ilmu
seperti ilmu pendidikan, bisnis, dan kesehatan (Dedrick et al., 2009; Luo et al., 2021). Yang lain telah meninjau penelitian yang menggunakan
HLM dalam bidang penelitian tertentu seperti bisnis internasional (Ozkaya et al., 2013) atau pendidikan dari jurnal tunggal (Schreiber & Griffin,
2004). Namun, tinjauan ini fokus terutama pada pengenalan informasi teknis tentang HLM atau memberikan pedoman untuk mengkomunikasikan
hasil penelitian di bidang terapan. Tak satu pun dari penelitian ini yang meninjau bagaimana HLM dimanfaatkan untuk menjawab pertanyaan
substantif mengenai penggunaan teknologi dan variabel-variabel yang termasuk dalam analisis HLM dari disiplin e-learning. Oleh karena itu,
tujuan penelitian ini adalah untuk menguji secara sistematis studi HLM yang dilaporkan dalam jurnal penelitian e-learning utama. Khususnya, kami
bertujuan untuk mengeksplorasi mengapa HLM digunakan dalam studi e-learning, bagaimana hal itu digunakan (misalnya, karakteristik data dan
karakteristik model), dan apa yang telah digunakan (misalnya, jenis variabel dan teknologi utama yang digunakan dalam penelitian e-learning )
untuk mempelajari masalah penelitian substantif.

2. Metodologi

2.1. Identifikasi studi

Penelitian ini mengulas penerapan HLM dalam bidang e-learning. Sumber literatur berasal dari Social Sciences Citation Index yang merupakan
bagian dari Web of Science (WOS) Core Collection. (Thomson Reuters, 2021). WOS adalah salah satu database terbesar di dunia dan telah
dianggap sebagai database yang berharga dan relevan untuk mengekstraksi literatur yang berpengaruh terhadap status topik (Birkle et al., 2020).
Sesuai dengan tujuan penelitian ini, tinjauan kami fokus pada penerapan artikel HLM (yaitu studi) di 16 jurnal. Jurnal-jurnal tersebut dipilih dengan
prosedur sebagai berikut: (1) Sekelompok ahli e-learning mengadakan pertemuan untuk mengidentifikasi lebih dari 20 kandidat jurnal yang
mungkin menerbitkan aplikasi HLM di bidang e-learning. (2) Jurnal yang biasa dipilih sebagai jurnal inti dalam banyak makalah review di bidang e-
learning dipilih terlebih dahulu (Lin et al., 2020; Rodrigues et al., 2019).
(3) Beberapa jurnal terkait e-learning dengan publikasi yang lebih banyak dikutip dipertimbangkan setelah penelitian pendahuluan di database
WOS. Hasilnya, total ada 16 jurnal yang diselesaikan oleh kelompok ahli.
Pencarian kami dibatasi pada makalah yang diterbitkan antara Januari 2000 dan September 2022. Studi yang diterbitkan setelah tahun 2000
dipilih berdasarkan kondisi yang disebutkan di bawah. Sejak tahun 1999, teknologi internet diyakini telah digunakan secara luas dalam lingkungan
pendidikan. Proyek “Internet dalam Pendidikan” dimulai pada tahun 1999 oleh Institut Teknologi Informasi UNESCO di

2
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Pendidikan (UNESCO, 2003). Setelah tahun 2000, semakin banyak institusi akademis yang mulai menawarkan pembelajaran online, dan lebih banyak proyek penelitian
terkait dilakukan mengenai aktivitas pembelajaran interaktif e-learning, kelebihan dan kekurangan e-learning, dan pengaruh e-learning (Nagy, 2005 ; Tsai dkk., 2011).
Isakson (2000) juga mulai menyebutkan potensi Internet untuk pendidikan (e-learning), menyoroti beberapa tren e-learning Teknologi Informasi dan Komunikasi (TIK), dan
menyatakan bahwa industri e-learning telah “ menjanjikan” sejak tahun 2000. Oleh karena itu, tepat dan sesuai untuk memilih penelitian yang diterbitkan setelah tahun 2000.

Kami menggunakan kata kunci seperti model linier hierarki, model linier hierarki, HLM, model bertingkat, pemodelan bertingkat, dan MLM untuk setiap jurnal yang
dipilih. Prosedur ini menghasilkan 104 artikel. Kemudian, kami membaca abstrak dari 104 artikel tersebut untuk mengecualikan artikel editorial dan komentar. Proses ini
menghapus 4 artikel. Selanjutnya, kami memverifikasi secara manual bahwa teks lengkap setiap artikel benar-benar menggunakan teknik HLM empiris. Dua puluh empat
artikel dikeluarkan karena tidak menyertakan penerapan HLM apa pun.
Misalnya, penelitian yang menggunakan pemodelan persamaan struktural bertingkat dengan beberapa variabel dependen dikeluarkan. Sampel akhir dari 76 artikel (yaitu
penelitian)1 yang muncul di 13 jurnal merupakan sampel tinjauan kami. Prosedur pemilihan artikel untuk review ini ditunjukkan pada Gambar 1.

Jumlah artikel (yaitu studi) dan referensi terkait yang terdapat di 13 jurnal tercantum pada Tabel 1. Di antara 13 jurnal, Computers & Education memiliki jumlah artikel
terbanyak (n = 40, 52,63%), diikuti oleh Journal of Computer Assisted Learning (n = 8, 10,53%) dan British Journal of Educational Technology (n = 7, 9,21%). Jurnal
Pendidikan Sains dan Teknologi mempunyai lima artikel, sedangkan Teknologi & Masyarakat Pendidikan dan Internet dan Pendidikan Tinggi masing-masing mempunyai
empat artikel.
Teknologi , Pedagogi dan Pendidikan memuat dua artikel, dan International Journal of Computer-Supported Collaborative Learning, Computer Assisted Language Learning,
Distance Education, IEEE Transactions on Learning Technologies, Interactive Learning Environments, dan International Review of Research in Open and Distributed
Learning, masing-masing memuat satu artikel. Tiga jurnal lainnya tidak menerbitkan artikel HLM apa pun (Tabel 1).

Dari artikel yang menggunakan HLM, empat artikel diterbitkan sebelum tahun 2008, 26 artikel diterbitkan pada tahun 2009–2015, dan 46 artikel pada tahun 2016–2022.
Jelas sekali, penelitian yang menggunakan HLM yang diterbitkan dalam jurnal e-learning telah menunjukkan peningkatan dramatis dalam beberapa tahun terakhir.

2.2. Pengembangan sistem pengkodean

Dengan mengadopsi skema pengkodean dari tinjauan sebelumnya di bidang lain (misalnya, Luo et al., 2021; Ozkaya et al., 2013; Schreiber & Griffin, 2004) dan
menanggapi tujuan penelitian saat ini, kami mengevaluasi setiap artikel yang menerapkan HLM berdasarkan berbagai kriteria, termasuk (1) alasan menggunakan HLM; (2)
karakteristik data; (3) karakteristik sampel; (4) karakteristik model; (5) variabel yang digunakan dalam penelitian; (6) perangkat lunak yang digunakan; dan (7) teknologi
utama yang digunakan dalam penelitian e-learning. Tabel 2 merupakan ringkasan deskripsi dan skema pengkodean yang digunakan dalam penelitian ini.

Setelah itu, dua pembuat kode independen dengan pengetahuan mendalam tentang literatur e-learning dan keahlian metodologi kuantitatif secara independen meninjau
dan mengevaluasi artikel yang diidentifikasi berdasarkan tujuh kriteria. Kesepakatan pengkodean keseluruhan adalah 0,89. Setiap perselisihan dibahas oleh pembuat kode
dan diselesaikan. Setelah proses pengkodean, statistik deskriptif untuk semua item yang diberi kode dihitung.

3. Hasil dan diskusi

3.1. Alasan menggunakan HLM

Analisis HLM dapat digunakan untuk menjawab pertanyaan penelitian mengenai pengaruh lintas tingkat pada variabel respon atau untuk mempelajari lintasan
pertumbuhan variabel respon. Enam puluh satu penelitian (80,26%) mengadopsi HLM untuk mengatasi masalah yang melibatkan data hierarki, sementara 15 penelitian
(19,74%) menggunakan HLM untuk memodelkan lintasan pertumbuhan variabel penelitian mereka (Tabel 3).
Untuk alasan sebelumnya, HLM digunakan untuk menjelaskan bagaimana variasi dalam variabel tingkat rendah diperhitungkan oleh tingkat yang sama dan prediktor
tingkat yang lebih tinggi. Misalnya, para peneliti mengeksplorasi bagaimana kompetensi TIK pra-jabatan dipengaruhi oleh profil TIK individu mereka dan dukungan lembaga
tempat mereka menerima pelatihan guru (Tondeur et al., 2018). Aesaert dkk. (2015), di sisi lain, menguji kompetensi TIK siswa dengan mempertimbangkan variabel dari
tingkat siswa (misalnya, sikap TIK siswa, dukungan TIK dari orang tua, motivasi, jenis kelamin), tingkat kelas (misalnya, sikap TIK guru, kompetensi, dll. .), dan tingkat
sekolah (misalnya, dukungan dan infrastruktur TIK). Kasus khusus penggunaan HLM untuk alasan pertama adalah untuk mengatasi variasi variabel hasil dari perspektif
partisi varians untuk estimasi parameter yang tidak bias (Wu & Kwok, 2012). Misalnya, Wu (2017) mempartisi model multilevel tentang multitasking media dan gangguan
digital ke dalam komponen varians tingkat kelas dan tingkat individu dan memperoleh estimasi parameter yang lebih efisien dan efektif. Studi yang dilakukan oleh Gaÿsevi
´c, Adesope, Joksimovi´c, & Kovanovi´c (2015) juga menggunakan pendekatan yang sama untuk mempartisi komponen varians dari tingkat pesan, tingkat individu, dan
tingkat kursus pada kehadiran kognitif dalam diskusi online asinkron. Untuk alasan kedua, para peneliti telah menerapkan HLM untuk memodelkan lintasan tujuan
pembelajaran multidimensi pembelajar dalam pembelajaran video game (Reese et al., 2015) atau untuk mengukur evaluasi siswa terhadap efektivitas pengajaran profesor
dari waktu ke waktu dan untuk memprediksi tingkat perubahan efektivitas pengajaran menggunakan karakteristik tingkat kursus (misalnya, pengajaran

1
Makalah tinjauan ini berfokus pada “data yang sangat hierarkis”. Ada beberapa bentuk data bertingkat lainnya tanpa struktur hierarki yang ketat, seperti data lintas
klasifikasi. Hanya satu penelitian (Waight et al., 2014) yang disertakan dengan struktur data klasifikasi silang, yang mana kemungkinan guru dalam menggunakan
perangkat keras atau perangkat lunak dibandingkan sementara penggunaan perangkat keras dan perangkat lunak tidak disarangkan tetapi disilangkan satu sama lain.

3
Machine Translated by Google

H.-M. Lin dkk.


Komputer & Pendidikan 198 (2023) 104762

Gambar 1. Diagram alir prosedur pemilihan artikel.

Tabel 1
Publikasi (N = 76) menggunakan HLM pada jurnal e-learning.
Jurnalsa Studi

Komputer & Pendidikan (40) Hohlfeld dkk. (2008); Herman dkk. (2008); Carle (2009); Chu dan Chu (2010); Chen dkk. (2010); Zhong (2011); Bokhove dan Drijvers
(2012); Xu dkk. (2013a); Kim dkk. (2014); Vanderlinde dkk. (2014); Aesaert dkk. (2015); Cheng dan Jiang (2015); Skryabin dkk. (2015);
Joksimovi´c dkk. (2015); Jara dkk. (2015); Scherer dan Siddiq (2015); Xu (2015); Wladis dan Samuels (2016); Darban dkk. (2016);
Wu (2017); Zhang dkk. (2017); Jesson dkk. (2018); Hatlevik dkk. (2018); Tondeur dkk. (2018); Hu dkk. (2018); Vongkulluksn dkk.
(2018); Lim dan Jung (2019); Chen dkk. (2020); Hujala dkk. (2020); Zheng dkk. (2020); Hew dkk.

(2020); Cheng dkk. (2020); Chien dan Wu (2020); Li dkk. (2020); Maier (2021); Hu dan Yu (2021); Lai dkk.
(2021); Awuor dkk. (2022); Bhutoria dan Aljabri (2022); Wang dkk. (2022).
Jurnal Pembelajaran Berbantuan Komputer (8) Tondeur dkk. (2008); De Wever dkk. (2009); Kaarakainen dan Saikkonen (2021); Ackermans dkk. (2021); Slof dkk. (2021); Elang
dkk. (2021); Liu dkk. (2021); Arslan dkk. (2021)
Jurnal Teknologi Pendidikan Inggris (7) Reese dkk. (2015); Zhai dkk. (2019); Kay dkk. (2020); Greenhalgh dkk. (2021); Lu dkk. (2022); Liu dkk.
(2022); Kong dan Lai (2022)
Jurnal Pendidikan Sains dan Teknologi (5) Bodzin dkk. (2014); Bodzin dan Fu (2014); Waight dkk. (2014); Wilson dkk. (2018); Guo dkk. (2022).
Teknologi Pendidikan & Masyarakat(4) Hussain dkk. (2006); Yueh dkk. (2013); S´anchez (2018); Park dan Weng (2020)
Internet dan Pendidikan Tinggi (4) Xu dkk. (2013b); Kuo dkk. (2014); Gaÿsevi´c dkk. (2015); Costley dkk. (2022)
Teknologi, Pedagogi dan Pendidikan (2) Du dkk. (2015); Zhang dan Lin (2020)
Jurnal Internasional yang Didukung Komputer Melzner dkk. (2020)
Pembelajaran Kolaboratif (1)
Pembelajaran Bahasa Berbantuan Komputer (1) Alvarez-Marinelli dkk. (2016)
Pendidikan Jarak Jauh (1) Teman Bijaksana dkk. (2009)
Transaksi IEEE pada Teknologi Pembelajaran (1) Xie dkk. (2021)
Lingkungan Pembelajaran Interaktif (1) Moore dkk. (2019)
Tinjauan Internasional Penelitian di Terbuka dan Winitzky-Stephens dan Pickavance (2017)
Pembelajaran Terdistribusi (1)

A
Tiga jurnal sampel tidak ditemukan publikasinya menggunakan HLM, antara lain Australasia Journal of Educational Technology, Educational Technology
Penelitian dan Pengembangan, Media Pembelajaran dan Teknologi.

4
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Tabel 2
Deskripsi dan skema pengkodean untuk masing-masing kriteria.

Kriteria Deskripsi Skema pengkodean

(1) Alasan penggunaan Kriteria ini diberi kode berdasarkan pernyataan mengapa data diproses dengan Tergantung pada alasan penggunaan HLM dalam penelitian
HLM HLM. Misalnya, dalam penelitian Lai et al. (2021) , mereka menyebutkan, “Untuk
menguji model yang diusulkan dengan data tersarang, pemodelan linier hierarki
(HLM) dilakukan menggunakan HLM 6.08 untuk memperkirakan koefisien bertingkat,
signifikansinya, dan penghitungan varians. untuk setiap tingkat”. “Data hierarki”
diberi kode yang sesuai dengan artikel ini.

(2) Karakteristik data Karakteristik data fokus pada sumber data dan struktur data. Dalam penelitian e- ÿ Sumber data: data primer, data sekunder ÿ Struktur
learning, peneliti dapat mengumpulkan data langsung dari papan diskusi data: pengukuran cross-sectional, pengukuran berulang
atau media sosial, atau dapat menggunakan data bekas seperti PISA. Oleh karena longitudinal, keduanya.
itu, sumber data diberi kode sebagai data primer atau data sekunder. Selain itu,
terkadang peneliti mempertimbangkan kinerja pembelajaran atau sinyal
perilaku peserta didik dari waktu ke waktu.
Mereka mengumpulkan data longitudinal seperti tindakan berulang yang diambil
dari individu. Oleh karena itu, struktur data diberi kode sebagai ukuran cross-
sectional, ukuran berulang memanjang, atau keduanya.
(3) Kriteria ini mencakup ukuran sampel dan unit pengambilan sampel di setiap tingkat. ÿ Ukuran sampel: jumlah sampel yang valid di setiap level ÿ Unit
Karakteristik sampel Ukuran sampel diberi kode berdasarkan jumlah sampel yang valid pada setiap analisis: Tergantung pada unit analisis di setiap level dalam
tingkat struktur bertingkat. Mata pelajaran pada tingkat yang lebih rendah penelitian
“dikumpulkan” dalam kelompok pada tingkat yang lebih tinggi, misalnya ruang
kelas, sekolah, guru, atau program. Oleh karena itu, tanggapan subjek dalam
kelompok bergantung. Unit analisis diberi kode berdasarkan subjek (yaitu
siswa, guru, kelas) yang dianalisis di setiap tingkat.
(4) Karakteristik model Model HLM melibatkan jumlah level, jenis model, dan metode estimasi yang digunakan. Peneliti ÿ Jumlah level ÿ Jenis
biasanya merancang model berdasarkan pertanyaan penelitian. Misalnya, ketika model: model intersep acak, model koefisien acak, model
peneliti tertarik pada efek antar tingkat atau ketika terdapat kemiringan kemiringan acak, model bertingkat lintas klasifikasi
acak, mereka akan menggunakan model kemiringan acak untuk mendeteksi efek
tersebut. Untuk memperkirakan koefisien intersep atau kemiringan dalam model
ÿ Metode estimasi: Tergantung pada estimasi
bertingkat, metode estimasi harus ditentukan saat menjalankan model. Oleh
metode yang digunakan dalam
karena itu, jenis model dan metode estimasi diberi kode.
penelitian ÿ Persamaan yang ada (Y/T)

Omong-omong, persamaan model dengan variasi level adalah informasi


penting untuk memahami cara membangun model. Presentasi persamaan juga
didokumentasikan.
(5) Variabel yang digunakan dalam Taksonomi paling mapan yang telah dikembangkan dan membahas produk Variabel yang digunakan: pembelajaran kognitif, pembelajaran
penelitian pembelajaran tradisional berisi tiga domain yang tumpang tindih: afektif, pembelajaran psikomotorik, demografi, keterlibatan, dan
pembelajaran kognitif, afektif, dan psikomotorik (Rovai et al., 2009). persepsi.
Pembelajaran kognitif didefinisikan oleh Bloom (1956) sebagai mengingat atau
mengenali pengetahuan serta pertumbuhan kapasitas dan keterampilan intelektual.
Kearney (1994) menggambarkan pembelajaran afektif sebagai peningkatan
internalisasi sikap positif terhadap topik atau materi pelajaran, sedangkan
pembelajaran psikomotor mengacu pada perolehan kemampuan yang
berhubungan dengan keterampilan fisik, tugas manual, dan kinerja dalam sains,
musik, dan seni (Simpson, 1974 ) .

Oleh karena itu, untuk menggambarkan sejauh mana variabel dependen


dan independen digunakan dalam studi yang dipilih, skema pengkodean (enam
kategori terkait dengan perspektif pendidikan) digunakan untuk menganalisis
kategori variabel dependen di Level 1 dan variabel independen di level lainnya
( misalnya Level 2 hingga level 3) pada model HLM. Kategori coding meliputi
pembelajaran kognitif, afektif, dan psikomotorik. Selain itu, berdasarkan
karakteristik semua studi yang dipilih, tiga kategori lagi, yaitu demografi peserta,
keterlibatan (misalnya partisipasi dan perilaku peserta), dan persepsi yang
dirasakan, diklasifikasikan dan diusulkan berdasarkan konteks e-learning.

(6) Perangkat lunak yang digunakan Perangkat lunak statistik yang digunakan diberi kode. Perangkat lunak statistik yang digunakan dalam penelitian

(7) Teknologi yang digunakan Studi di bidang e-learning biasanya menerapkan satu atau lebih teknologi Teknologi yang digunakan dalam penelitian
dalam penelitian ICT (misalnya ponsel, media sosial) sebagai konteks penelitian.
e-learning Teknologi yang digunakan diberi kode untuk mengetahui konteks penelitian.

Tabel 3
Alasan menggunakan HLM.

Alasan Frekuensi (n = 76) Proporsi (%)

Data hierarki 61 80,26%


Lintasan studi 15 19,74%

5
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

modus, status kepemilikan, disiplin, dll) (Carle, 2009).

3.2. Karakteristik data

Di antara 76 penelitian yang disajikan pada Tabel 4, 58 penelitian (76,32%) didasarkan pada data primer sedangkan 18 (23,68%) menggunakan data sekunder.
Dari data sekunder, kumpulan data dari Program Penilaian Siswa Internasional merupakan sumber utama (9 studi) (misalnya, Lim & Jung, 2019; Park & Weng,
2020), diikuti oleh sumber dari proyek yang didanai pemerintah (4 studi, misalnya , Yueh et al., 2013; Wladis & Samuels, 2016), Twitter (3 studi, misalnya,
Greenhalgh et al., 2021), dan membuka kursus online (2 studi, misalnya, Winitzky-Stephens & Pickavance, 2017; Moore et al., 2019).

Selain itu, struktur data untuk HLM dapat dikategorikan ke dalam pengukuran berulang yang bersifat cross-sectional atau longitudinal. Lima puluh sembilan
studi (77,63%) mengadopsi pengukuran cross-sectional sementara 16 studi (21,05%) menggunakan pengukuran longitudinal yang berulang. Satu penelitian (1,32%)
mencakup pengukuran berulang secara cross-sectional dan longitudinal.

3.3. Karakteristik sampel

Karakteristik sampel berkaitan dengan jumlah level dalam HLM. Dari 76 artikel yang dianalisis, model dua tingkat (n = 64, 84.21%) paling banyak digunakan
untuk penelitian e-learning, diikuti oleh model tiga tingkat (n = 11, 14.47%). Hanya satu artikel (n = 1, 1,32%) yang menggunakan model empat tingkat.

3.3.1. Ukuran sampel


Seperti penelitian tingkat tunggal yang memanfaatkan prosedur estimasi kemungkinan maksimum, penelitian bertingkat memerlukan ukuran sampel yang cukup
besar di setiap tingkat (Scherbaum & Ferreter, 2009). Ukuran sampel untuk setiap tingkat perlu dilaporkan berdasarkan kumpulan data masing-masing untuk
menyimpulkan generalisasi temuan di seluruh populasi. Tabel 5 memberikan ukuran sampel di setiap tingkat. Untuk Level 1, ukuran sampel yang paling banyak
digunakan adalah < 1000 (n = 39, 48,75%), diikuti oleh > 3000 (n = 26, 32,50%), 1001–2000 (n = 8, 10,00%), dan 2001–3000 (n = 7, 8,75%). Jumlah sampel
minimum adalah 64 pada penelitian Liu et al. (2021) yang mengumpulkan data dari penelitian eksperimental, sedangkan jumlah sampel maksimum adalah 767.511
pada penelitian Hu dan Yu (2021) yang memperoleh data dari Program for International Student Assessment (PISA). Untuk Tingkat 2, 40 penelitian menggunakan
kurang dari 50 pengamatan, 20 penelitian menggunakan lebih dari 150 pengamatan, 15 penelitian menggunakan 51–100 pengamatan, dan lima penelitian
menggunakan 101–150 pengamatan. Untuk Level 3, ukuran sampel yang paling banyak digunakan adalah < 30 (n = 8, 57,14%), diikuti oleh 31–60 (n = 4, 28,57%),
dan kemudian >91 (n = 1, 7,14%). Hanya satu penelitian yang menggunakan lima observasi di Level 4. Perlu dicatat bahwa meskipun beberapa penelitian
menggunakan lebih dari satu kumpulan data, tingkat HLM atau variabel dependennya dalam penelitian yang sama adalah sama. Jadi, analisis berikut pada kategori
pengkodean ini akan dilakukan berdasarkan penelitian.

3.3.2. Unit analisis


Dalam artikel yang ditinjau, empat jenis struktur data bertingkat, satu tingkat, dua tingkat, tiga tingkat, dan empat tingkat diidentifikasi, dan masing-masing diberi
label sebagai Tingkat 1, 2, 3, dan 4. Gambar sarang (Gbr. 2) menyajikan hierarki berbeda dari data bertingkat yang ada dalam artikel yang sedang ditinjau. Enam
puluh empat penelitian melakukan analisis HLM pada Tingkat 1 dan 2; beberapa (n = 11) mencapai Level 3, dan hanya satu yang mencapai Level 4 sebagai unit
analisis datanya. Dalam data Tingkat 1, enam kategori utama yang diidentifikasi sebagai Tingkat 1 diidentifikasi yang kemudian dicabangkan ke dalam subset
berbeda di Tingkat 2 dan 3. Lima puluh delapan (76,32%) dari 76 artikel memiliki “Siswa” sebagai data Tingkat 1. Kategori “Guru” diikuti dengan delapan (10,53%)
artikel. Kemudian, “Pesan” terdiri dari enam (7,89%) artikel selama peninjauan. Kategori “Kursus” memiliki dua (2,63%) dan kategori terakhir adalah “Sekolah” dan
“Kelas” dengan masing-masing satu artikel (1,32%). Variabel terikat (DV) dalam HLM selalu berada pada level terendah (unit sampling terkecil).

Perlu dicatat bahwa “Siswa” mengambil sebagian besar data dalam pengumpulan data. Gambar 2 menunjukkan bahwa kategori Level 1 ini menghasilkan tujuh
subset Level 2 yang dimaksudkan untuk menjelaskan variabilitas hasil L1. Perhatikan bahwa “Kelompok” (n=13 dari 58 penelitian, 22,41%) memiliki jumlah data
Tingkat 2 tertinggi, diikuti oleh “Sekolah” (n=11 dari 58 penelitian, 18,97%) dan “Kelas” (n=11, 18,97%), lalu “Guru” (n=10, 17,25%), “Kursus” (n=6, 10,34%),
“Waktu” (n=5, 8,62%) dan terakhir “Negara” (n=2, 3,45%). Hal ini selanjutnya berkembang menjadi hierarki Tingkat 3, meskipun tidak semua penelitian mencapai
sejauh ini; lima subset memiliki total artikel malam. Di Level 3, subset “Negara” memiliki jumlah terbanyak (5 dari 58 studi di Level 1) dan subset lainnya mencakup
Tema, Kursus, dan Guru dengan masing-masing satu artikel di Level 3.

Hierarki data tidak bergantung pada seperangkat aturan atau standar mengenai mana yang harus didahulukan, namun data yang dikumpulkan bergantung
pada desain dan struktur penelitian yang akan dilakukan. Contohnya adalah guru dan siswa (misalnya, Cheng

Tabel
4 Karakteristik data.
Sumber data Frekuensi (n = 76) Proporsi (%)

Data utama 58 76,32%


Data sekunder 18 23,68%
Struktur data
Tindakan cross-sectional 59 77,63%
Tindakan berulang yang memanjang 16 21,05%
Keduanya 1 1,32%

6
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Tabel 5
Karakteristik sampel.

Tingkat 1 Level 2 Tingkat 3 tingkat 4

Ukuran sampel Frekuensi (n = 80a ) Ukuran sampel Frekuensi (n = 80a ) Ukuran sampel Frekuensi (n = 14) Ukuran sampel Frekuensi (n = 1)

<1000 39 <50 40 <30 8 5 1


1001–2000 8 51–100 15 31–60 4
2001–3000 7 101–150 5 61–90 1
>3000 26 >151 20 >91 1

A Beberapa penelitian menggunakan lebih dari satu kumpulan data.

Gambar 2. Gambar kumpulan unit analisis pada setiap level. Catatan: Istilah “pelajar” dan “dewasa” dikategorikan menjadi “Siswa”; istilah “tim” dan “perlakuan”
dikategorikan ke dalam “Kelompok”; istilah “instruktur” dikategorikan menjadi “Guru”; istilah “lembaga” dan “organisasi” dikelompokkan ke dalam “Sekolah”;
istilah “postingan” dan “tanggapan” dikategorikan ke dalam “Pesan”.

dkk., 2020; Chien & Wu, 2020; Jessen dkk., 2018). Seperti yang ditunjukkan dalam ulasan kami, siswa dan guru merupakan dua hasil utama
L1, yang menunjukkan bahwa keduanya merupakan perhatian utama dalam penelitian e-learning. Itulah sebabnya para peneliti tertarik untuk
menyelidiki bagaimana siswa akan dipengaruhi oleh faktor-faktor yang berhubungan dengan guru karena struktur siswa yang bersarang di
dalam kelas. Demikian pula, praktik guru juga diperhatikan mengenai pengaruh dukungan dan kebijakan dari sekolah atau negara. Untuk
menentukan unit analisis apa yang harus digunakan pada Level 1, peneliti harus kembali ke pertanyaan penelitiannya dan menentukan unit
sampling terkecil pada Level 1 pada tahap desain penelitian.
Kasus luar biasa dalam e-learning adalah penggunaan “Pesan” sebagai unit analisis dalam HLM. Telah dicatat bahwa “Pesan” adalah

7
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

judul kategori yang memuat postingan, tweet, komentar, atau tanggapan siswa atau guru dari berbagai platform media sosial atau platform online pendidikan
lainnya. Hal ini menjadi sumber data utama untuk analisis karena konteks yang dihasilkan berbeda-beda.
Misalnya, Arslan dkk. (2021) memanfaatkan 504.998 tweet yang diposting oleh 72.342 pengguna unik untuk mengeksplorasi topik yang dibahas dan faktor-
faktor yang mempengaruhi durasi topik yang dibahas di komunitas belajar Twitter. Tweet di Twitter atau tanggapan di Massive Open Online Courses (MOCCs)
ini dapat dikelompokkan lebih lanjut dalam istilah “Siswa”, “Tema”, atau “Grup” bergantung pada konteks percakapan atau topik yang ada. Dalam tinjauan ini,
tiga set Level 2 diidentifikasi yang bercabang ke dua himpunan bagian lainnya di Level 3.
Siswa di Level 2 telah menghasilkan “Kursus” sebagai unit analisis di Level 3, dan “Siswa” di Level 3 diambil dari “Tema” di Level 2. “Kelompok” di Level 4
dihasilkan dari “Siswa” di Level 3. Unit khusus analisis data ini memberikan wawasan ke dalam tingkat analisis yang lebih tinggi.

3.4. Karakteristik model

3.4.1. Jenis model


Menentukan model HLM dalam penelitian ini dapat menumbuhkan pemahaman pembaca tentang struktur model tingkat spesifik dan interaksi antara
prediktor yang bervariasi tingkatnya. Tiga puluh sembilan (51,32%) penelitian menggunakan model intersep acak ketika melakukan analisis mirip ANOVA untuk
membandingkan perbedaan rata-rata kelompok, dan 28 penelitian (36,84%) mengadopsi model koefisien acak untuk menangkap kemiringan yang berbeda
untuk prediktor tingkat rendah. Kedua model HLM ini mewakili lebih dari 88,16% studi yang ditinjau. Misalnya, dengan menggunakan model intersep acak,
Kaarakainen dan Saikkonen (2021) menyelidiki penggunaan teknologi digital oleh guru Finlandia di sekolah pendidikan dasar dan menemukan bahwa prediktor
tingkat guru seperti keterampilan digital, usia, dan efikasi diri digital dikaitkan dengan penggunaan teknologi. , sedangkan tingkat sekolah mempunyai pengaruh
yang sangat kecil terhadap penggunaan teknologi. Menerapkan model koefisien acak, Liu et al. (2021) membandingkan saling ketergantungan fungsional
simulasi komputer pada pembelajaran kolaboratif. Mereka menemukan hubungan positif antara perhatian bersama dengan kinerja pembelajaran dan dialog
konstruksi untuk kelompok model akuntabilitas terdistribusi, namun tidak ditemukan hubungan untuk kelompok model sinkron. Model kemiringan acak digunakan
oleh dua penelitian (2,63%) sedangkan model bertingkat lintas klasifikasi hanya digunakan oleh penelitian (1,32%, Waight et al., 2014). Namun, enam penelitian
(7,89%) tidak melaporkan jenis model HLM yang mereka gunakan (Tabel 6).

3.4.2. Metode estimasi


Metode estimasi menjadi perhatian khusus bagi pembaca tingkat lanjut untuk mengetahui kualitas estimasi parameter dan melakukan perbandingan model.
Namun, 47 artikel (61,84%) tidak memberikan informasi yang cukup mengenai metode estimasinya. Sebagian besar artikel dilaporkan menggunakan estimasi
Full Information Maximum Likelihood (n = 16, 21.05%), diikuti dengan estimasi Restricted Maximum Likelihood (n = 7, 9.21%), Generalized Least Squares (n =
3, 3.94%), Residual Log Likelihood (n = 1, 1,32%), Kemungkinan Maksimum yang Kuat (n = 1, 1,32%), dan Markov Chain Monte Carlo (n = 1, 1,32%). Di antara
metode estimasi, estimasi Kemungkinan Maksimum Terbatas adalah metode estimasi default di sebagian besar perangkat lunak dan paket HLM (Tabel 7).

3.4.3. Persamaan hadir


Persamaan HLM dapat menggambarkan struktur model tingkat tertentu dan interaksi antara prediktor yang bervariasi tingkatnya. Kurang dari setengah (n =
32, 42,11%) penelitian menyajikan persamaan HLM-nya, sedangkan penelitian lainnya (n = 44, 57,89%) tidak melaporkan persamaan HLM-nya (Tabel 8).

3.5. Variabel yang digunakan dalam penelitian

Pada Tabel 9 variabel terikat (DV) dan variabel bebas (IV) dikelompokkan menjadi enam kategori yaitu Pembelajaran Kognitif, Pembelajaran Afektif,
Pembelajaran Psikomotor, Demografi, Keterlibatan, dan Persepsi. Kategori yang sering muncul yang diterapkan di tingkat HLM mungkin menyoroti beberapa
aspek penting dari kategori tertentu.
DV di L1 adalah variabel dependen utama di HLM. DV yang paling banyak diteliti dari 76 DV yang digunakan pada Level 1 model HLM adalah “Pembelajaran
kognitif” (n = 43, 56,58%), sedangkan “Pembelajaran psikomotor” (n = 12, 15,79%) adalah DV kedua yang paling sering digunakan.
Selanjutnya, dalam hal IV yang diterapkan dalam model HLM, masing-masing 149 IV dan 80 IV digunakan di Level 1 dan Level 2 model HLM. Mirip dengan
hasil DV di Level 1, “Pembelajaran kognitif” (n = 42, 28,19%) adalah IV yang paling banyak diukur dan “Demografi” (n = 37, 28,32%) adalah IV yang paling
banyak diterapkan kedua di Level 1. Sebaliknya, “Demografi” (n = 30, 37,50%) adalah IV yang paling banyak digunakan dan “Pembelajaran kognitif” (n = 27,
33,75%) adalah IV yang paling banyak diterapkan kedua di Tingkat 2. “Demografi” ( misalnya, tingkat kursus dan peserta) (n = 9, 64,29%) adalah yang paling
banyak dimanfaatkan untuk IV yang diterapkan di Level 3 model HLM.

Tabel
6 Jenis model.
Model Frekuensi (n = 76) Proporsi (%)

Model intersep acak 39 51,32%


Model koefisien acak 28 36,84%
Tidak menentukan 6 7,89%
Model kemiringan acak 2 2,63%
Model bertingkat lintas klasifikasi 1 1,32%

8
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Tabel 7
Metode estimasi.

Metode estimasi Frekuensi (n = 76) Proporsi (%)

Tidak ditentukan 47 61,84%


Kemungkinan maksimum penuh 16 21,05%
Kemungkinan maksimum terbatas 7 9,21%
Kuadrat terkecil yang digeneralisasi 3 3,94%
Kemungkinan log sisa 1 1,32%
Kemungkinan maksimum yang kuat 1 1,32%
Rantai Markov Monte Carlo 1 1,32%

Tabel 8
Persamaan hadir.

Persamaan hadir Frekuensi (n = 76) Proporsi (%)

Ya 32 42,11%
Tidak ada 44 57,89%

Tabel 9
Variabel yang digunakan dalam penelitian e-learning.
Variabel Kategori

sel AL hal Demografi Pertunangan Persepsi

DV di Tingkat 1 43 (56,58%) 7 (9,21%) 12 (15,79%) 9 1 (1,32%) 11 (14,47%) 2 (2,63%)


IV di Tingkat 1 42 (28,19%) 17 (11,41%) 4 (6,04%) 2 37 (28,32%) 24 (16,11%) 20 (13,42%) 5
IV di Tingkat 2 27 (33,75%) 2 (5,00%) 0 (2,50%) 3 30 (37,50%) 9 12 (15,00%) 0 (6,25%) 0
IV di Tingkat 3 (14,29%) (21,43%) (64,29%)

Catatan: CL: Pembelajaran kognitif; AL: Pembelajaran afektif; PL: Pembelajaran psikomotorik. DV: Variabel terikat; IV : Variabel bebas. Beberapa penelitian menggunakan
lebih dari satu variabel IV pada level yang berbeda.

Dibandingkan dengan kategori lainnya, kategori yang paling sering diidentifikasi dalam DV dan IV Tingkat 1 adalah “Pembelajaran kognitif,” yang menunjukkan
peran penting kategori ini dalam desain model HLM. Misalnya, untuk menguji proses kognitif siswa di forum diskusi MOOCs, DV di Level 1 penelitian ini adalah skor
pemrosesan kognitif dari postingan siswa (Moore et al., 2019). Studi ini menemukan bahwa tidak ada karakteristik siswa, status keterlibatan kursus, atau kecepatan
kursus yang secara signifikan memprediksi proses kognitif dari postingan (DV di Level 1).

Mengenai IV di Level 1, efek wacana online berbasis pesan instan siswa ditentukan sebagai salah satu IV Level 1 dan dievaluasi terhadap kinerja siswa
termasuk pengetahuan, keterampilan, dan kemampuannya (Cheng & Jiang, 2015) . Hasil penelitian ini mengungkapkan bahwa dampak yang ditimbulkan bervariasi
dengan tingkat yang berbeda-beda dan sedikit menurunkan kinerja siswa.
Mengenai IV di Level 2 dan Level 3, “Demografis” paling banyak digunakan dalam model HLM. Temuan ini menyiratkan bahwa peneliti lebih suka menggunakan
karakteristik partisipan sebagai kovariat dari unit tingkat yang lebih tinggi. Misalnya pada penelitian Winitz-ky-Stephens dan Pickavance (2017), tingkat mata kuliah
(mata kuliah pendidikan perkembangan, mata kuliah tingkat mahasiswa baru, dan mata kuliah tingkat dua), serta mata pelajaran (matematika dan biologi) , dikontrol
dan diukur sebagai IV di Level 3. Hasil penelitian ini mengungkapkan signifikansi IV Level 3 (tingkat mata pelajaran siswa dan variabel mata pelajaran) dalam
memprediksi keberhasilan siswa (nilai, lulus/gagal, dan mengundurkan diri).

3.6. Perangkat lunak yang digunakan

Memahami paket perangkat lunak yang digunakan dalam studi HLM adalah penting karena informasi ini dapat memberikan pembaca gambaran tentang
pengaturan default untuk analisis yang rumit. Misalnya, HLM, R, SAS, dan SPSS menggunakan REML sebagai estimasi default, sedangkan Mplus dan Stata
menggunakan FIML. HLM dan R adalah dua paket perangkat lunak yang paling banyak digunakan (n = 17, 22,37%, dan n = 12, 15,79%, masing-masing), diikuti
oleh MLwiN (n = 9, 11,84%), SPSS (n = 6, 7,89% ), dan SAS (n = 6, 7,89%) dengan penerapan rutinitas Model Campuran untuk melakukan analisis HLM. Selain itu,
Mplus, perangkat lunak pemodelan persamaan struktural, semakin menarik perhatian karena fitur barunya yang ditambahkan dalam melakukan model koefisien
acak (n = 6, 7,89%). Paket perangkat lunak lain yang dilaporkan adalah STATA dan S-PLUS dengan masing-masing satu artikel. Namun, 18 penelitian tidak
melaporkan paket perangkat lunak yang digunakan (Tabel 10).

3.7. Teknologi yang digunakan dalam studi e-learning

Dalam penelitian kami, 32 penelitian relevan dengan penggunaan TIK (42,11%), 25 penelitian terkait dengan kursus online (32,89%), dan hanya sedikit penelitian
yang berfokus pada isu-isu yang berkaitan dengan media sosial, permainan, dan pembelajaran seluler (6,58 %, 3,95%, dan 1,32%, masing-masing). Hal ini
menunjukkan bahwa pengalaman TIK dan sistem e-learning masih menjadi topik hangat bagi para peneliti dan pendidik (Tabel 11).

9
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Tabel 10

Software yang digunakan.

Perangkat lunak yang digunakan Frekuensi (n = 76) Proporsi (%)

Tidak ditentukan 18 23,68%


HLM 17 22,37%
R 12 15,79%
MLwiN 9 11,84%
SPSS 6 7,89%
SAS 6 7,89%
plus 6 7,89%
STATA 1 1,32%
S-PLUS 1 1,32%

Tabel 11

Teknologi yang digunakan dalam studi e-learning.

Teknologi yang digunakan Frekuensi (n = 76) Proporsi (%)

penggunaan/pengalaman TIK 32 42,11%


Kursus online 25 32,89%
Yang lain 10 13,16%
Media sosial 5 6,58%
Permainan 3 3,95%
Pembelajaran seluler 1 1,32%

Data multi-level yang berkaitan dengan karakteristik pribadi dan desain studi (seperti gender, status sosial ekonomi, akses terhadap TIK, penggunaan TIK),
literasi (seperti sikap dan keyakinan), dan kemampuan (seperti kemampuan TIK, literasi TIK, kinerja akademik , dan keterampilan digital) telah dianalisis untuk
menjelaskan struktur yang mendasari penelitian terkait TIK. Selain itu, sejumlah penelitian mengevaluasi hubungan antar struktur bertingkat menggunakan
kumpulan data prestasi sekunder seperti PISA, dan sebagian besar penelitian ini berfokus pada pengaruh terhadap prestasi akademik di berbagai tingkatan
(misalnya, Park & Weng, 2020; Scherer & Siddiq, 2015 ; Skryabin dkk., 2015; Zhong, 2011).
Penelitian tentang kursus online menggunakan HLM tidak hanya untuk menguji hubungan antar variabel seperti tingkat siswa, guru, dan kursus,
tetapi juga untuk memahami bagaimana interaksi kelompok dan fungsi dukungan (Chu & Chu, 2010; Zhang & Lin, 2020).
Studi yang menyelidiki penggunaan media sosial dalam pendidikan meneliti penggunaan media sosial oleh guru dan siswa, efikasi diri, dan dampaknya
terhadap hasil belajar. Sebagai contoh, Greenhalgh dkk. (2021) mencatat bahwa konteks lokal dan faktor kebijakan mempengaruhi penggunaan media sosial
oleh guru.
Dalam penelitian pendidikan berbasis permainan, materi kurikulum guru, serta data permainan siswa, telah diselidiki.
Video game digunakan dalam penelitian Reese et al. (2015) sebagai semacam lingkungan belajar berbasis web bagi siswa untuk belajar dan dinilai. Selain itu,
data gameplay digunakan untuk memahami lintasan pembelajaran mereka dari kinerja berbasis game. Studi lain menunjukkan bahwa efektivitas kolaborasi tim
berdampak positif pada upaya individu dan pembaruan pengetahuan yang dirasakan. Selain itu, upaya individu memiliki pengaruh positif terhadap pembaruan
pengetahuan yang dirasakan (Darban et al., 2016).
Dalam pembelajaran seluler, Zhai dkk. (2019) meneliti penggunaan perangkat seluler oleh siswa sekolah menengah selama kelas dan dampaknya terhadap
pembelajaran. 803 siswa dari 28 ruang kelas disurvei dalam hal tingkat integrasi penggunaan teknologi seluler, termasuk substitusi (tingkat yang lebih rendah)
dan augmentasi (tingkat yang lebih tinggi) di L1, pengendalian jenis kelamin, pra-skor, dan minat fisika pada tingkat yang sama. . Rerata penggunaan teknologi
seluler dalam pembelajaran fisika tiap kelas dimasukkan sebagai prediktor L2. Hasil penelitian menunjukkan bahwa penggunaan augmentasi penggunaan
teknologi seluler memberikan hasil belajar yang lebih besar, namun penggunaan substitusi tidak. Analisis lebih lanjut terhadap empat jenis augmentasi
penggunaan teknologi seluler mengungkapkan korelasi positif antara penggunaan yang diprakarsai siswa dan prestasi siswa. Interaksi lintas tingkat yang
signifikan antara penggunaan rata-rata untuk setiap ruang kelas dan penggunaan aktivitas menampilkan siswa-guru telah diamati, menunjukkan bahwa
penggunaan teknologi seluler untuk aktivitas menampilkan siswa-guru di kelas dengan penggunaan lebih rendah dikaitkan dengan prestasi fisika yang lebih
baik. Analisis HLM membantu peneliti memahami kinerja fisika dengan mempertimbangkan prediktor dari berbagai tingkat dalam lingkungan e-learning.

Lebih lanjut, terdapat 10 penelitian yang tidak dapat digolongkan ke dalam kategori penggunaan teknologi tertentu. Misalnya, Hussain dkk. (2006) meneliti
dampak pelatihan LEGO terhadap prestasi siswa di sekolah, sementara Bodzin dan Fu (2014) menyelidiki efektivitas kurikulum geospasial dengan Google
Earth dalam meningkatkan pemahaman perubahan iklim dan dampak faktor tingkat guru dan siswa terhadap siswa. ' pengetahuan tentang perubahan iklim.
Apalagi penelitian yang dilakukan oleh Hujala et al. (2020) menganalisis ribuan komentar umpan balik mahasiswa mengenai mata kuliah di universitas dan
mengevaluasi tiga tingkat data termasuk tingkat mahasiswa, mata kuliah, dan program studi untuk lebih memahami hubungan struktural di antara ketiga tingkat
tersebut.

4. Kesimpulan

Penelitian ini mengulas artikel-artikel yang memanfaatkan HLM dalam bidang e-learning pada bulan Januari 2000 hingga September 2022 ditinjau dari
alasan penggunaan HLM, karakteristik data, karakteristik sampel, karakteristik model, perangkat lunak, variabel yang digunakan dalam penelitian, dan
penggunaan teknologi. Selama rentang dua dekade, kami mengamati bahwa lebih dari 90% artikel yang ditinjau diterbitkan dalam dekade terakhir. Ini

10
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Temuan ini bertepatan dengan meningkatnya perhatian terhadap struktur data pendidikan dan pembelajaran yang tersaring dan dampak buruknya jika struktur
data bertingkat tidak diperhitungkan (Stapleton, 2008; Wu & Kwok, 2012).
Khususnya, penggunaan HLM menjanjikan karena dapat menjamin ketelitian ilmiah dalam melakukan penelitian e-learning baik dari sudut pandang
substantif maupun metodologis. Khususnya, dari perspektif substantif, HLM dapat menggabungkan masing-masing tingkat prediktor (misalnya, individu, ruang
kelas, dan distrik sekolah) untuk membangun model prediksi hasil e-learning yang komprehensif.
Selain itu, interaksi lintas tingkat (misalnya, literasi digital x pengembangan profesional guru) juga dapat diterapkan untuk menyelidiki bagaimana pengaruh
prediktor tingkat rendah (misalnya, literasi digital) terhadap hasil e-learning (misalnya, pemikiran komputasional siswa). ) bergantung pada prediktor tingkat
yang lebih tinggi (misalnya, pengembangan profesional guru). Dari perspektif metodologis, penerapan HLM dapat meningkatkan ketepatan estimasi parameter
dalam efek tetap dan efek acak untuk menginformasikan keputusan statistik pengujian hipotesis yang tidak memihak.

Mengenai alasan penggunaan HLM dan karakteristik data, sebagian besar penelitian menerapkan HLM untuk menjawab pertanyaan penelitian mengenai
pengaruh dari tingkat yang lebih tinggi, sementara kurang dari seperlima penelitian yang ditinjau menggunakan HLM untuk mempelajari lintasan pembelajaran.
HLM adalah alat analisis serbaguna untuk memahami bagaimana variabel dependen tingkat terendah (misalnya, hasil kognitif, afektif, atau psikomotorik siswa)
berubah sebagai fungsi dari variabel tingkat rendah dan tingkat tinggi (misalnya, motivasi belajar siswa dan efikasi diri komputer guru) dan bahkan efek
interaksi lintas tingkatnya. Keuntungan lain dari HLM adalah kekuatannya dalam memodelkan lintasan pertumbuhan kemajuan pembelajaran (misalnya
peningkatan keterampilan digital dan kinerja pembelajaran). Yang pertama dilakukan dengan menggunakan pengukuran cross-sectional. Pihak yang terakhir
ini perlu melakukan upaya ekstra untuk pengumpulan data pada jangka waktu yang panjang, yang menjelaskan mengapa terdapat hampir empat kali lebih
banyak HLM yang menggunakan pengukuran cross-section dibandingkan dengan HLM yang menggunakan pengukuran longitudinal. Sementara itu, HLM
longitudinal yang relatif lebih sedikit dalam e-learning mungkin mengindikasikan kurangnya studi e-learning yang menangkap kemajuan dan perubahan hasil
utama e-learning dari perspektif perkembangan dan longitudinal. Kesulitan dalam pengumpulan data peserta didik secara berulang-ulang dapat menjadi alasan
utama langkanya studi e-learning longitudinal. Temuan tinjauan ini sangat berbahaya karena tidak tersedianya bukti empiris untuk memberikan pemantauan
tepat waktu dan intervensi adaptif terhadap pembelajaran siswa.
Untungnya, Learning Analytics sebagai bidang penelitian baru dalam e-learning dapat membantu memecahkan masalah ini dengan membentuk infrastruktur
teknologi untuk mencatat jejak pembelajaran siswa secara sistematis di berbagai platform tanpa gangguan (misalnya, sistem manajemen pembelajaran dan
media sosial) (Wu, Yang , Liao, & Nian, 2021;Baker, 2019). Berdasarkan keuntungan dari Analisis Pembelajaran, peneliti dapat menerapkan HLM dengan
memasukkan faktor-faktor risiko yang bervariasi tingkatnya untuk menggambarkan secara menyeluruh kemajuan pembelajaran siswa dalam ekologi penuh
sistem e-learning ( Wu, Kwok, & Willson, 2014; Vatral, Biswas, & Goldberg, 2022; ). Misalnya pada Level 1 (L1), interaksi peserta didik, pesan, video
pembelajaran, dan data tontonan materi dapat direkam sebagai pengukuran berulang. Kemudian, pelajar (misalnya, gangguan digital), ruang kelas (misalnya,
pedagogi), dan karakteristik sekolah (misalnya, dukungan teknologi) dari L2 hingga L4 dapat disertakan untuk memantau kemajuan pembelajaran kognitif,
sosial, dan perilaku siswa, serta mengidentifikasi kesulitan belajar mereka. , dan menjelaskan perbedaan individu dalam konstruksi pengetahuan dari waktu
ke waktu.
Mengenai karakteristik sampel (ditunjukkan pada Gambar 2 struktur sarang), siswa dan guru merupakan dua kategori utama dalam unit analisis di L1,
yang mengambil tiga perempat dari studi yang ditinjau, diikuti dengan pesan. Temuan ini mencerminkan bahwa hasil siswa (misalnya prestasi dan keterampilan
digital) dan hasil guru (misalnya penggunaan ICT dan integrasi teknologi) merupakan hal yang paling menarik dalam pembelajaran e-learning menggunakan
HLM. Selanjutnya, dua pertiga penelitian menggunakan kelompok, sekolah, kelas, guru, dan kursus sebagai unit analisis L2 utama dalam memprediksi hasil
siswa, sementara sekolah, administrator, dan negara bagian diadopsi sebagai unit analisis L2 utama dalam menjelaskan guru hasil. Khususnya, pesan muncul
sebagai kategori terbesar ketiga dalam unit analisis L1 yang diprediksi oleh siswa, tema, dan kelompok sebagai unit analisis L2. Dengan penerapan teknik
klasifikasi otomatis (misalnya, pembelajaran mesin dan AI), kami berharap bahwa pesan sebagai artefak umum dalam lingkungan yang ditingkatkan teknologi
dapat memperoleh momentum dalam HLM e-learning.

Sebagian besar studi HLM yang ditinjau (84,21%) menggunakan model dua tingkat, sedangkan sisanya adalah model tiga tingkat dengan hanya satu
model empat tingkat. Temuan ini mungkin menimbulkan kekhawatiran mengenai studi HLM saat ini karena gagal untuk secara jujur mewakili hubungan
sebenarnya dalam ekologi e-learning. Khususnya, keberhasilan penerapan teknologi untuk meningkatkan pengajaran dan pembelajaran memerlukan
koordinasi dan dukungan dari setiap tingkat sistem pendidikan untuk menghindari hambatan dalam integrasi teknologi (Tsai & Chai, 2012). Misalnya, untuk
menyelidiki keterampilan TIK siswa, kami dapat memasukkan prediktor dari berbagai tingkatan seperti sikap orang tua terhadap TIK di Tingkat 1, penggunaan
pedagogi oleh guru di Tingkat 2, bantuan teknis dari sekolah di Tingkat 3, sumber daya kabupaten/negara di Tingkat 4 , kebijakan negara di Level 5, dan lain-
lain. Dengan demikian, penggunaan HLM yang signifikan dalam e-learning adalah untuk membentuk model prediksi yang komprehensif, yang mencakup
karakteristik beragam dari setiap tingkat hierarki. Kemudian, hasil HLM dapat digunakan untuk menginformasikan praktik baik atau potensi hambatan yang
mungkin mempengaruhi hasil pendidikan. Demikian pula, beberapa studi e-learning dilakukan dalam lingkungan Pembelajaran Kolaboratif yang Didukung
Komputer (CSCL), yang memerlukan interaksi kelompok dan fasilitasi guru. Penerapan HLM dalam hal ini dapat menggambarkan pengaruh tingkat kelompok,
tingkat guru, atau tingkat kursus terhadap dinamika kolaborasi tim dan hasil pembelajaran (misalnya, Darban et al., 2016). Namun, tinjauan saat ini
mengungkapkan bahwa hanya sedikit penelitian (14 dari 76) yang memperluas pemeriksaan hierarki dampak tingkat spesifik ke tingkat ketiga atau lebih tinggi,
sehingga membatasi upaya mereka untuk memberikan pandangan yang lebih menyeluruh tentang ekosistem pembelajaran. Penelitian di masa depan dalam
bidang e-learning mungkin perlu mempertimbangkan sifat hierarki struktur datanya dan memasukkan variabel-variabel kuat dari masing-masing tingkatan untuk
secara sistematis menguji pengaruh tingkat tertentu terhadap hasil e-learning.

Mengenai karakteristik model dan perangkat lunak, model intersep acak adalah HLM yang paling banyak digunakan, diikuti oleh model koefisien acak.
Spesifikasi model ini sesuai dengan upaya peneliti untuk menguji apakah klaster tingkat tinggi menghasilkan rata-rata klaster yang berbeda untuk variabel
hasil (misalnya, Kaarakainen & Saikkonen, 2021) atau kemiringan diferensial untuk prediktor tingkat rendah (misalnya, Liu et al., 2021 ). Sebaliknya, model
efek lintas klasifikasi dan acak (Lai & Kwok, 2014) jarang ditemukan dalam tinjauan e-learning ini, karena kesulitan untuk mendeteksi dan menentukan
keanggotaan cluster yang ambigu (misalnya, seseorang mungkin berada di dalam cluster

11
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

dua sistem pembelajaran yang berbeda secara bersamaan). Kita perlu mengakui bahwa pembelajar masa kini terus-menerus beralih ke berbagai platform
dan perangkat pembelajaran. Penelitian di masa depan dapat fokus pada eksplorasi data e-learning bertingkat yang tersembunyi atau tidak terstruktur
dengan menggunakan model efek lintas klasifikasi dan acak.
Selain itu, estimasi kemungkinan maksimum penuh dan estimasi kemungkinan terbatas adalah dua metode estimasi yang paling sering diterapkan.
Sementara itu, perangkat lunaknya, HLM dan R, merupakan paket yang umum digunakan untuk analisis HLM. Namun demikian, kami mengamati sejumlah
besar penelitian yang tidak melaporkan karakteristik modelnya dalam hal jenis model (7,89%), metode estimasi (61,84%), persamaan (57,89%), dan
penggunaan perangkat lunak (23,68%). Elemen-elemen ini merupakan informasi penting bagi pembaca untuk memeriksa kecukupan spesifikasi model dan
merupakan praktik pelaporan yang disarankan untuk studi HLM (Luo et al., 2021). Oleh karena itu, kami menyarankan agar peneliti memasukkan karakteristik
model ini dan semua informasi penting terkait analitik (misalnya, metode estimasi, perangkat lunak) dalam studi HLM mereka di e-learning.

Mengenai teknologi dan variabel yang digunakan dalam studi e-learning, penggunaan ICT dan kursus online mewakili lebih dari 70% studi dan merupakan
dua konteks teknologi utama dalam tinjauan HLM saat ini. Kedua tren penelitian ini berakar pada e-learning, dengan penggunaan TIK dan pengalaman
memainkan peran mendasar dalam pengembangan keterampilan abad ke-21 (van Laar dkk., 2017) dan kursus online mendapatkan momentum untuk
pembelajaran mandiri di pos. -lanskap pandemi di semua tingkat pendidikan (Dhawan, 2020). Kemungkinan besar kedua penggunaan teknologi ini paling
populer dalam studi HLM karena keduanya biasanya memiliki struktur data hierarki yang lebih jelas (misalnya, siswa berada di dalam ruang kelas, dan ruang
kelas berada di dalam sekolah). Dari enam kategori variabel yang digunakan dalam HLM e-learning, pembelajaran kognitif, pembelajaran psikomotorik, dan
keterlibatan adalah tiga variabel dependen teratas di Tingkat 1, yang menggarisbawahi penekanan komunitas riset pada pengetahuan, keterampilan, dan
partisipasi peserta dalam e-learning. Kegiatan Pembelajaran. Sebaliknya, variabel independen yang paling menonjol pada Level 1 dan Level 2 adalah
pembelajaran kognitif dan demografi. Dimasukkannya variabel independen ini dalam HLM menunjukkan niat peneliti untuk menjelaskan perubahan skor
Tingkat 1 dari perspektif perbedaan kognitif atau latar belakang demografis dalam tingkat yang sama (misalnya, Pembelajaran kognitif: Pengetahuan
sebelumnya, Demografi: akses terhadap komputer di rumah) atau dari unit tingkat yang lebih tinggi (misalnya, Pembelajaran kognitif: Kinerja tim, Demografi:
proporsi perempuan).

5. Keterbatasan dan implikasi bagi penelitian selanjutnya

Tinjauan HLM memberikan kontribusi pandangan luas tentang mengapa, bagaimana, dan apa HLM digunakan dalam studi e-learning. Namun, temuan
tinjauan masih harus ditafsirkan sesuai keterbatasannya. Pertama, karena proses seleksi artikel, review hanya mempertimbangkan artikel yang diterbitkan di
13 jurnal bidang e-learning. Penelitian selanjutnya dapat menggabungkan sumber literatur lain seperti Elsevier Scopus, IEEE, dan Google Scholar, hasilnya
mungkin sepenuhnya mencerminkan penggunaan HLM dalam e-learning. Kedua, tinjauan saat ini tidak berfokus pada penggunaan teknologi tertentu.
Tinjauan di masa depan dapat berpusat pada penggunaan teknologi tertentu (misalnya, penggunaan/pengalaman TIK dan kursus online) untuk membentuk
diskusi mendalam tentang penggunaan HLM di bidang tersebut. Terakhir, selain jenis model HLM, metode estimasi, presentasi persamaan dan perangkat
lunak, spesifikasi model lainnya (misalnya korelasi intrakelas, pendekatan pemusatan, struktur kesalahan pengukuran, dllÿ) tidak dimasukkan dalam studi
tinjauan ini karena terbatasnya ketersediaannya dalam e-learning HLM. Studi e-learning di masa depan yang menggunakan HLM didorong untuk melaporkan
karakteristik model ini untuk meningkatkan pemahaman pembaca tentang model tersebut. Sementara itu, kami juga menyerukan pelatihan profesional di
HLM bagi peneliti e-learning untuk memastikan ketelitian ilmiah pada tahap analisis data.
Struktur data hierarki tidak sengaja disusun oleh peneliti tetapi melekat pada lingkungan e-learning. Misalnya, pesan-pesan di media sosial atau sistem
pengelolaan pembelajaran dikumpulkan di dalam peserta, dan peserta dikumpulkan di dalam atau di seluruh tema. Sebagai penutup dari tinjauan HLM dalam
e-learning ini, kami ingin merekapitulasi temuan tinjauan kami dengan implikasinya terhadap praktik penelitian dan penelitian di masa depan. Pertama,
peneliti harus memahami sifat data pendidikan mereka yang tersarang dan menyesuaikan model hipotesis mereka dengan struktur data. Dimasukkannya
prediktor dari masing-masing tingkat sistem pendidikan dapat memberikan pandangan yang lebih menyeluruh terhadap pertanyaan-pertanyaan e-learning
yang diteliti untuk intervensi strategis. Selain itu, menyesuaikan struktur tingkat yang lebih tinggi (bahkan yang insidental tanpa pertanyaan penelitian
eksplisit) dapat membantu mempartisi komponen varians dalam variabel hasil dengan benar dan menghasilkan estimasi yang tidak bias untuk efek tetap dan
acak (McNeish & Wentzel, 2017) . Kedua, tinjauan ini menemukan lebih sedikit penelitian yang meneliti lintasan hasil e-learning. Meskipun ada upaya ekstra
dan proses yang memakan waktu untuk mengumpulkan data longitudinal, penerapan HLM untuk menyelidiki perubahan dalam hasil e-learning dapat
membantu menetapkan urutan kejadian, menjelaskan potensi hubungan sebab akibat, dan menguji efek moderator pada lintasan yang dihipotesiskan. .
Dengan demikian, lebih banyak HLM dengan desain longitudinal memerlukan penelitian e-learning di masa depan. Ketiga, mengingat sebagian besar
informasi yang hilang dalam karakteristik model, kami menyarankan agar peneliti memberikan deskripsi yang memadai tentang karakteristik model HLM
mereka dalam e-learning untuk memfasilitasi pemahaman pembaca tentang model (misalnya, desain pengambilan sampel, model persamaan, struktur
varians pengukuran berulang, dan struktur sisa). Keempat, studi HLM e-learning saat ini terutama berfokus pada satu variabel dependen yang
berkesinambungan, dan tidak ada satupun yang memperluas ke pengaturan multivariat dalam membahas dampak holistik dari pengobatan (misalnya,
penggunaan chatbot) dan karakteristik pelajar (misalnya, efikasi diri TIK) pada beberapa variabel dependen (misalnya, kelancaran pengucapan, kecemasan
berbicara, dan kesadaran fonologis).
Strategi pemodelan multilevel analitis seperti Multivariate HLM (Tate & Pituch, 2007) atau Multilevel SEM (Preacher et al., 2011; Wu et al., 2017) dapat
diterapkan untuk menyelidiki secara bersamaan beberapa variabel dependen (misalnya, kognitif, afektif , dan pembelajaran motorik sebagai hasil L1) yang
memperhitungkan korelasi antara hasil multivariat dalam lingkungan pembelajaran digital, dengan prediktor dari berbagai tingkatan (misalnya, demografi dan
pengalaman ICT sebagai predikator L1, dan perlakuan pedagogis di L2).
Terakhir, penggunaan teknologi termasuk penggunaan/pengalaman TIK dan kursus online menonjol sebagai dua bidang e-learning yang paling banyak diteliti
di HLM, sebagian karena datanya yang terstruktur dengan baik. Faktanya, terdapat penggunaan atau konteks teknologi yang memiliki struktur yang tidak
jelas (misalnya, keterlibatan atau artefak peserta didik dalam papan diskusi online atau kelompok pembelajaran, perilaku menonton video peserta didik pada
platform pembelajaran video) (Merkt dkk., 2022 ; Wu, 2020). Memanfaatkan kekuatan perayapan web, penambangan data, pembelajaran mesin, dan teknik AI,

12
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

HLM dapat diterapkan untuk menangkap hasil kognitif, afektif, dan perilaku peserta didik seperti keyakinan epistemik, motivasi, dan keterampilan regulasi yang diambil
dari data berulang yang tidak jelas ini (Wu & Tsai, 2022). Dengan demikian, penggunaan HLM dan teknik pemodelan multilevel lainnya pada data tidak terstruktur
dengan desain longitudinal akan menjadi pendekatan yang menjanjikan untuk masalah yang belum terpecahkan dan harus diatasi dalam studi e-learning di masa depan.

Pernyataan penulis kredit

Hung-Ming Lin: Konseptualisasi, Metodologi, Investigasi, Kurasi Data, Penulisan – penyusunan draf asli, Visualisasi, Revisi. Jiun-Yu Wu: Validasi, Investigasi,
Penulisan – persiapan draf asli, Penulisan- Review dan Editing, Revisi. Jyh-Chong Liang: Investigasi, Penulisan – persiapan draf asli, Revisi. Yuan-Hsuan Lee: Validasi,
Penulisan – persiapan draf asli. Pin-Chi Huang: Investigasi, Penulisan – persiapan draf asli. Oi-Man Kwok: Validasi, Penulisan-Review dan Editing. Chin-Chung Tsai:
Konseptualisasi, Penulisan-Review, Revisi.

Pendanaan

Pekerjaan ini didukung oleh Kementerian Sains dan Teknologi, Taiwan, di bawah Hibah MOST-109-2511-H-003-014-MY3, MOST-110-2410-H-159-002,
MOST-111-2410-H-003 -130-MY3, dan PALING-111-2410-H-A49-066-MY3. Hal ini juga didukung secara finansial oleh Institute for Research Excellence in Learning
Sciences of National Taiwan Normal University (NTNU) dari Program Pusat Penelitian Area Unggulan dalam kerangka Proyek Kecambah Pendidikan Tinggi oleh
Kementerian Pendidikan (MOE) di Taiwan.

Ketersediaan data

Data akan tersedia berdasarkan permintaan.

Referensi2

* Ackermans, K., Rusman, E., Nadolski, R., Specht, M., & Brand-Gruwel, S. (2021). Rubrik yang disempurnakan dengan video atau tekstual: Apakah penilaian formatif Viewbrics
metodologi mendukung penguasaan keterampilan yang kompleks (abad ke-21)?. Jurnal Pembelajaran Berbantuan Komputer, 37(3), 810–824.
*
Aesaert, K., Van Nijlen, D., Vanderlinde, R., Tondeur, J., Devlieger, I., & van Braak, J. (2015). Kontribusi karakteristik tingkat murid, kelas dan sekolah terhadap
kompetensi TIK siswa sekolah dasar: Pendekatan berbasis kinerja. Komputer & Pendidikan, 87, 55–69.
* Alvarez-Marinelli, H., Blanco, M., Lara-Alecio, R., Irby, BJ, Tong, F., Stanley, K., & Fan, Y. (2016). Pembelajaran bahasa Inggris dengan bantuan komputer di Kosta Rika
sekolah dasar: Sebuah studi eksperimental. Pembelajaran Bahasa Berbantuan Komputer, 29(1), 103–126.
* Arslan, O., Xing, W., Inan, FA, & Du, H. (2021). Memahami durasi topik di komunitas pembelajaran Twitter menggunakan data mining. Jurnal Berbantuan Komputer
Sedang belajar. https://doi.org/10.1111/jcal.12633.
*
Awuor, NO, Weng, C., & Militar, R. (2022). Kompetensi dan kepuasan kerja tim dalam kursus teknik berbasis proyek kelompok online: Moderasi lintas level
efek kemanjuran kolektif dan instruksi terbalik. Komputer & Pendidikan, 176, Pasal 104357.
Tukang roti, RS (2019). Beberapa tantangan untuk pembelajaran analitik selama 18 tahun ke depan. Dalam Konferensi Analisis & Pengetahuan Pembelajaran Internasional ke-9, Tempe, AZ.
Bash, KL, Howell Smith, & Trantham, PS (2021). Tinjauan metodologi sistematis pemodelan linier hierarki dalam penelitian metode campuran. Jurnal Campuran
Metode Penelitian, 15(2), 190–211.
* Bhutoria, A., & Aljabri, N. (2022). Pola pengembalian kognitif terhadap penggunaan teknologi informasi dan komunikasi (TIK) pada anak usia 15 tahun: Bukti global dari pendekatan pemodelan
linier hierarki menggunakan PISA 2018. Komputer & Pendidikan, 181, Artikel 104447.
Birkle, C., Pendlebury, DA, Schnell, J., & Adams, J. (2020). Web of Science sebagai sumber data untuk penelitian aktivitas ilmiah dan keilmuan. Ilmu Kuantitatif. Pejantan., 1
(1), 363–376.
Mekar, BS (1956). Taksonomi tujuan pendidikan. Buku Pegangan 1: Domain kognitif. New York: David McKay.
* Bodzin, AM, & Fu, Q. (2014). Efektivitas pendekatan kurikulum geospasial terhadap pemahaman perubahan iklim siswa tingkat menengah perkotaan. Jurnal Pendidikan Sains dan Teknologi,
23(4), 575–590.
* Bodzin, AM, Fu, Q., Kulo, V., & Peffer, T. (2014). Meneliti pengaruh pemberlakuan kurikulum geospasial terhadap pemikiran dan penalaran geospasial siswa.
Jurnal Pendidikan Sains dan Teknologi, 23(4), 562–574.
* Bokhove, C., & Drijvers, P. (2012). Pengaruh intervensi digital terhadap pengembangan keahlian aljabar. Komputer & Pendidikan, 58(1), 197–208.
* Carle, AC (2009). Mengevaluasi evaluasi mahasiswa terhadap efektivitas pengajaran profesor lintas waktu dan mode pengajaran (online vs. tatap muka) menggunakan pendekatan pemodelan
pertumbuhan bertingkat. Komputer & Pendidikan, 53(2), 429–435.
* Chen, IH, Gamble, JH, Lee, ZH, & Fu, QL (2020). Penilaian formatif dengan papan tulis interaktif: Sebuah studi longitudinal selama satu tahun terhadap kinerja matematika siswa sekolah dasar .
Komputer & Pendidikan, 150, Pasal 103833.
* Cheng, L., Antonenko, PD, Ritzhaupt, AD, Dawson, K., Miller, D., MacFadden, BJ, Grant, C., Sheppard, TD, & Ziegler, M. (2020). Menjelajahi pengaruh
keyakinan guru dan pencetakan 3D mengintegrasikan instruksi STEM pada motivasi STEM siswa. Komputer & Pendidikan, 158, Pasal 103983.
* Cheng, Y., & Jiang, H. (2015). Platform wacana online berbasis pesan instan dan dampaknya terhadap kinerja akademik siswa: Sebuah studi eksplorasi dalam seni
dan pendidikan desain. Komputer & Pendidikan, 88, 315–326.
* Chen, PSD, Lambert, AD, & Guidry, KR (2010). Melibatkan pembelajar online: Dampak teknologi pembelajaran berbasis web terhadap keterlibatan mahasiswa.
Komputer & Pendidikan, 54(4), 1222–1232.
* Chien, SP, & Wu, HK (2020). Meneliti pengaruh praktik dan keyakinan guru sains tentang penilaian berbasis teknologi terhadap kinerja siswa: A
pendekatan pemodelan linier hierarkis. Komputer & Pendidikan, 157, Pasal 103986.
* Chu, RJ, & Chu, AZ (2010). Analisis multi-level dukungan sejawat, efikasi diri Internet, dan hasil e-learning–Efek kontekstual dari kolektivisme dan potensi kelompok. Komputer & Pendidikan,
55(1), 145–154.
* Costley, J., Courtney, M., & Fanguy, M. (2022). Interaksi kolaborasi, kelengkapan pencatatan, dan kinerja selama 10 minggu kursus online. Internet dan Pendidikan Tinggi, 52, Pasal 100831.

* Darban, M., Kwak, DHA, Deng, SL, Srite, M., & Lee, S. (2016). Anteseden dan konsekuensi dari pembaruan pengetahuan yang dirasakan dalam konteks ERP
game simulasi: Perspektif multi-level. Komputer & Pendidikan, 103, 87–98.

2
Catatan: Referensi yang diberi tanda bintang (*) adalah 76 penelitian yang direview dalam penelitian ini.

13
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

*
De Wever, B., Van Keer, H., Schellens, T., & Valcke, M. (2009). Penataan kelompok diskusi asinkron: Dampak penetapan peran dan penilaian diri
tingkat konstruksi pengetahuan siswa melalui negosiasi sosial. Jurnal Pembelajaran Berbantuan Komputer, 25(2), 177–188.
Dedrick, RF, Ferron, JM, Hess, MR, Hogarty, KY, Kromrey, JD, Lang, TR, … Lee, RS (2009). Pemodelan bertingkat: Tinjauan masalah metodologis dan
aplikasi. Review Penelitian Pendidikan, 79(1), 69–102.
Dhawan, S. (2020). Pembelajaran daring: Obat mujarab di masa krisis COVID-19. Jurnal Sistem Teknologi Pendidikan, 49(1), 5–22.
*
Du, J., Xu, J., & Fan, X. (2015). Pencarian bantuan dalam kerja kelompok kolaboratif online: Analisis bertingkat. Teknologi, Pedagogi dan Pendidikan, 24(3), 321–337.
* Sahabat Bijaksana, A., Padmanabhan, P., & Duffy, TM (2009). Menghubungkan pelajar online dengan beragam praktik lokal: Desain titik referensi umum yang efektif
untuk percakapan. Pendidikan Jarak Jauh, 30(3), 317–338.
* Gaÿsevi´c, D., Adesope, O., Joksimovi´c, S., & Kovanovi´c, V. (2015). Perancah regulasi dan penetapan peran yang difasilitasi secara eksternal untuk mengembangkan kehadiran kognitif
dalam diskusi online asinkron. Internet dan Pendidikan Tinggi, 24, 53–65.
Goldstein, H. (1995). Model statistik bertingkat (edisi ke-2). Wiley & Putra.
* Greenhalgh, SP, Rosenberg, JM, & Russell, A. (2021). Pengaruh kebijakan dan konteks terhadap penggunaan media sosial oleh guru. Jurnal Teknologi Pendidikan Inggris,
52(5), 2020–2037.
*
Guo, Q., Qiao, CL, & Ibrahim, B. (2022). Mekanisme pengaruh antara TIK dan literasi sains siswa: Pemodelan persamaan hierarki dan struktural
belajar. Jurnal Pendidikan Sains dan Teknologi, 31(2), 272–288.
* Hatlevik, OE, Throndsen, I., Loi, M., & Gudmundsdottir, GB (2018). Efikasi diri TIK dan literasi komputer dan informasi siswa: Penentu dan
hubungan. Komputer & Pendidikan, 118, 107–119.
* Hawk, NA, Vongkulluksn, VW, Xie, K., & Bowman, MA (2021). Tugas kognitif di bidang konten inti: Faktor-faktor yang mempengaruhi penggunaan teknologi siswa
ruang kelas sekolah menengah. Jurnal Pembelajaran Berbantuan Komputer, 37(4), 1077–1090.
*
Hermans, R., Tondeur, J., Van Braak, J., & Valcke, M. (2008). Dampak keyakinan pendidikan guru sekolah dasar terhadap penggunaan komputer di kelas.
Komputer & Pendidikan, 51(4), 1499–1509.
*
Hew, KF, Hu, X., Qiao, C., & Tang, Y. (2020). Hal yang memprediksi kepuasan siswa terhadap MOOC: Gradien yang meningkatkan pembelajaran mesin dan sentimen yang diawasi
pendekatan analisis. Komputer & Pendidikan, 145, Pasal 103724.
* Hohlfeld, TN, Ritzhaupt, AD, Barron, AE, & Kemker, K. (2008). Menelaah kesenjangan digital di sekolah negeri K-12: Tren empat tahun untuk mendukung literasi TIK
di Florida. Komputer & Pendidikan, 51(4), 1648–1663.
Hox, JJ (2002). Teknik dan aplikasi analisis bertingkat. Rekan Lawrence Erlabaum.
Huang, FL (2018). Mitos pemodelan bertingkat. Triwulanan Psikologi Sekolah, 33(3), 492–499.
*
Hu, X., Gong, Y., Lai, C., & Leung, FK (2018). Hubungan antara TIK dan literasi siswa dalam matematika, membaca, dan sains di 44 negara: A
analisis bertingkat. Komputer & Pendidikan, 125, 1–13.
* Hujala, M., Knutas, A., Hynninen, T., & Arminen, H. (2020). Meningkatkan kualitas pengajaran dengan memanfaatkan umpan balik siswa secara tertulis: Sebuah proses yang efisien.
Komputer & Pendidikan, 157, Pasal 103965.
*
Hussain, S., Lindh, J., & Shukur, G. (2006). Pengaruh pelatihan LEGO terhadap kinerja sekolah siswa dalam matematika, kemampuan dan sikap pemecahan masalah: Swedia
data. Teknologi & Masyarakat Pendidikan, 9(3), 182–194.
*
Hu, J., & Yu, R. (2021). Pengaruh media sosial berbasis ICT terhadap kinerja membaca digital remaja: Studi longitudinal PISA 2009, PISA 2012, PISA 2015
dan PISA 2018. Komputer & Pendidikan, 175, Pasal 104342.
Isakson, J. (2000). Kekuatan Internet untuk pembelajaran beralih dari janji ke praktik: Laporan Komisi Pendidikan Berbasis Web. Penerbitan DIANE.
*
Jara, I., Claro, M., Hinostroza, JE, San Martín, E., Rodríguez, P., Cabello, T., Ibieta, A., & Labb´e, C. (2015). Memahami faktor-faktor yang terkait dengan keterampilan digital siswa Chili :
Analisis metode campuran. Komputer & Pendidikan, 88, 387–398.
Jennrich, RI, & Schluchter, MD (1986). Model pengukuran berulang yang tidak seimbang dengan matriks kovarians terstruktur. Biometrik, 42(4), 805–820.
*
Jesson, R., McNaughton, S., Rosedale, N., Zhu, T., & Cockle, V. (2018). Sebuah studi metode campuran untuk mengidentifikasi praktik efektif dalam pengajaran menulis secara digital
lingkungan belajar di sekolah berpendapatan rendah. Komputer & Pendidikan, 119, 14–30.
* Joksimovi´c, S., Gaÿsevi´c, D., Loughin, TM, Kovanovi´c, V., & Hatala, M. (2015). Pembelajaran jarak jauh: Pengaruh jejak interaksi terhadap prestasi akademik.
Komputer & Pendidikan, 87, 204–217.
* Kaarakainen, MT, & Saikkonen, L. (2021). Analisis bertingkat penggunaan teknologi dalam pendidikan: Kuantitas dan keserbagunaan penggunaan teknologi digital di sekolah pendidikan
dasar Finlandia. Jurnal Pembelajaran Berbantuan Komputer, 37(4), 953–965.
*
Kay, AE, Hardy, J., & Galloway, RK (2020). Penggunaan PeerWise oleh siswa: Evaluasi multi-lembaga dan multidisiplin. Jurnal Teknologi Pendidikan Inggris,
51(1), 23–35.
Kearney, P. (1994). Skala pembelajaran afektif. Dalam RB Rubin, P. Palmgreen, & HE Sypher (Eds.), Langkah-langkah penelitian komunikasi: Buku sumber (hlm. 238–241). Baru
York: Guilford Press, 81-85.
*
Kim, HS, Kil, HJ, & Shin, A. (2014). Analisis variabel yang mempengaruhi tingkat literasi TIK siswa sekolah dasar Korea. Komputer & Pendidikan, 77,
29–38.
*
Kong, SC, & Lai, M. (2022). Pengaruh program pengembangan guru terhadap pengetahuan guru dan keterlibatan kolaboratif, serta prestasi siswa
konsep pemikiran komputasi. Jurnal Teknologi Pendidikan Inggris. https://doi.org/10.1111/bjet.13256.
*
Kuo, YC, Walker, AE, Schroder, KE, & Belland, BR (2014). Interaksi, efikasi diri internet, dan pembelajaran mandiri sebagai prediktor kepuasan siswa
kursus pendidikan online. Internet dan Pendidikan Tinggi, 20, 35–50.
*
Lai, HM, Hsieh, PJ, Uden, L., & Yang, CH (2021). Investigasi bertingkat terhadap faktor-faktor yang mempengaruhi keterlibatan perilaku mahasiswa dalam membalik
ruang kelas. Komputer & Pendidikan, 175, Pasal 104318.
Lai, MHC, & Kwok, O.-M. (2014). Perbedaan rata-rata terstandar dalam model efek acak lintas klasifikasi dua tingkat. Jurnal Statistik Pendidikan dan Perilaku,
39(4), 282–302.
Laird, NM, & Ware, JH (1982). Model efek acak untuk data longitudinal. Biometrik, 38(4), 963–974.
*
Li, S., Du, H., Xing, W., Zheng, J., Chen, G., & Xie, C. (2020). Meneliti dinamika temporal perilaku pembelajaran mandiri dalam pembelajaran STEM: Sebuah jaringan
mendekati. Komputer & Pendidikan, 158, Pasal 103987.
*
Lim, HJ, & Jung, H. (2019). Faktor-faktor yang berhubungan dengan pencapaian membaca digital: Analisis multi-level menggunakan data skala besar internasional. Komputer & Pendidikan, 133,
82–93.
Lin, H.-M., Lee, M.-H., Liang, J.-C., Chang, H.-Y., Huang, P., & Tsai, C.-C. (2020). Tinjauan penggunaan model persamaan struktural parsial Least square dalam e-learning
riset. Jurnal Teknologi Pendidikan Inggris, 51(4), 1354–1372.
*
Liu, CC, Lin, TW, Cheng, CH, Wen, CT, Chang, MH, Fan Chiang, SH, Tsai, MJ, Lin, MH, & Hwang, FK (2021). Dampak fungsional
saling ketergantungan simulasi komputer pada pembelajaran kolaboratif: Bukti dari berbagai sumber. Jurnal Pembelajaran Berbantuan Komputer, 38(2), 455–469.
*
Liu, BW, Xing, WL, Zeng, YF, & Wu, YH (2022). Menghubungkan proses kognitif dan hasil belajar: Pengaruh kehadiran kognitif terhadap pembelajaran
kinerja di MOOC. Jurnal Teknologi Pendidikan Inggris, 53(5), 1459–1477.
Longford, NT (1993). Model koefisien acak. Pers Clarendon.
Luo, W., Li, H., Baek, E., Chen, S., Lam, KH, & Semma, B. (2021). Praktik pelaporan dalam pemodelan bertingkat: Kunjungan kembali setelah 10 tahun. Review Penelitian Pendidikan,
91(3), 311–355.
*
Lu, GQ, Xie, K., & Liu, QT (2022). Apa yang mempengaruhi keterlibatan situasional siswa di kelas cerdas: Persepsi terhadap lingkungan belajar dan kemampuan siswa
motivasi. Jurnal Teknologi Pendidikan Inggris, 53(6), 1665–1687.
*
Maier, U. (2021). Pesan umpan balik yang direferensikan sendiri vs. berbasis penghargaan dalam kursus online dengan penilaian penguasaan formatif: Uji coba terkontrol secara acak di
ruang kelas menengah. Komputer & Pendidikan, 174, Pasal 104306.
McNeish, D., & Wentzel, KR (2017). Mengakomodasi ukuran sampel yang kecil dalam model tiga tingkat ketika tingkat ketiga bersifat insidental. Penelitian Perilaku Multivariat, 52
(2), 200–215.

14
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

* Melzner, N., Greisel, M., Dresel, M., & Kollar, I. (2020). Mengatur pembelajaran kolaboratif yang terorganisir sendiri: Pentingnya persepsi masalah yang homogen,
kedekatan dan intensitas penggunaan strategi. Int. J. Pembelajaran Kolaboratif yang Didukung Komputer, 15(2), 149–177.
Merkt, M., Hoppe, A., Bruns, G., Ewerth, R., & Huff, M. (2022). Menekan tombol: Mengapa pelajar menjeda video online? Komputer & Pendidikan, 176, Pasal 104355.
*
Moore, RL, Oliver, KM, & Wang, C. (2019). Menetapkan langkah: Meneliti proses kognitif di forum diskusi MOOC dengan analisis teks otomatis. Interaktif
Lingkungan Belajar, 27(5–6), 655–669.
Nagy, A. (2005). Dampak e-learning. Dalam PA Bruck, Z. Karssen, A. Buchholz, & A. Zerfass (Eds.), E-Content (hlm. 79–96). Berlin, Heidelberg: Peloncat.
Ozkaya, HE, Dabas, CS, Kolev, KD, Hult, GT, Dahlquist, SH, & Manjeshwar, S. (2013). Penilaian pemodelan linier hierarki dalam bisnis internasional, manajemen, dan pemasaran. Tinjauan Bisnis
Internasional, 22, 663–677.
* Taman, S., & Weng, W. (2020). Hubungan antara faktor-faktor yang berhubungan dengan TIK dan prestasi akademik siswa serta efek moderasi indeks perekonomian negara
di 39 negara. Teknologi & Masyarakat Pendidikan, 23(3), 1–15.
Pengkhotbah, K., Zhang, Z., & Zyphur, M. (2011). Metode alternatif untuk menilai mediasi dalam data bertingkat: Keuntungan SEM bertingkat. Persamaan Struktural
Pemodelan: Jurnal Multidisiplin, 18(2), 161–182.
Pritikin, JN, Hunter, MD, von Oertzen, T., Brick, TR, & Boker, SM (2017). Pemodelan persamaan struktural bertingkat banyak: Strategi evaluasi yang efisien.
Pemodelan Persamaan Struktural: Jurnal Multidisiplin, 24(5), 684–698.
Raudenbush, S. (2001). Membandingkan lintasan pribadi dan menarik kesimpulan sebab akibat dari data longitudinal. Review Tahunan Psikologi, 52(1), 501–525.
Raudenbush, SW, & Bryk, AS (2002). Model linier hierarki: Aplikasi dan metode analisis data (Edisi ke-2nd). Sage.
*
Reese, DD, Tabachnick, BG, & Kosko, RE (2015). Dinamika pembelajaran video game: Ukuran lintasan pembelajaran multidimensi yang dapat ditindaklanjuti. Jurnal Inggris
Teknologi Pendidikan, 46(1), 98–122.
Rodrigues, H., Almeida, F., Figueiredo, V., & Lopes, SL (2019). Melacak e-learning melalui makalah yang diterbitkan: Tinjauan sistematis. Komputer & Pendidikan, 136,
87–98.
Rovai, AP, Wighting, MJ, Baker, JD, & Grooms, LD (2009). Pengembangan instrumen untuk mengukur persepsi pembelajaran kognitif, afektif, dan psikomotorik di lingkungan pendidikan tinggi kelas
tradisional dan virtual. Internet dan Pendidikan Tinggi, 12(1), 7–13.
´
* Sanchez, DM (2018). Konsentrasi di antara orang-orang yang mendukung dan menentang Presiden Trump. Teknologi & Masyarakat Pendidikan, 21(1), 237–247.
Scherbaum, CA, & Ferreter, JM (2009). Memperkirakan kekuatan statistik dan ukuran sampel yang diperlukan untuk penelitian organisasi menggunakan pemodelan bertingkat.
Metode Penelitian Organisasi, 12(2), 347–367.
* Scherer, R., & Siddiq, F. (2015). Dampak dari ikan besar-kolam kecil ditinjau kembali: Apakah berbagai jenis penilaian penting?. Komputer & Pendidikan, 80, 198-21.
Schreiber, JB, & Griffin, BW (2004). Review pemodelan bertingkat dan studi bertingkat dalam Journal of Educational Research (1992-2002). Jurnal dari
Penelitian Pendidikan, 98, 24–34.
Simpson, EJ (1974). Klasifikasi tujuan pendidikan pada ranah psikomotorik. Dalam RJ KiblerD, J. CegalaL, L. Barker, & DT Miles (Eds.), Tujuan untuk
instruksi dan evaluasi (hlm. 107–112). Boston: Allyn dan Bacon.
* Skryabin, M., Zhang, J., Liu, L., & Zhang, D. (2015). Bagaimana tingkat perkembangan dan penggunaan TIK mempengaruhi prestasi siswa dalam membaca, matematika, dan sains.
Komputer & Pendidikan, 85, 49–58.
* Slof, B., van Leeuwen, A., Janssen, J., & Kirschner, PA (2021). Milik saya, milik kami, dan milik Anda: Keterlibatan dan pengetahuan sebelumnya memengaruhi pencapaian individu
pembelajaran kolaboratif online?. Jurnal Pembelajaran Berbantuan Komputer, 37(1), 39–50.
Stapleton, LM (2006). Menggunakan teknik pemodelan persamaan struktural bertingkat dengan data sampel yang kompleks. Dalam GR Hancock, & RO Mueller (Eds.), Pemodelan persamaan
struktural : Kursus kedua (hlm. 345–383). Penerbitan Era Informasi.
Stapleton, LM (2008). Analisis data dari survei yang kompleks. Dalam ED de Leeuw, JJ Hox, & DA Dillman (Eds.), Buku pegangan internasional metodologi survei (hal.
342–369). Rekan Lawrence Erlbaum.
Tate, RL, & Pituch, KA (2007). Pemodelan linier hierarki multivariat dalam eksperimen lapangan acak. Jurnal Pendidikan Eksperimental, 75(4), 317–337.
* Tondeur, J., Aesaert, K., Prestridge, S., & Consuegra, E. (2018). Analisis bertingkat mengenai hal-hal penting dalam pelatihan kompetensi TIK guru prajabatan.
Komputer & Pendidikan, 122, 32–42.
* Tondeur, J., Valcke, M., & Van Braak, J. (2008). Pendekatan multidimensi terhadap faktor penentu penggunaan komputer di pendidikan dasar: Karakteristik guru dan sekolah. Jurnal
Pembelajaran Berbantuan Komputer, 24(6), 494–506.
Tsai, C.-C., & Chai, CS (2012). Hambatan tingkat “ketiga” untuk pengajaran integrasi teknologi: Implikasinya terhadap pendidikan guru. Jurnal Australasia dari
Teknologi Pendidikan, 28(6).
Tsai, C.-C., Chuang, S.-C., Liang, J.-C., & Tsai, M.-J. (2011). Efikasi diri dalam lingkungan pembelajaran berbasis internet: Sebuah tinjauan literatur. Teknologi Pendidikan &
Masyarakat, 14(4), 222–240.
UNESCO. (2003). Internet dalam pendidikan: Materi pendukung bagi para pendidik. Tersedia di: http://www.iite.ru/pics/publications/en/files/3214612.pdf. (Diakses 30 Oktober
2010).
van Laar, E., van Deursen, van Dijk, & de Haan, J. (2017). Hubungan antara keterampilan abad ke-21 dan keterampilan digital: Sebuah tinjauan literatur sistematis. Komputer dalam Perilaku Manusia,
72, 577–588. https://doi.org/10.1016/j.chb.2017.03.010.
* Vanderlinde, R., Aesaert, K., & van Braak, J. (2014). Penggunaan TIK yang dilembagakan dalam pendidikan dasar: Analisis bertingkat. Komputer & Pendidikan, 72, 1–10.
* Vongkulluksn, VW, Xie, K., & Bowman, MA (2018). Peran guru terhadap internalisasi hambatan eksternal dan eksternalisasi keyakinan pribadi
integrasi teknologi kelas. Komputer & Pendidikan, 118, 70–81.
Vatral, C., Biswas, G., & Goldberg, BS (2022). Analisis pembelajaran multimodal menggunakan model hierarki untuk menganalisis kinerja tim. Dalam Prosiding tanggal 15
Konferensi Internasional tentang Pembelajaran Kolaboratif yang Didukung Komputer.
* Waight, N., Chiu, MM, & Whitford, M. (2014). Faktor-faktor yang mempengaruhi pemilihan guru sains dan penggunaan teknologi di kelas sains sekolah menengah.
Jurnal Pendidikan Sains dan Teknologi, 23(5), 668–681.
*
Wang, J., Tigelaar, DEH, Luo, J., & Admiraal, W. (2022). Keyakinan guru, kualitas proses kelas, dan keterlibatan siswa dalam pembelajaran kelas cerdas
lingkungan: Analisis bertingkat. Komputer & Pendidikan, 183, Pasal 104501.
* Wilson, CD, Reichsman, F., Mutch-Jones, K., Gardner, A., Marchi, L., Kowalski, S., Lord, T., & Dorsey, C. (2018). Implementasi guru dan dampak permainan-
materi kurikulum sains berbasis. Jurnal Pendidikan Sains dan Teknologi, 27(4), 285–305.
* Winitzky-Stephens, JR, & Pickavance, J. (2017). Sumber daya pendidikan terbuka dan hasil kursus siswa: Analisis bertingkat. Tinjauan Internasional Penelitian di
Pembelajaran Terbuka dan Jarak Jauh, 18(4), 35–49.
* Wladis, C., & Samuels, J. (2016). Apakah survei kesiapan online memenuhi klaim mereka? Validitas, reliabilitas, dan keputusan pendaftaran siswa selanjutnya. Komputer &
Pendidikan, 98, 39–56.
*
Wu, J.-Y. (2017). Hubungan tidak langsung dari efikasi diri multitasking media terhadap kinerja belajar dalam lingkungan belajar pribadi: Implikasi dari
mekanisme masalah perhatian yang dirasakan dan strategi pengaturan diri. Komputer & Pendidikan, 106, 56–72.
Wu, J.-Y. (2020). Analisis Pembelajaran pada sumber data heterogen terstruktur dan tidak terstruktur: Perspektif dari penundaan, pencarian bantuan, dan Mesin-
Pembelajaran mendefinisikan keterlibatan kognitif. Komputer & Pendidikan, 163, Pasal 104066.
Wu, J.-Y., & Kwok, O. (2012). Menggunakan pemodelan persamaan struktural untuk menganalisis data survei yang kompleks: Perbandingan antara tingkat tunggal berbasis desain dan berbasis model
pendekatan multi-level. Pemodelan Persamaan Struktural-Jurnal Multidisiplin, 19(1), 16–35.
Wu, J.-Y., Kwok, O., & Willson, VL (2014). Menggunakan pemodelan kurva pertumbuhan laten berbasis desain dengan prediktor tingkat cluster untuk mengatasi ketergantungan. Jurnal dari
Pendidikan Eksperimental, 82(4), 431–454.
Wu, J.-Y., Lin, JJH, Nian, M.-W., & Hsiao, Y.-C. (2017). Solusi untuk memodelkan analisis faktor konfirmatori bertingkat dengan data yang diperoleh dari survei kompleks
pengambilan sampel untuk menghindari perkiraan parameter yang digabungkan. Perbatasan dalam Psikologi, 8, 1464.
Wu, J.-Y., & Tsai, C.-C. (2022). Memanfaatkan kekuatan teknologi yang menjanjikan untuk mentransformasikan pendidikan sains: Prospek dan tantangan untuk mendorong pendidikan adaptif
keyakinan epistemik dalam pembelajaran sains. Jurnal Internasional Pendidikan Sains, 44(2), 346–353.

15
Machine Translated by Google

H.-M. Lin dkk. Komputer & Pendidikan 198 (2023) 104762

Wu, J.-Y., Yang, CCY, Liao, C.-H., & Nian, M.-W. (2021). Analytics 2.0 untuk pendidikan presisi: Kerangka teori integratif antara manusia dan mesin
pembelajaran simbiosis. Teknologi & Masyarakat Pendidikan, 24(1).
*
Xie, T., Liu, RB, Chen, YJ, & Liu, GP (2021). MOCA: Agen percakapan online yang memotivasi untuk meningkatkan keterlibatan siswa dalam pembelajaran kolaboratif.
Transaksi IEEE pada Teknologi Pembelajaran, 14(5), 653–664.
*
Xu, J. (2015). Menyelidiki faktor-faktor yang mempengaruhi gangguan konvensional dan gangguan terkait teknologi dalam pekerjaan rumah matematika. Komputer & Pendidikan, 81, 304–314.
*
Xu, J., Du, J., & Fan, X. (2013a). Menemukan waktu kita”: Memprediksi manajemen waktu siswa dalam kerja kelompok kolaboratif online. Komputer & Pendidikan, 69, 139–147.
*
Xu, J., Du, J., & Fan, X. (2013b). Faktor tingkat individu dan kelompok untuk manajemen emosi siswa dalam kerja kelompok kolaboratif online. Internet dan Lebih Tinggi
Pendidikan, 19, 1–9.
* Yueh, HP, Chen, TL, Chiu, LA, & Lin, WC (2013). Menggali faktor-faktor yang mempengaruhi persepsi peserta didik terhadap pembelajaran teknologi informasi dan komunikasi: A
Analisis HLM terhadap program pelatihan petani nasional di Taiwan. Teknologi & Masyarakat Pendidikan, 16(1), 231–242.
* Zhai, X., Zhang, M., Li, M., & Zhang, X. (2019). Memahami hubungan antara tingkat penggunaan teknologi seluler di kelas fisika sekolah menengah dan hasil belajar. Jurnal Teknologi
Pendidikan Inggris, 50(2), 750–766.
* Zhang, RC, Lai, HM, Cheng, PW, & Chen, CP (2017). Efek longitudinal dari penilaian dorongan lulus berbasis komputer terhadap akademik siswa
pertunjukan. Komputer & Pendidikan, 110, 181–194.
* Zhang, Y., & Lin, CH (2020). Interaksi siswa dan peran guru di sekolah menengah virtual negeri: Apa yang memprediksi kepuasan pembelajaran online?. Teknologi, Pedagogi dan Pendidikan,
29(1), 57–71.
Zhang, Z., Zyphur, MJ, & Pengkhotbah, KJ (2009). Menguji mediasi bertingkat menggunakan masalah dan solusi model linier hierarki. Penelitian Organisasi
Metode, 12(4), 695–719.
* Zheng, B., Lin, CH, & Kwon, JB (2020). Dampak faktor tingkat pelajar, instruktur, dan kursus pada pembelajaran online. Komputer & Pendidikan, 150, Artikel
103851.
* Zhong, ZJ (2011). Dari akses hingga penggunaan: Kesenjangan keterampilan digital yang dilaporkan sendiri di kalangan remaja. Komputer & Pendidikan, 56(3), 736–746.

16

Anda mungkin juga menyukai