i

MODUL PEMBELAJARAN
EVIDENCE BASED PRACTICE
Semester Ganjil TA 2020/2021

PENYUSUN:

Dzakiyatul Fahmi Mumtaz, S. Kep., Ns., M. Kep

Nama : ……………..………………….……..

NIM : ……………..…………………..……..

PROGRAM STUDI KEPERAWATAN ANESTESIOLOGI

PROGRAM SARJANA TERAPAN
FAKULTAS ILMU KESEHATAN
UNIVERSITAS ‘ASIYIYAH YOGYAKARTA
2020

ii
 HALAMAN PENGESAHAN

MODUL PEMBELAJARAN

EVIDENCE BASED PRACTICE

SEMESTER GANJIL 2020/2021

Modul Pembelajaran Evidence Based Practice ini digunakan sebagai

Modul pembelajaran pada Semester V TA 2020/2021

Program Studi Keperawatan Anestesiologi Program Sarjana Terapan

Universitas ‘Aisyiyah Yogyakarta

YOGYAKARTA, 13 Agustus 2020

DISETUJUI OLEH, DISUSUN OLEH,

Dzakiyatul Fahmi Mumtaz, M. Kep

iii
 KATA PENGANTAR

Bismillahirrahmaanirrahim

Assalaamu’alaikum warahmatullahi wabarakaatuh

Alhamdulillahirobbilalaamiin segala puji dan syukur Kepada Tuhan Yang

Maha Esa atas segala kasih dan karunia yang selalu dilimpahkan kepada hamba-
hambaNya. Shalawat serta salam semoga senantiasa tercurah kepada Rasulullah
Muhammad SAW, keluarga, para sahabat dan pengikut beliau yang istiqomah
sampai akhir nanti, Aamiin

Modul Pembelajaran Evidence Based Practice ini disusun sebagai acuan

proses pembelajaran Mata Kuliah Evidence Based Practice di Prodi Keperawatan
Anestesiologi. Modul Pembelajaran ini berfungsi sebagai panduan bagi dosen dan
mahasiswa dalam melakukan diskusi untuk memantapkan pemahaman informasi,
sehingga diharapkan dapat mencapai tujuan pembelajaran yang diharapkan.
Semoga modul ini bermanfaat untuk pembelajaran yang telah disusun. Kami
menyadari masih terdapat kekurangan dalam buku ini, oleh karena itu penulis
mengharapkan saran dan masukan yang membangun untuk perbaikan buku
panduan praktikum ini karena penulis menyadari masih terdapat kekurangan dalam
penyusunan modul pembelajaran ini.

Terimakasih kami sampaikan kepada semua pihak yang telah membantu dalam
penyusunan modul pembelajaran ini. Semoga buku panduan ini dapat
meningkatkan kualitas proses pembelajaran Mata Kuliah Evidence Based Practice
serta dapat mendukung tercapainya kompetensi dasar penata anestesi.

Yogyakarta, 24 Juli 2018

Penulis

iv
 DAFTAR ISI

Halaman Judul ...................................................................................................i

Halaman Pengesahan .........................................................................................ii

Kata Pengantar ...................................................................................................iii

Daftar Isi .............................................................................................................iv

BAB I. Visi Misi dan Tujuan ...........................................................................v

BAB II. PENDAHULUAN

A. Informasi Mata Ajar .................................................................................1

B. Deskripsi Pembelajaran ............................................................................2

C. Capaian Pembelajaran Mata Kuliah ........................................................2

D. Bahan Kajian ...........................................................................................2

E. Topic Tree (Bahan Kajian) ......................................................................3

F. Evaluasi dan Penilaian .............................................................................3

C. Tata Tertib ................................................................................................3

D. Tim Pengajar ............................................................................................4

BAB III. MATERI PEMBELAJARAN

A. Langkah Evidence Based Practice (EBP), PICO, Ethic and Evidence...5

B. Pencarian Evidence Based Terbaik .........................................................15
C. Konsep Literature Review VS Systematic Review ...................................21
D. Langkah Melakukan Critical Appraisal..................................................26

DAFTAR PUSTAKA (DAFTAR RUJUKAN)

v
 BAB I
VISI MISI DAN TUJUAN
PROGRAM STUDI KEPERAWATAN ANESTESIOLOGI
PROGRAM SARJANA TERAPAN
FAKULTAS ILMU KESEHATAN
UNIVERSITAS ‘AISYIYAH YOGYAKARTA

A. VISI : Menjadi Program Studi Keperawatan Anestesiologi Program Sarjana

Terapan, pilihan dan unggul dalam penerapan kesehatan bencana
berdasarkan nilai–nilai Islam Berkemajuan.
B. MISI : 1. Menyelenggarakan pendidikan, penelitan, pengabdian kepada
masyarakat dalam bidang Keperawatan Anestesiologi dengan
keunggulan kesehatan bencana berdasarkan nilai-nilai Islam
Berkemajuan.
2. Menyelenggarakan kajian dan pemberdayaan perempuan bidang
Keperawatan anestesiologi dalam kerangka Islam Berkemajuan
C. TUJUAN : 1. Menghasilkan lulusan berakhlak mulia, menguasai ilmu pengetahuan
dan teknologi di bidang keperawatan anestesi, unggul dalam
penerapan Kesehatan bencana, professional, berjiwa entrepreneur
dan menjadi kekuatan penggerak (driving force) dalam memajukan
kehidupan bangsa.
2. Menghasilkan karya-karya ilmiah di bidang keperawatan
anestesiologi yang menjadi rujukan dalam pemecahan masalah.
3. Menghasilkan karya inovatif dan aplikatif di bidang keperawatan
anestesiologi yang berkontribusi pada pemberdayaan dan
pencerahan.
4. Menerapkan model berbasis praksis pemberdayaan perempuan
berlandaskan nilai-nilai Islam Berkemajuan, khususnya di daerah
mitra rentan bencana.
5. Menghasilkan pemikiran Islam Berkemajuan dan sebagai penguat
moral spiritual dalam implementasi Tri Dharma Perguruan Tinggi.

vi
 BAB II

PENDAHULUAN

A. Latar Belakang

Evidence Based Practice (EBP) merupakan salah satu mata kuliah lanjut di
Program Studi Keperawatan Anestesiologi. Mata Kuliah ini membahas tentang
langkah-langkah mencari sumber ilmiah terkini yang dapat di implementasikan di
lahan klinis. EBP akan membuat mahasiswa mudah dalam mencari sumber ilmiah.
Mahasiswa juga akan dibekali ilmu dalam membuat suatu Literature Review dan
Critical Appraisal yang akan bermanfaat di pembuatan tugas akhir kuliah. EBP ini
diharapkan juga dapat mendasari mahasiswa dalam memutuskan tindakannya di
masa depan, sesuai kewenangannya di lahan klinis.
Materi ini merupakan mata kuliah lanjut yang menekankan pada pemahaman
mengenai konsep pencarian literatur terbaru dan terbaik Mengingat ilmu akan
selalu berkembang dan diperbarui sehingga diperlukan keilmuan ini dalam
memfasilitasi mahasiswa mencari dasar literatur yang dapat berpengaruh pada
perkembangan Kesehatan di masa depan.
Beberapa firman Allah sebagai rujukan dalam melakukan asuhan keperawatan
anestesiologi:

Al Qur‘an Surat Yunus ayat 57

Artinya:

Hai manusia, sesungguhnya telah datang kepadamu pelajaran dari

Tuhanmu dan penyembuh bagi penyakit-penyakit (yang berada) dalam dada dan
petunjuk serta rahmat bagi orang-orang yang beriman. (QS. Yunus: 57)

Al Qur‘an Surat Al-Isra‘ ayat 82

1
 Artinya:

“Dan Kami turunkan dari Al Quran suatu yang menjadi penawar dan
rahmat bagi orang-orang yang beriman dan Al Quran itu tidaklah menambah
kepada orang-orang yang zalim selain kerugian”

B. DESKRIPSI MATA KULIAH

Evidence Based Practice (EBP) merupakan mata kuliah yang berfokus pada
pemahaman mahasiswa tentang cara mencari dasar sumber sebagai referensi terbaik
untuk melakukan asuhan kepenataan anestesi. Mahasiswa akan belajar tentang
bagaimana mencari sumber ilmiah terbaru, melakukan penilaian literatur ilmiah
terstandar (critical appraisal) sehingga akhirnya mahasiswa akan mampu membuat
suatu esai dalam bidang Keperawatan Anestesi yang baik dan berkualitas.

C. CAPAIAN PEMBELAJARAN MATA KULIAH

Mahasiswa mampu menginternalisasi nilai, norma dan etika dalam membaca
literatur untuk mengetahui adanya temuan terbaru disiplin ilmu Keperawatan
Anestesi, mencegah plagiasi serta memilih berbagai alternative solusi kepenataan
anestesi sesuai kewenangannya (S9, SU12, PPU5, KU18, KK7).
D. BAHAN KAJIAN

1. Langkah EBP, PICO, Ethic and Evidence

2. Pencarian Evidence Based Terbaik
3. Penulisan Literature Review VS Systematic Review
4. Langkah melakukan Critical Appraisal

2
E. TOPIC TREE (BAHAN KAJIAN) EVIDENCE BASED PRACTICE

EBP, PICO, Pencarian

Critical Systematic
Ethic & EBP
Appraisal Review
Evidence terbaik

F. EVALUASI DAN PENILAIAN

Evaluasi dalam perkuliahan teori dilakukan pada Penugasan Terstruktur,
Ujian Tengah Semester (UTS) dan Ujian Akhir Semester (UAS). Penugasan
terstruktur sebesar 20%, Penilaian akhir UTS sebesar 20% dan penilaian akhir
UAS sebesar 20%. Evaluasi dalam Praktikum adalah ujian Praktikum dengan
bobot sebesar 40%.

G. TATA TERTIB

Tata tertib selama melaksanakan praktikum adalah sebagai berikut:

1. Praktikum wajib diikuti semua mahasiswa dengan syarat:
a. Terdaftar sebagai mahasiswa Universitas ‘Aisyiyah Yogyakarta
Prodi Keperawatan Anestesiologi pada semester yang bersangkutan.
b. Membawa buku panduan praktikum dan alat tulis.
c. Disarankan membawa laptop
d. Berpakaian seragam sesuai dengan ketentuan.
e. Wajib menggunakan jas laboratorium dan sepatu tertutup.
2. Hadir 10 menit sebelum praktikum dimulai. Bila terlambat lebih dari 15
menit tanpa alasan yang dapat diterima, maka dosen pengampu dapat
menolak mahasiswa untuk mengikuti praktikum.
3. Praktikum dilakukan sesuai dengan jadwal yang telah ditentukan, dan
atau sesuai kesepakatan antara dosen pengampu-mahasiswa. Setiap
mahasiswa wajib mengikuti 100% kehadiran dari jumlah praktikum
yang dilaksanakan dalam 1 semester.
4. Selama praktikum berlangsung diwajibkan:
a. Memelihara dan menjaga fasilitas peralatan yang ada di
laboratorium.

3
 b. Memelihara suasana yang nyaman dan tenang dengan tidak:
1) Makan dan minum yang dapat mengotori ruangan praktikum
2) Bersuara keras atau gaduh
3) Hilir mudik yang tidak perlu
4) Bertindak atau berbicara yang tidak ada hubungannya dengan
materi praktikum yang sedang dijalani
c. Menciptakan suasana ilmiah dengan cara:
1) Bertanya kepada dosen pengampu bila ada suatu masalah yang
tidak dimengerti, berkenaan dengan praktikum yang sedang
dijalankan.
2) Mencatat hal-hal yang baru ditemui atau perlu dicatat untuk
dipelajari sebagai bahan referensi praktikum yang dijalaninya.
3) Berusaha secara maksimal untuk mendapatkan materi yang
menunjang teori.
d. Mencatat data-data praktikum dari hasil praktikum sendiri.
5. Praktikum yang melakukan perusakan atau menghilangkan alat-alat
praktikum selama praktikum berlangsung wajib mengganti dengan alat-
alat yang sama sebelum melanjutkan ke praktikum berikutnya.
6. Mahasiswa yang diperkenankan mengikuti ujian praktikum adalah
mahasiswa yang telah menyelesaikan praktikum dengan tingkat
kehadiran 100% dan telah menyelesaikan segala masalah yang berkaitan
dengan administrasi laboratorium, pengulangan materi dan tugas-tugas
lainnya.
7. Semua hal yang belum diatur dalam tata tertib ini akan diatur kemudian.

H. TIM PENGAJAR

Tim pengajar dalam Mata Kuliah ini adalah sebagai berikut:

Nama dosen No. HP/Telp

Dzakiyatul Fahmi Mumtaz, M. Kep 087759540444
Raisa Farida Kafil, M. Kep 085643498798
Dr. Briliana Nur Rohima, M. Sc., Sp. PK 081578731013
Raden Sugeng Riyadi, SST., M. Psi 08157931112
Vita Purnamasari, M. Kep 085743207300

4
 BAB III

MATERI PEMBELAJARAN 1

Langkah Evidence Based Practice, PICO, Ethic and Evidence

A. Capaian Pembelajaran
Mahasiswa mampu memahami dan Menyusun Evidence Based
Practice, PICO, Ethic and Evidence.
B. Uraian Materi
1. Evidence Based terdiri dari (Sackett, 1996):
Evidence Based Medicine (EBM)
Evidence Based Practice (EBP)
Evidence Based Clinical Practice (EBCP)
Evidence Based Health Care (EBHC)
Evidence Based Nursing (EBN)
2. Evidence Based Practice (EBP) tidak sama dengan penelitian. EBP tidak
hanya melakukan penelitian, namun menggunakan penelitian tersebut.
Jadi penelitian= suatu proses sistematis mengumpulkan dan mensintesis
data empiris untuk menghasilkan pengetahuan tentang topik tertentu.
EBP= penggunaan bukti terkini dan terbaik secara cermat, eksplisit
dan bijaksana dalam membuat keputusan tentang perawatan untuk
klen.
3. EBP dapat disimpulkan
bahwa tidak hanya
berdasar pada penelitian,
namun juga sesuai dengan
system pelayanan
Kesehatan, pilihan/nilai
pasien dan terdapat pakar
klinis di bidang tersebut.

5
4. Clinical Expertise/pakar klinis= Klinisi yang telah memiliki banyak
pengalaman, memiliki pendidikan dan kemampuan klinis yang baik.
5. Patient value/nilai pasien= Pasien akan memberikan masukan terkait
nilai-nilai dan pilihan yang dianutnya serta ekspektasi hidupnya.
6. Best Research Evidence/Dasar penelitian terbaik= biasanya ditemukan di
lahan klinis pada penelitian yang dilakukan dengan menggunakan
metodologi yang tepat.
7.
MENGAPA • EBP merupakan review bukti yang
HARUS EBP? berhubungan dengan pertanyaan
praktek klinis
• EBP hanya bagian dari proses
pengambilan keputusan
• EBP mempertimbangkan nilai,
keyakinan dan pandangan klien
dengan bertujuan untuk meningkatkan
kualitas perawatan dan kehidupan
klien.
8. Pengambilan keputusan dalam EBP perlu mempertimbangkan hal-hal
berikut ini (DiCenso, Cullum, Ciliska & Guyatt, 2004):

Patient Preferences
And Actions
Clinica
Health
l State Clinical care
and
resour
Circum Expertise
ces
stances
Research
Evidence

6
 9. Mengapa EBP itu penting? EBP merupakan hal yang digunakan untuk
menjelaskan dan membenarkan keputusan klinis ke klien dan keluarga;
mendemonstrasikan intervensi klinis secara lebih efektif ke teman
sejawat, kepala unit dan administrasi rumah sakit; menjaga dan
meningkatkan dasar pengetahuan klinisi dan dasar keilmuan di masa
depan.
10. Terdapat 5 langkah dalam melakukan EBP:
a. Identifikasi review question yang jelas, biasanya dapat berhubungan dengan
beberapa hal berikut:
• Penyebab kondisi klien
• Diagnose dan pengkajian
• Prevensi penyakit
• Kondisi prognosis
• Luaran dari tindakan
• Keyakinan/nilai yang dianut klien
• Harm dari tindakan yang kita berikan
• Evaluasi aspek ekonomi
Clinical VS Review Question
Pertanyaan umum yang berhubungan dengan situasi praktik di lahan klinis,
sedangkan review question datang dari pertanyaan klinis, biasanya jelas dan
spesifik, pertanyaan yang spesifik menjawab suatu masalah dengan rumus : “apa
dasar dari efektifitas intervensi X terhadap Y (outcome) pada klien dengan
penyakit Z (masalah/diagnose)”,

Menulis review question harus menggunakan PICO format sebagai berikut:

■ P = Patient/problem (populasi/masalah yang akan kita teliti; kelompok
klien,masalah)
■ I = Intervention Prognostic Factor atau Exposure
■ C = Comparison, atau intervensi alternatif (jika relevan)
■ O = Outcome, hasil/luaran yang ingin digunakan

7
 Examples of EBM questions by question type

Best
Single
MEDLI
Best NE
Interve Feasi Suita Searc
Ques
Popul ntion/ Outco ble ble h
tion
ation Expos me Study Datab Term
type
ure Desig ases for
n Appro
priate
Study
Type
Diagn In What is For Cross Best Sensiti
osis patien the test detectin sectio Evide vity as
ts with perfor g nal nce, a
lung mance mediast analyt UpTo MeSH
cance of CT inal ical Date, or key
r scan metasta study MEDL or title
tic INE word
disease
Treat In Does a Lower RCT Cochr Meta-
ment patien target risk of or ane, analysi
ts with BP of stroke, syste Best s or
HTN 80 MI, matic Evide Clinical
and compar cardiov revie nce, trial or
DMII ed to a ascular w of UpTo Rando
DBP death, RCTs Date, mized
target and all- MEDL Control
of 90 cause INE Trial
mortalit as
y “public
ation
types”
Prog In Sent Suffer Cohor Best Explod
nosis young home appreci t Evide e
men from able study nce, cohort
with the ER, rates of UpTo studies
atypic in the unstabl Date, as

8
b. Cari literatur dari artikel klinis yang relevan dan berbasis bukti
Langkah kedua perlu menggunakan pendekatan yang terorganisir dan sistematis.
perlu dilakukan pengembangan strategi sebelum memulai Langkah dengan
melakukan hal seperti:
• Mengetahui database/homebase yang akan digunakan
• Mengetahui kata kunci yang akan dipakai (keyword)
• Mengetahui Batasan dalam pencarian dengan menerapkan PICO

Menggunakan Sistem Boolean untuk menggabungkan PICO dengan cara

sebagai berikut (Thobari, 2018):

TRUNCATION (*)
Symbol “*” berarti menandakan bahwa ada pencarian lebih lanjut.
Contoh keyword:
• Child OR Childs OR Children OR Childhood → child*
• Diabetics OR diabetes → diabet*
• Obese OR Obesity → obes*
• Diagnose OR diagnostic OR Diagnosis OR Diagnosed → diagnos*

9
 Latihan.
Carilah artikel dengan PICO sebagai berikut:
o P= colorectal cancer
o I= hypnotherapy
o C= music therapy
o O= pain decrease

List Journal Address:

www.ncbi.nlm.nih.gov/pubmed/
http://highwire.stanford.edu/
http://www.bmj.com
http://content.nejm.org
http://pediatrics.aappublications.org/
c. Lakukan critical appraisal
kaji nilai dan tingkat keshahihan evidence tersebut. Percaya bahwa tidak ada
penelitian yang sempurna, sehingga perlu untuk mencari tahu: “apakah
kekurangan penelitian tsb membuat saya meragukan kesimpulannya?” sehingga
perlu dianalisis tentang:
• ketelitian penelitian
• signifikansi hasil
• Dampak pada lahan praktik

10
Berikut ini adalah tingkat dari evidence:

d. Terapkan evidence tersebut ke dalam praktek

Dalam menerapkan suatu evidence di tempat praktek perlu melakukan beberapa
strategi yakni:
• Aplikasikan hasil pada 1 atau sekelompok klien terlebih dahulu
• Mempertimbangkan Kembali tujuan tindakan tsb
• Mengembangkan panduan terkait topik (dengan tenaga Kesehatan lain)
• pertimbangkan siapa yang akan melakukan intervensi tersebut ke klien
• pertimbangkan apa yang ditulis dalam evidence itu merupakan suatu
yang benar dan Langkah yang baik untuk diterapkan di tempat praktek
• pertimbangkan apakah lahan praktek tsb sesuai untuk menerapkan
tindakan tersebut
• pertimbangkan apakah waktu pelaksanaan sudah sesuai
e. Evaluasi dampak dari evidence tersebut
Saat menilai hasil akhir, pertimbangkan:
• Outcome klien
• Efektifitas biaya/aspek ekonomi
• Kepuasan klien
• Kepuasan pemberi pelayanan

11
11. Suatu evidence dapat menjadi EBP apabila:
o ajukan pertanyaan refleksi klinis secara regular
o luangkan waktu untuk mencari bukti terbaik yang mendukung terapi
o gunakan evidence dalam terapi yang kita berikan ke klien
o evaluasi dampak evidence ini dalam terapi yang kita gunakan
12. Hambatan EBP :
o akses dan ketersediaan informasi
o keterbatasan waktu
o kurangnya kemampuan EBP
o kepercayaan diri dalam menilai evidence
o dukungan manajemen klinis
o konflik yang timbul dengan pasien berhubungan dengan profesi lain
13. Rancangan penelitian:

Hierarchy of study
types

Analytic Descriptive

Observasional
(Cross sectional, case case report, case
Experimental (RCT)
control, cohort series, survey
study)

12
14. Arah rancangan penelitian :

15. Waktu pengumpulan data :

13
 16. Beberapa tujuan penelitian/evidence yang dapat dijadikan EBP terbagi
dalam beberapa jenis, diantaranya adalah :
a. diagnosis dan treatment
b. treatment
c. terapi/intervensi
d. prognosis
e. prevention of harm
f. etiologi
(beberapa penelitian mungkin tidak termasuk salah satunya, tetapi sebagaian
besar masuk dalam kategori tersebut diatas)

ETHIC AND EVIDENCE

[etik yang baik berasal dari penemuan yang baik, kualitas fakta tergantung pada
signifikansi etik]

A Prinsip dalam etik suatu evidence adalah :

1. autonomi (bebas dalam berkehendak)
2. beneficence (melakukan hal baik pada orang lain)
3. nonmaleficence (tidak membahayakan)
4. justice (jujur, sesuai dengan alokasi sumber daya)
5. fidelity (teguh hati, menepati janji)
6. accountability (kemampuan untuk menjawab tindakan yang telah
dilakukan)
7. responsibility (bertanggung jawab akan tindakan yang dilakukan)
8. confidentiality (menghormati privasi klien)
9. veracity (berkata benar dan akurat)

“EBP akan selalu diperlukan dalam dunia kesehatan karena tidak

semua evidence itu valid (trusted) dan relevan (up to date)
sehingga dengan EBP kita dapat melakukan penyaringan manakah
evidence yang berkualitas dan dapat digunakan”

14
 MATERI PEMBELAJARAN II

Pencarian Evidence Based Terbaik

A. Capaian Pembelajaran
Mahasiswa mampu memahami dan melakukan pencarian Evidence
Based Terbaik.
B. Uraian Materi
1. Pengenalan Reference Management Software: Mendeley
Pengenalan terkait Reference Management Software (RMS) yang digunakan
untuk citation manager merupakan software yang membantu peneliti dalam
mengelola dokumen referensinya baik buku, chapter, artikel dll. Artian kata
“mengelola” adalah membantu mencari, menemukan, menyimpan metadata
(judul, pengarang, tahun terbit, penerbit dsb) serta menemukan Kembali jika
dibutuhkan, termasuk juga mengelola dokumen digital dari referensi tersebut.
RMS juga membantu dalam berkomunikasi dengan peneliti/penulis lain.
Selain itu disebut juga citation manager karena membantu dalam Menyusun
kutipan dan daftar Pustaka dalam berbagai gaya.
Beberapa contoh RMS yang popular digunakan adalah:
a. EndNote http://endnote.com
b. Zotero http://zotero.org
c. Mendeley http://mendeley.com
a. Refwork http://refwork.com
RMS yang akan digunakan saat ini adalah Mendeley karena Mendeley
memiliki beberapa keunggulan diantara:
a. bersifat gratis dan sudah terindeks scopus
b. Mendukung Annotation, highlight dan salin teks
c. terdapat menu Mendeley suggest dimana fitur ini memberikan
notifikasi berupa referensi-referensi yang relevan dengan referensi
yang ada di database Mendeley kita
d. Karya ilmiah yang kita upload akan otomatis diurutkan baik berdasar
penulis, judul, tahun terbit, maupun penerbit

15
 e. terhubung secara online dengan website, sehingga dengan fasilitas
web importer kita bisa menambahkan file ke Mendeley tanpa
mengunduhnya.
Langkah-langkah menggunakan Mendeley akan dijelaskan secara terperinci
sebagai berikut (Unhakiki, 2019):
a. Install aplikasi Mendeley, salah satunya bisa melalui link berikut:
https://www.mendeley.com/download-
desktop/?switchedFrom=/downloads
b. login ke aplikasi Mendeley sehingga kita akan memiliki akun di
instalasi Mendeley.
c. buka aplikasi Mendeley sehingga muncul Mendeley desktop
d. masukkan referensi yang telah kita gunakan baik itu karya
ilmiah/jurnal/ebook dan lainnya lalu masukkan ke dalam Mendeley.
disarankan dalam bentuk pdf
e. hubungan Mendeley dengan Microsoft word dengan cara : klik menu
Tools → install Ms word Plugin pada Mendeley desktop
f. buka dokumen yang telah dibuat untuk meletakkan sitasi dan daftar
Pustaka. jika telah selesai mengutip dari artikel maka klik
references→insert citation→ go to Mendeley. klik
artikel/referensi yang dipilih→ lihat kolom sisi kanan artikel→
masukkan keterangan yang belum ada→ klik cite
g. jika ingin mengutip kalimat dari sebuah buku maka referensi bisa
ditambahkan, caranya klik references→ insert citation→ go to
Mendeley→ add file /add entry manually→ masukkan
keterangan buku/literatur yg diinginkan→ save→cite
h. membuat daftar Pustaka secara otomatis juga dapat dilakukan dengan
klik references→ insert bibliography
i. metode penulisan sitasi ingin dirubah dengan model APA, maupun
Harvad dll dapat dilakukan dengan klik references→style→ pilih
jenis penulisan→done

16
2. Pengenalan Prisma Flow diagram
a. PRISMA (Preferred Reporting Items for Systematic Reviews and
Meta-Analysis) merupakan protocol wajib yang harus ada dalam
penelitian Systematic review. Tahapannya harus lengkap dan detil
untuk melakukan kajian literatur. Terdapat 5 tahapan yang digunakan
untuk melakukan kajian literatur yakni:
1) mendefinisikan kriteria kelayakan
2) mendefinisikan sumber informasi
3) pemilihan literatur
4) pengumpulan data
5) pemilihan item data
b. Tahapan PRISMA
Tahap 1: Pendefinisian kriteria kelayakan literatur
ditentukan dengan kriteria inklusi (IC) yakni:
1) IC1: artikel harus merupakan riset asli yang telah dikaji dan
dituliskan dalam bahasa Inggris
2) IC2: artikel memiliki tujuan untuk menyelidiki factor yang
mempengaruhi niat pengguna dalam menggunakan atau
penggunaan actual aplikasi Kesehatan di rumah sakit.
Tahap 2: Pendefinisian sumber informasi
Pencarian literatur dilakukan dengan database online yang
memiliki repositori besar untuk studi akademis, seperti
MEDLINE, ABI/Inform Complete, Academic Search Complete,
ACM Digital Library, Elsavier (Scopus), Emerald, IEEE Xplore,
ScienceDirect dan IGI Global.
Selain itu, penelusuran terhadap daftar referensi pada artikel yang
masuk dalam kriteria inklusi juga dilakukan untuk menemukan
apakah terdapat studi terkait lainnya yang berelevansi dengan
penelitian ini.
Tahap 3: Pemilihan literatur
1) Penentuan kata kunci

17
 2) eksplorasi serta pemilihan judul, abstrak, keyword pada
artikel., didapat dari hasil pencarian berdasarkan kriteria
kelayakan yang telah didefinisikan sebelumnya.
3) membaca lengkap atau parsial artikel yang belum tereliminasi
pada tahapan sebelumnya untuk menentukan apakah artikel
tersebut harus dimasukkan dalam kajian setelahnya sesuai
dengan kriteria kelayakan
4) daftar referensi dari artikel pilihan dikaji Kembali untuk
menemukan studi terkait lainnya. artikel yang terdapat pada
daftar referensi yang berelasi dengan studi ini dikaji Kembali
dengan melakukan tahapan 3 sampai dengan 4.
Tahap 4: Pengumpulan data
Tahap ini dilakukan secara manual dengan membuat form ekstraksi
data seperti:
1) tipe artikel
2) nama jurnal/konferensi
3) tahun
4) topik
5) judul
6) keryword
7) negara
8) metodologi penelitian, dsb
Tahap 5: Pemilihan item data
Terdapat 2 item yang didapatkan dari artikel terpilih yakni:
1) demografi artikel (ID1) meliputi:
• distribusi studi terkait aplikasi Kesehatan
• negara yang melakukan studi terkait topik tersebut
• distribusi metode penelitian, dsb
2) Faktor-faktor peneriman pengguna terhadap SIMRS dan
terknologi terkait (ID2).

18
 Bagan PRISMA adalah sebagai berikut:

PRISMA 2009 Flow Diagram

v

Records identified through Additional records identified

Identification

database searching (Sciencedirect) through other sources (Pubmed)

(n = 2.047) (n = 203)

Records after duplicates removed

(n = 2250 )

Records excluded
Screening

(n = 1648)
Records screened
(n = 602 )
Full-text articles excluded
(n = 553 )

Full-text articles assessed

for eligibility
(n = 49 )
Eligibility

Studies included in
quantitative synthesis
(n = 21 )
Included

Studies included in
effectiveness
accupuncture focused
(n = 14 )

From: Moher D, Liberati A, Tetzlaff J, Altman DG, The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews
and Meta-Analyses: The PRISMA Statement. PLoS Med 6(6): e1000097. doi:10.1371/journal.pmed1000097

For more information, visit www.prisma-statement.org.

19
Contoh Tahapan Systematic Review menggunakan PRISMA adalah sebagai
berikut (Handayani, 2017):

20
 MATERI PEMBELAJARAN III

Konsep Literature Review VS Systematic Review

A. Capaian Pembelajaran
Mahasiswa mampu melakukan penulisan Systematic Review.
B. Uraian Materi
1. Terdapat 2 tipe dari review yakni:
a. Literature review/narrative review
b. systematic review/systematic literature review (SLR)
• Meta analisis (salah satu cara untuk melakukan sintesa hasil
secara statistic (Teknik kuantitatif) dan atau naratif (Teknik
kualitatif).
2. Literature review hanya memberikan gambaran umum tentang topik
tertentu. manfaatnya adalah untuk memahami konsep baru. Beberapa
kelemahan dari Teknik literature review adalah:
a. jarang komprehensif (tidak menyeluruh/luas/teliti/meliputi banyak
hal)
b. tidak mengungkap banyak tentang metodologi mereka
c. jarang memperhitungkan perbedaan dalam kualitas studi yang dikaji
d. sering sampai pada kesimpulan yang salah- interpretasi yang cermat
sangat dibutuhkan

21
3. Contoh literature/narrative review adalah sebagai berikut:

4. Systematic review = kajian ilmiah yang berfokus pada pertanyaan

spesifik dan menggunakan metode ilmiah eksplisit yang telah ditentukan
untuk mengidentifikasi, memilih, menilai dan merangkum temuan dari
studi serupa.
5. Systematic review merupakan studi/penelitian sekunder.
6. Systematic review bermanfaat untuk melakukan sintesis dari berbagai
hasil penelitian yang relevan sehingga fakta yang disajikan menjadi
lebih komprehensif dan berimbang.

22
7. Contoh jurnal yang melakukan systematic review adalah:
a. The Cochrane collaboration (www.cochrane.org/resources) dengan
ciri artikel di bidang kedokteran
b. The Campbell collaboration
(www.campbellcollaboration.org/resources) dengan ciri artikel di
bidang penelitian kebijakan (penelitian social ekonomi)
8. berikut ini adalah rangkuman perbedaan SLR dan Literature review (Kysh,
Lynn, 2013):

9. Sehingga dapat disimpulkan bahwa kedudukan Systematic review adalah

metode penelitian yang merangkum hasil-hasil penelitian primer untuk
menyajikan fakta yang lebih komprehensif dan berimbang. Sedangkan

23
 literature review/narrative review adalah metode review yang cara
sintesisnya tidak mengikuti cara-cara baku sebagaimana systematic review.

10. Karakteristik kunci Systematic review adalah:

a. focus pada pertanyaan penelitian yang terdefinisi dengan baik
b. judul dan tujuan penulisan jelas
c. strategi komprehensif untuk identifikasi semua studi yang relevan
d. kriteria inklusi dan eksklusi jelas terjustifikasi
e. melakukan penilaian kritis terhadap penelitian
f. analisis yang jelas dari hasil studi yang memenuhi syarat (kuantitatif
[meta analysis] dan kualitatif)
g. laporannya terstruktur
11. Komponen utama dalam paper Systematic review terdiri dari:
a. Pendahuluan
b. Kajian literatur
c. Metodologi
d. Hasil
e. Diskusi
f. Kesimpulan

24
12. Contoh artikel tipe Systematic review adalah:

25
 MATERI PEMBELAJARAN IV

Critical Appraisal

A. Capaian Pembelajaran
Mahasiswa mampu melakukan Critical Appraisal pada berbagai jenis
artikel ilmiah terbaik.
B. Uraian Materi
1. Apakah “Critical Appraisal” itu ?
o Critical appraisal melibatkan systematic review (kajian sistematik)
serta penelitian lainnya untuk menilai kualitas, keaslian, dan relevansi
dengan situasi tertentu.
o Up to date dengan penelitian dibidangnya merupakan suatu yang
penting bagi tenaga medis professional untuk memberikan
saran/nasihat serta perawatan terbaik bagi pasien mereka.
o Kemampuan dalam melakukan Critical Appraisal sangat penting bagi
tenaga kesehatan agar mereka dapat menemukan serta menggunakan
penelitian secara efektif.
2. Ten step guide to critical appraisal (10 langkah panduan pengerjaan critical
appraisal). Walaupun terdapat banyak pertanyaan dalam mengerjakan
critical appraisal namun 10 pertanyaan ini telah mewakili semuanya.
a. Is the study question relevant?
b. Does the study add anything new?
c. What type of research question is being asked?
d. Was the study design appropriate for the research question?
e. Did the study methods address the moss important potential sources
of bias?
f. Was the study performed according to the original protocol?
g. Does the study test a stated hypothesis?
h. Were the statistical analyses performed correctly?
i. Do the data justify the conclusions?
j. Are there any conflicts of interest?

26
3. Jenis Critical appraisal bergantung pada jenis artikel/penelitian seperti
sebagai berikut:
o Systematic review/meta analysis article
o Therapy article
o Diagnostic Test article
o Clinical Prediction Rule
o Prognosis/Harm article
o Clinical Practice Guideline
o Cross Sectional Study
o Case Control Study
o Cohort Study
o Randomised Control Trial (RCT) Study
o Qualitative study
4. Berikut ini adalah beberapa link untuk dapat mengakses jenis Critical
Appraisal:
https://www.cebm.net/2014/06/critical-appraisal/
https://casp-uk.net/casp-tools-checklists/

27
 Contoh Tools untuk Critical Appraisal Systematic Review :

SYSTEMATIC REVIEW: Are the results of the review valid?

What question (PICO) did the systematic review address?
What is best? Where do I find the information?

The main question being addressed should be clearly The Title, Abstract or final paragraph of the Introduction
stated. The exposure, such as a therapy or diagnostic test, should clearly state the question. If you still cannot ascertain
and the outcome(s) of interest will often be expressed in what the focused question is after reading these sections,
terms of a simple relationship. search for another paper!

This paper: Yes  No  Unclear 

Comment:

F - Is it unlikely that important, relevant studies were missed?

What is best? Where do I find the information?

The starting point for comprehensive search for all relevant
studies is the major bibliographic databases (e.g., Medline,
Cochrane, EMBASE, etc) but should also include a search
of reference lists from relevant studies, and contact with
experts, particularly to inquire about unpublished studies.
The search should not be limited to English language only.
The search strategy should include both MESH terms and
text words.
The Methods section should describe the search strategy,
including the terms used, in some detail. The Results
section will outline the number of titles and abstracts
reviewed, the number of full-text studies retrieved, and the
number of studies excluded together with the reasons for
exclusion. This information may be presented in a figure or
flow chart.

This paper: Yes  No  Unclear 

Comment:

A - Were the criteria used to select articles for inclusion appropriate?

What is best? Where do I find the information?

The inclusion or exclusion of studies in a systematic review The Methods section should describe in detail the inclusion
should be clearly defined a priori. The eligibility criteria and exclusion criteria. Normally, this will include the study
used should specify the patients, interventions or design.
exposures and outcomes of interest. In many cases the
type of study design will also be a key component of the
eligibility criteria.

This paper: Yes  No  Unclear 

Comment:

A - Were the included studies sufficiently valid for the type of question asked?
What is best? Where do I find the information?

The article should describe how the quality of each study The Methods section should describe the assessment of
was assessed using predetermined quality criteria quality and the criteria used. The Results section should
provide information on the quality of the individual studies.

28
appropriate to the type of clinical question (e.g.,
randomization, blinding and completeness of follow-up)

This paper: Yes  No  Unclear 

Comment:

T - Were the results similar from study to study?

What is best? Where do I find the information?

Ideally, the results of the different studies should be similar
or homogeneous. If heterogeneity exists the authors may
estimate whether the differences are significant (chi-
square test). Possible reasons for the heterogeneity should
be explored.
The Results section should state whether the results are
heterogeneous and discuss possible reasons. The forest
plot should show the results of the chi-square test for
heterogeneity and if discuss reasons for heterogeneity, if
present.

This paper: Yes  No  Unclear 

Comment:

29
What were the results?

How are the results presented?

A systematic review provides a summary of the data from the results of a number of individual studies. If the results of
the individual studies are similar, a statistical method (called meta-analysis) is used to combine the results from the
individual studies and an overall summary estimate is calculated. The meta-analysis gives weighted values to each of the
individual studies according to their size. The individual results of the studies need to be expressed in a standard way,
such as relative risk, odds ratio or mean difference between the groups. Results are traditionally displayed in a figure, like
the one below, called a forest plot.

The forest plot depicted above represents a meta-analysis of 5 trials that assessed the effects of a hypothetical
treatment on mortality. Individual studies are represented by a black square and a horizontal line, which
corresponds to the point estimate and 95% confidence interval of the odds ratio. The size of the black square
reflects the weight of the study in the meta-analysis. The solid vertical line corresponds to ‘no effect’ of
treatment - an odds ratio of 1.0. When the confidence interval includes 1 it indicates that the result is not
significant at conventional levels (P>0.05).
The diamond at the bottom represents the combined or pooled odds ratio of all 5 trials with its 95% confidence
interval. In this case, it shows that the treatment reduces mortality by 34% (OR 0.66 95% CI 0.56 to 0.78).
Notice that the diamond does not overlap the ‘no effect’ line (the confidence interval doesn’t include 1) so we
can be assured that the pooled OR is statistically significant. The test for overall effect also indicates statistical
significance (p<0.0001).
Exploring heterogeneity
Heterogeneity can be assessed using the “eyeball” test or more formally with statistical tests, such as the
Cochran Q test. With the “eyeball” test one looks for overlap of the confidence intervals of the trials with the
summary estimate. In the example above note that the dotted line running vertically through the combined
odds ratio crosses the horizontal lines of all the individual studies indicating that the studies are homogenous.
Heterogeneity can also be assessed using the Cochran chi-square (Cochran Q). If Cochran Q is statistically
significant there is definite heterogeneity. If Cochran Q is not statistically significant but the ratio of Cochran
Q and the degrees of freedom (Q/df) is > 1 there is possible heterogeneity. If Cochran Q is not statistically
significant and Q/df is < 1 then heterogeneity is very unlikely. In the example above Q/df is <1 (0.92/4= 0.23)
and the p-value is not significant (0.92) indicating no heterogeneity.
Note: The level of significance for Cochran Q is often set at 0.1 due to the low power of the test to detect heterogeneity.

30
 Contoh Tools untuk Critical Appraisal Artikel Diagnostic :

Diagnostic Study Appraisal Worksheet

Centre for Evidence-Based Medicine, University of Oxford, 2010 1

DIAGNOSTIC ACCURACY STUDIES

Step 1: Are the results of the study valid? Was the diagnostic test evaluated in a Representative
spectrum of patients (like those in whom it would be used in practice)?
What is best? Where do I find the information?
It is ideal if the diagnostic test is applied to the full The Methods section should tell you how patients
spectrum of patients - those with mild, severe, were enrolled and whether they were randomly
early and late cases of the target disorder. It is also selected or consecutive admissions. It should also
best if the patients are randomly selected or tell you where patients came from and whether they
consecutive admissions so that selection bias is are likely to be representative of the patients in whom
minimized. the test is to be used.
This paper: Yes No Unclear
Comment:
Was the reference standard applied regardless of the index test result?
What is best? Where do I find the information?
Ideally both the index test and the reference The Methods section should indicate whether or not
standard should be carried out on all patients in the reference standard was applied to all patients or
the study. In some situations where the reference if an alternative reference standard (e.g., follow-up)
standard is invasive or expensive there may be was applied to those who tested negative on the
reservations about subjecting patients with a index test.
negative index test result (and thus a low probability
of disease) to the reference standard. An alternative
reference standard is to follow-up people for an
appropriate period of time (dependent on disease in
question) to see if they are truly negative.
This paper: Yes No Unclear
Comment:
Was there an independent, blind comparison between the index test and an appropriate reference
('gold') standard of diagnosis?
What is best? Where do I find the information?
There are two issues here. First the reference The Methods section should have a description of
standard should be appropriate - as close to the the reference standard used and if you are unsure of
'truth' as possible. Sometimes there may not be a whether or not this is an appropriate reference
single reference test that is suitable and a standard you may need to do some background
combination of tests may be used to indicate the searching in the area.
presence of disease. The Methods section should also describe who
Second, the reference standard and the index test conducted the two tests and whether each was
being assessed should be applied to each patient conducted independently and blinded to the results
independently and blindly. Those who interpreted of the other.
the results of one test should not be aware of the
results of the other test.
This paper: Yes No Unclear
Comment:

31
 Contoh Tools untuk Critical Appraisal Artikel RCT :

THERAPY STUDY: Are the results of the trial valid? (Internal Validity)
What question did the study ask?
Patients –
Intervention -
Comparison -
Outcome(s) -
1a. R- Was the assignment of patients to treatments randomised?
What is best? Where do I find the information?

Centralised computer randomisation is ideal and often The Methods should tell you how patients were allocated to
used in multi-centred trials. Smaller trials may use an groups and whether or not randomisation was concealed.
independent person (e.g, the hospital pharmacy) to
“police” the randomization.

This paper: Yes  No  Unclear 

Comment:

1b. R- Were the groups similar at the start of the trial?

What is best? Where do I find the information?

If the randomisation process worked (that is, achieved
comparable groups) the groups should be similar. The
more similar the groups the better it is.
There should be some indication of whether differences
between groups are statistically significant (ie. p values).
The Results should have a table of "Baseline
Characteristics" comparing the randomized groups on a
number of variables that could affect the outcome (ie. age,
risk factors etc). If not, there may be a description of group
similarity in the first paragraphs of the Results section.

This paper: Yes  No  Unclear 

Comment:

2a. A – Aside from the allocated treatment, were groups treated equally?

What is best? Where do I find the information?

Apart from the intervention the patients in the different Look in the Methods section for the follow-up schedule, and
groups should be treated the same, eg., additional permitted additional treatments, etc and in Results for
treatments or tests. actual use.

This paper: Yes  No  Unclear 

Comment:

32
 2b. A – Were all patients who entered the trial accounted for? – and were they
analysed in the groups to which they were randomised?
What is best?
Losses to follow-up should be minimal – preferably less
than 20%. However, if few patients have the outcome of
interest, then even small losses to follow-up can bias the
results. Patients should also be analysed in the groups to
which they were randomised – ‘intention-to-treat analysis’.
This paper: Yes  No  Unclear 
Comment:
3. M - Were measures objective or were the patients and clinicians kept “blind” to
which treatment was being received?
What is best?
It is ideal if the study is ‘double-blinded’ – that is, both
patients and investigators are unaware of treatment
allocation. If the outcome is objective (eg., death) then
blinding is less critical. If the outcome is subjective (eg.,
symptoms or function) then blinding of the outcome
assessor is critical.
This paper: Yes  No  Unclear 
Comment:
Where do I find the information?
The Results section should say how many patients were
33andomised (eg., Baseline Characteristics table) and how
many patients were actually included in the analysis. You
will need to read the results section to clarify the number
and reason for losses to follow-up.
Where do I find the information?
First, look in the Methods section to see if there is some
mention of masking of treatments, eg., placebos with the
same appearance or sham therapy. Second, the Methods
section should describe how the outcome was assessed
and whether the assessor/s were aware of the patients'
treatment.
33
What were the results?
1. How large was the treatment effect?
Most often results are presented as dichotomous outcomes (yes or not outcomes that happen or don't happen) and can
include such outcomes as cancer recurrence, myocardial infarction and death. Consider a study in which 15% (0.15) of
the control group died and 10% (0.10) of the treatment group died after 2 years of treatment. The results can be expressed
in many ways as shown below.
What is the measure?
Relative Risk (RR) = risk of the outcome in the
treatment group / risk of the outcome in the control
group.
In our example, the RR = 0.10/0.15 = 0.67
Absolute Risk Reduction (ARR) = risk of the
outcome in the control group - risk of the outcome in
the treatment group. This is also known as the
absolute risk difference.
In our example, the ARR = 0.15 - 0.10 = 0.05 or 5%
Relative Risk Reduction (RRR) = absolute risk
reduction / risk of the outcome in the control group.
An alternative way to calculate the RRR is to
subtract the RR from 1 (eg. RRR = 1 - RR)
In our example, the RRR = 0.05/0.15 = 0.33 or 33%
Or RRR = 1 - 0.67 = 0.33 or 33%
Number Needed to Treat (NNT) = inverse of the
ARR and is calculated as 1 / ARR.
In our example, the NNT = 1/ 0.05 = 20
What does it mean?
The relative risk tells us how many times more likely it is that an
event will occur in the treatment group relative to the control group.
An RR of 1 means that there is no difference between the two
groups thus, the treatment had no effect. An RR < 1 means that
the treatment decreases the risk of the outcome. An RR > 1 means
that the treatment increased the risk of the outcome.
Since the RR < 1, the treatment decreases the risk of death.
The absolute risk reduction tells us the absolute difference in the
rates of events between the two groups and gives an indication of
the baseline risk and treatment effect. An ARR of 0 means that
there is no difference between the two groups thus, the treatment
had no effect.
The absolute benefit of treatment is a 5% reduction in the death
rate.
The relative risk reduction is the complement of the RR and is
probably the most commonly reported measure of treatment
effects. It tells us the reduction in the rate of the outcome in the
treatment group relative to that in the control group.
The treatment reduced the risk of death by 33% relative to that
occurring in the control group.
The number needed to treat represents the number of patients we
need to treat with the experimental therapy in order to prevent 1
bad outcome and incorporates the duration of treatment. Clinical
significance can be determined to some extent by looking at the
NNTs, but also by weighing the NNTs against any harms or
adverse effects (NNHs) of therapy.
We would need to treat 20 people for 2 years in order to prevent
1 death.
34
 2. How precise was the estimate of the treatment effect?
The true risk of the outcome in the population is not known and the best we can do is estimate the true risk based on the
sample of patients in the trial. This estimate is called the point estimate. We can gauge how close this estimate is to the
true value by looking at the confidence intervals (CI) for each estimate. If the confidence interval is fairly narrow then we
can be confident that our point estimate is a precise reflection of the population value. The confidence interval also
provides us with information about the statistical significance of the result. If the value corresponding to no effect falls
outside the 95% confidence interval then the result is statistically significant at the 0.05 level. If the confidence interval
includes the value corresponding to no effect then the results are not statistically significant.

Will the results help me in caring for my patient? (ExternalValidity/Applicability)

The questions that you should ask before you decide to apply the results of the study to your patient are:

• Is my patient so different to those in the study that the results cannot apply?
• Is the treatment feasible in my setting?
• Will the potential benefits of treatment outweigh the potential harms of treatment for my patient?

35
 DAFTAR PUSTAKA DAN REFERENSI

1. http://kit.ft.ugm.ac.id/sp/subjects/guide.php?subject=mls
2. http://kit.ft.ugm.ac.id/sp/subjects/guide.php?subject=rms#tab-0
3. http://lib.ugm.ac.id/ind/?page_id=412
4. IEEE Style: https://ieee-
dataport.org/sites/default/files/analysis/27/IEEE%20Citation%20Guidel
ines.pdf
5. AIP: http://web.mit.edu/me-
ugoffice/communication/aip_style_4thed.pd dan http://physics.gac.edu/
~huber/misc/aiprefs.htm
6. Harvard: Harvard https://library.leeds.ac.uk/skills-referencing-harvard
7. Writing In-Text Citations in APA
Style https://blog.apastyle.org/apastyle/2011/01/writing-in-text-
citations-in-apa-style.html
8. The Proper Use of Et Al. in APA
Style https://blog.apastyle.org/apastyle/2011/11/the-proper-use-of-et-al-
in-apa-style.html
9. Siswanto. (201o). Systematic review sebagai metode penelitian untuk
mensintesis hasil-hasil penelitian (sebuah pengantar). Buletin Penelitian
Sistem Kesehatan, 13(4), 326–333.
10. https://dosen.perbanas.id/wp-content/uploads/2017/08/Sesi2-
SYSTEMATIC-REVIEW-DENGAN-PRISMA.pdf
11. Kysh, Lynn (2013): Difference between a systematic review and a literature
review. [figshare]. Available at:
http://dx.doi.org/10.6084/m9.figshare.766364

36