Salah Kaprah Scopus dan Impact Factor

——————————————————
Oleh: Dr. Sunu Wibirama (UGM Indonesia)

Pada saat memberikan beberapa pelatihan menulis, beberapa

peserta sempat menanyakan, "Pak, sebenarnya bagaimana sih
cara publikasi di Scopus?"
Saya hening sebentar, kemudian menjawab, "Sebentar Pak.
Saya belum pernah mendengar jurnal atau seminar bernama
Scopus. Setahu saya Scopus itu database pengindeks karya
ilmiah".

***

Scopus, Web of Science, Directory of Open Access Journal, atau

bahkan Google Scholar itu bukanlah "venue" (tempat)
mempublikasikan artikel kita. Nama-nama yang saya sebut di
atas adalah sebuah sistem informasi atau basis data yang
melakukan inventarisasi dan indeksasi artikel-artikel ilmiah
dengan kategori-kategori tertentu.

Tujuan awal dilakukan indeksasi--menurut sejarah berdirinya

Institute for Scientific Information (ISI) oleh Dr. Eugene Garfield
(sekarang menjadi Web of Science) [1]--adalah memberikan
layanan kepada para pustakawan untuk mengetahui jurnal-
jurnal apa saja yang "well-known" di bidang-bidang ilmu
tertentu.

Bagaimana cara mengukur tingkat popularitas sebuah jurnal?

Dr. Garfield memperkenalkan sebuah metrik yang disebut
sebagai impact factor (IF). Impact factor dihitung dengan
rumus dasar yang cukup mudah. Misal, kita ingin mengetahui
impact factor sebuah jurnal X untuk tahun 2019. Maka, ISI (atau
sekarang WoS) akan melakukan penghitungan dengan melihat
jumlah sitasi yang diperoleh jurnal tersebut dari jurnal-jurnal
lain yang terindeks di Wos dan juga dari artikel lain yang terbit
di jurnal X pada tahun 2018 dan 2017. Kemudian, jumlah sitasi
yang diperoleh akan dibagi dengan jumlah artikel yang terbit di
jurnal X pada kurun waktu 2018 dan 2017. Misalnya, jurnal X
mendapatkan 600 sitasi selama dua tahun. Jumlah artikel yang
terbit selama dua tahun adalah 300. Maka impact factor jurnal
X adalah = 600/300 = 2.

Apakah impact factor (IF) menunjukkan kualitas sebuah jurnal?

Bisa jadi ya, bisa jadi tidak. Saya sendiri condong pada pilihan
bahwa IF tidak semata-mata menjadi ukuran kualitas sebuah
jurnal ilmiah. Mengapa demikian? Berikut alasan saya:

1. IF menunjukkan popularitas sebuah jurnal di bidang tertentu,

tapi tidak bisa menjadi ukuran "pukul rata" untuk
membandingkan jurnal di bidang ilmu A dan jurnal di bidang
ilmu B. Ada bidang-bidang yang berkembang sangat cepat
(seperti IT atau computer science), sehingga jumlah artikel
yang terbit pada suatu jurnal melebihi sitasi yang diperoleh.
Teknologi yang berkembang cepat tidak memberikan
kesempatan yang cukup pada sebuah artikel untuk disitasi,
sebab riset dan pembuktian sebuah teknologi pada artikel
tersebut membutuhkan waktu.

2. IF adalah angka rata-rata dari seluruh artikel yang ada di

jurnal tersebut. Bisa jadi ada 10% artikel berkualitas tinggi yang
memperoleh sitasi tinggi, tapi 90% artikel lainnya berkualitas
rendah. IF = 2 tidak berarti seluruh artikel di jurnal tersebut
memperoleh 2 sitasi.

3. Sitasi dihitung hanya dalam jangka waktu tertentu (biasanya

2 tahun atau 5 tahun). Bidang-bidang tertentu seperti
kedokteran (medical science) bisa memperoleh sitasi yang
cukup cepat dalam waktu dua tahun. Meskipun demikian,
bidang-bidang lain—seperti ilmu sosial—memperoleh sitasi
lebih lambat, sehingga sitasi di atas 2 tahun tidak dihitung.

4. Sitasi bisa dimanipulasi [2]. Anda bisa melakukan Googling

dengan kata kunci “Citation Stacking”. Kasus yang cukup
populer dalam dunia engineering—terutama IT dan teknik
elektro—adalah kasus terbongkarnya citation stacking yang
dilakukan oleh tim editor jurnal IEEE Transactions on Industrial
Informatics (TII) yang melakukan manipulasi untuk memperoleh
jumlah sitasi di jurnalnya dengan melanggar batas-batas etika,
seperti berkomplot dengan editor lain dan meminta penulis
untuk melakukan sitasi di jurnal tersebut.
Setidaknya empat alasan di atas menjadi landasan kuat
argumen saya bahwa impact factor bukan semata-mata ukuran
untuk menentukan kualitas sebuah jurnal. Sekedar catatan,
impact factor dikeluarkan oleh WoS, sementara Scopus
memiliki metrik lain yang mirip dengan impact factor, yakni
citescore [3].

***

Bagaimana dengan Scopus? Cara pandang yang sama bisa kita

gunakan untuk melihat Scopus. Scopus hanyalah sebuah
lembaga yang berfungsi memberikan analisis kuantitatif
sebuah jurnal ilmiah, artikel ilmiah tertentu, performa peneliti
tertentu, atau performa universitas tertentu. Lalu, apakah data
yang ditampilkan oleh Scopus dapat dipercaya?

Scopus menampilkan KUANTITAS, tapi tidak KUALITAS.

Misalnya, seseorang dengan Scopus H-Index : 12, tidak bisa
menjadi ukuran bahwa orang tersebut adalah orang yang
BERPENGARUH di bidang riset tertentu. Mengapa demikian?
Lihat saja artikel-artikel yang mensitasi karya dari orang
tersebut, lalu lakukan pemeriksaan dengan kriteria berikut:

1. Apakah sitasi itu didapatkan dari artikel-artikel lain yang

terbit di jurnal berkualitas tinggi di bidang ilmu yang mirip atau
sejenis? (Jurnal yang memang diakui oleh ilmuwan di bidang
ilmu jurnal tersebut). Kalau tidak dan bahkan sitasi itu datang
dari seminar-seminar internasional yang temanya beragam,
atau dari artikel-artikel lain yang bidangnya berlainan dari
artikel yang disitasi, berarti ada indikasi terjadinya “citation
stacking”.

2. Apakah sitasi itu datang dari “self-citation” (narsisme

akademik—di mana seseorang secara sengaja mensitasi
artikel-artikel karyanya sendiri dalam jumlah masif, lebih dari
30% dari total referensi). Kalau iya, berarti ada indikasi
“citation stacking”.

3. Apakah artikel-artikel tersebut disitasi dengan cara yang

layak, misal: sitasi tersebut diletakkan sesuai dengan konteks
kalimatnya? Kalau tidak, berarti ada indikasi “citation
stacking”.

Lalu bagaimana menentukan kualitas seorang peneliti?

Kualitas seorang peneliti bisa dilihat dari:

1. Portofolio riil karya yang ditulis. Lihat langsung kualitas

karya-karya yang ditulis, dari sisi penyajian, alur tulisan,
bahasa Inggris yang digunakan, gambar-gambar yang
ditampilkan.

2. Prestasi yang didapatkan dari hasil penelitian. Penghargaan

yang diperoleh atau luaran-luaran riil bisa menjadi ukuran (HKI,
Paten, atau produk).

3. Dampak yang ia munculkan dalam komunitas bidang

ilmunya. Misalnya:
- Berapa kali ia diminta menjadi keynote speaker (pembicara
kunci) di bidangnya?
- Berapa jurnal internasional prestisius yang ia kelola sebagai
associate editor atau Editor-In-Chief?
- Berapa kali ia berkontribusi sebagai reviewer untuk paper-
paper di bidangnya dan undangan-undangan untuk melakukan
review tersebut datang dari jurnal apa saja?

4. Dampak yang ia munculkan untuk lingkup yang lebih luas.

Misalnya:
- Apakah ia pernah diminta untuk menjadi dewan pertimbangan
yang sesuai dengan kepakarannya?
- Berapa kali ia menjadi pembicara di acara internasional yang
prestisius, tapi di luar bidang ilmunya?
- Berapa kali ia menulis yang sesuai dengan kepakarannya di
media-media populer?
- Bagaimana kualitas materi-materi yang ia sampaikan di
forum-forum tersebut?

Mengukur prestasi individu HANYA dengan semata-mata

melihat kuantitas publikasinya di Scopus tentunya tidak pas.
Ukurlah kualitas seorang peneliti secara holistik, sebab Scopus
tidak menunjukkan secara langsung kualitas.
Catatan:
Gambar saya ambil dari berita terbaru:
https://mediaindonesia.com/read/detail/277637-kemenristek-dosen-tidak-
wajib-publikasi-penelitian-di-scopus

Dari judul artikelnya, saya tidak yakin wartawan yang

menuliskan berita tersebut mengerti betul apa itu Scopus dan
apa itu Web of Science. Dosen saja masih banyak yang
bingung, apalagi wartawan yang tidak bersentuhan langsung
dengan hal-hal seperti itu.

Referensi:
[1] https://clarivate.com/webofsciencegroup/solutions/isi-
institute-for-scientific-information/

[2] https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7812814

[3] https://blog.scopus.com/posts/citescore-2018-metrics-now-available