Tugas Wasit *

Alan Jay Smith Divisi Ilmu Komputer Departemen EECS Universitas California
Berkeley, California 94720, AS
Abstrak
Tugas wasit adalah mengevaluasi secara tepat waktu makalah yang akan diterbitkan
dalam jurnal atau proses konferensi tertentu. Ini melibatkan menentukan apakah
pekerjaan yang disajikan benar, jika masalah yang dipelajari dan hasil yang diperoleh
adalah baru dan signifikan, jika kualitas presentasi memuaskan atau dapat dibuat
demikian, dan revisi dan perubahan apa yang diperlukan pada kertas dan / atau
diinginkan. Evaluasi harus berkenaan dengan cakupan dan tingkat selektivitas
publikasi tertentu.
Dalam artikel ini, kami membahas masalah bagaimana mengevaluasi makalah
(penelitian) untuk publikasi, dan dengan kesimpulan, bagaimana menulisnya.
Pertanyaan utama yang dibahas adalah menentukan apakah makalah tersebut harus
dipublikasikan, dan jika demikian, perubahan dan perbaikan apa yang diperlukan.
Peran editor, dan aturan dan prosedur yang digunakan oleh sebagian besar jurnal ilmu
komputer dibahas. Diskusi singkat tentang proposal wasit dan survei serta makalah
tutorial juga diberikan.
Kata kunci: Wasit, Editor, Editor Rekan, Ketua Program, Wasit, Peninjau.
1. Perkenalan
Ada aliran konstan makalah yang ditulis dan diserahkan untuk publikasi ke
konferensi, jurnal, buletin, antologi, tahunan, jurnal perdagangan dan surat kabar, dan
terbitan berkala lainnya. Banyak publikasi semacam itu menggunakan wasit sebagai
pakar eksternal yang tidak memihak untuk mengevaluasi makalah. Pendekatan ini
sering disebut peer review. Wasit adalah layanan publik, salah satu kewajiban
profesional ilmu komputer dan teknik profesional. Biasanya, wasit belajar
-----------------
*
Penelitian Prof. Smith (mengenai yang ia telah menerima banyak laporan wasit) saat
ini sebagian didukung oleh National Science Foundation di bawah hibah MIP-
8713274, oleh NASA di bawah perjanjian konsorsium NCA2-128, oleh Negara
Bagian California di bawah program MICRO, dan oleh International Business
Machines Corporation, Digital Equipment Corporation, Apple Computer, dan
Signetics / Philips Research Laboratories.
membuat laporan wasit tanpa instruksi formal: dengan praktik, dengan umpan balik
dari editor, dengan melihat laporan wasit untuk makalah mereka sendiri, dan dengan
membaca laporan wasit yang ditulis oleh orang lain.
Dalam artikel ini, kami memberikan panduan kepada wasit tentang cara mengevaluasi
makalah, cara menulis laporan wasit, dan bagaimana menerapkan standar dan
prosedur yang umum digunakan. Hal ini dimaksudkan untuk menggantikan
penggunaan [Fors65], didistribusikan oleh beberapa editor, yang tidak mencerminkan
prosedur yang digunakan dalam Ilmu dan Teknik Komputer. Makalah lain, mirip
dengan ini, menganggap wasit di bidang teori [Parb89]. Fokus artikel ini adalah
evaluasi makalah penelitian di bidang terapan ilmu komputer dan teknik, seperti
sistem, arsitektur, perangkat keras, komunikasi, dan evaluasi kinerja, tetapi sebagian
besar diskusi umumnya berlaku. Beberapa diskusi disediakan juga mengenai proposal
penelitian wasit dan survei serta makalah tutorial. Selain itu, penulis dapat
menemukan bahan ini berguna untuk menyiapkan makalah dan mengirimkannya
untuk publikasi.
2. Apa itu Makalah yang Dapat Diterbitkan?
Seluruh artikel ini dimaksudkan untuk menjawab pertanyaan tentang apakah makalah
yang dapat diterbitkan; di bagian ini, kami memberikan beberapa komentar singkat.
Sebuah makalah dapat diterbitkan jika memberikan kontribusi yang cukup.
Kontribusi dapat berupa hasil penelitian yang baru dan menarik, sintesis baru dan
wawasan tentang hasil yang ada, survei yang bermanfaat atau tutorial di lapangan,
atau kombinasi dari jenis-jenis itu. Mengutip seorang wasit untuk artikel ini sendiri:
‘results hasil kecil yang mengejutkan dan mungkin memicu penelitian baru harus
dipublikasikan; makalah yang sebagian besar merupakan pengulangan dari makalah
lain seharusnya tidak; makalah yang memiliki gagasan bagus diungkapkan dengan
buruk tidak boleh dipublikasikan tetapi penulis harus didorong untuk menulis ulang
dengan cara yang lebih baik, lebih mudah dipahami. '
Peran wasit adalah untuk memberikan pendapat apakah makalah itu memberikan
kontribusi yang cukup. Jarang ada satu evaluasi yang benar dari sebuah makalah, dan
pembaca yang sama terampil dan tidak memihak akan berbeda.
3. Tugas Wasit
Dua komponen utama dari laporan wasit
adalah:
(a) Rekomendasi untuk atau tidak mempublikasikan dalam publikasi atau presentasi
tertentu di forum tertentu. Rekomendasi samar-samar dapat diterima jika diskusi yang
memadai disediakan untuk bimbingan editor atau komite program. Jika penolakan
direkomendasikan, dan jika makalah tersebut memang mengandung beberapa
penelitian yang dapat diterbitkan, laporan dapat menyarankan tempat lain untuk
menerbitkan. Dalam semua kasus, diskusi yang memadai harus disediakan untuk
membenarkan rekomendasi.
(B) Daftar perubahan dan revisi yang diperlukan dan direkomendasikan.
Rekomendasi untuk menolak makalah tidak membuat wasit menyarankan perubahan
yang memungkinkan makalah untuk dipublikasikan di tempat lain, atau setelah
dikirim kembali. Tingkat revisi yang diperlukan, untuk publikasi jurnal, sebagian
besar terpisah dari rekomendasi untuk publikasi (akhirnya); untuk sebuah konferensi,
waktu singkat yang tersedia untuk revisi, dan kesulitan mengatur putaran kedua (atau
ke-n) revisi umumnya berarti bahwa makalah yang memerlukan revisi substansial
tidak dapat diterima.
Sangat penting bahwa wasit menjalankan garis yang tidak pasti antara bersikap terlalu
permisif ("mempublikasikan semuanya") dan terlalu membatasi ("tidak ada yang
cukup baik untuk dipublikasikan"). Jika wasit tidak cukup kritis, penelitian yang
buruk didorong, pengakuan (semacam) dan penghargaan (semacam) diberikan kepada
mereka yang tidak layak mendapatkannya, pembaca yang naif dan tidak
berpengalaman disesatkan, penulis disesatkan sehingga apa yang bisa diterbitkan,
rasa tidak hormat terhadap bidang itu didorong, pengembangan komersial terdistorsi,
seperti halnya perekrutan, promosi dan keputusan tenurial, dan makalah itu mungkin
sebenarnya mengurangi dari penyimpanan pengetahuan umum; pertimbangkan
penipuan pria Piltdown. Seperti telah dicatat dalam [Thom84] dan di tempat lain,
salah satu masalah terburuk dengan publikasi yang tidak terkendali adalah mengubur
profesional di bawah tumpukan kertas, hanya sebagian kecil yang dapat diperiksa,
apalagi dibaca.
Jika wasit terlalu kritis terhadap penelitian, ia memblokir penelitian yang baik dari
publikasi, atau menyebabkannya tertunda dalam publikasi, membuang-buang waktu
penulis, merusak karier, dan mungkin meninggalkan jurnal dengan tidak ada apa-apa
untuk diterbitkan dan konferensi dengan tidak ada apa pun untuk disajikan. Sangat
penting untuk tidak menolak pekerjaan baru dan signifikan yang bertentangan dengan
kebijaksanaan yang berlaku atau mode saat ini.
Penting bagi seorang wasit yang ingin dianggap serius untuk memiliki pandangan
tengah, untuk dapat membedakan yang baik dari pekerjaan yang buruk, dan yang
utama dari yang kecil dari kontribusi negatif ke literatur. Wasit yang selalu
mengatakan "ya" atau selalu mengatakan "tidak" tidak membantu.
4. Cara Membaca Makalah untuk Wasit
Membaca sebuah makalah untuk tujuan refereeing lebih dekat dengan apa yang
dilakukan guru atau profesor dalam menilai sebuah makalah daripada apa yang
dilakukan seorang ilmuwan atau insinyur dalam membaca makalah yang diterbitkan.
Dalam kasus yang terakhir, anggapannya adalah bahwa makalah tersebut sebelumnya
telah diperiksa (direferensikan), dan dengan demikian benar, novel dan bermanfaat.
Wasit, sebaliknya, harus membaca makalah dengan seksama, memeriksa dan
mengevaluasi materi. Tidak boleh ada anggapan tentang kualitas atau keakuratan
kertas; itu harus dibaca dengan pikiran terbuka. Hasil pembacaan tersebut harus
berupa laporan wasit yang dapat digunakan oleh editor atau ketua program.
Perhatikan bahwa refereeing suatu makalah dapat membutuhkan banyak waktu dan
usaha; upaya itu tidak boleh disia-siakan pada kritik terperinci atas kertas yang jelek
yang tidak akan pernah bisa dipublikasikan. Menemukan satu atau lebih kesalahan
fatal dan tidak dapat diperbaiki dalam sebuah makalah membuat wasit tidak
memeriksa semua detail selanjutnya.
5. Laporan Wasit
Laporan wasit yang baik harus memiliki beberapa bagian. Pertama, wasit harus
menyatakan dengan sangat cepat rekomendasinya dan alasannya. Kedua, wasit harus
merangkum poin makalah dalam 1-5 kalimat, baik untuk penggunaan editor, dan
untuk memastikan bahwa wasit benar-benar memahami poin makalah. Ketiga, wasit
harus mengevaluasi tujuan pekerjaan baik sehubungan dengan validitas dan
signifikansi. Keempat, wasit harus mengevaluasi kualitas pekerjaan (metodologi,
teknik, akurasi, kesalahan, presentasi), dan akhirnya, wasit harus memberikan
rekomendasi keseluruhan untuk publikasi. Jika rekomendasinya negatif, wasit harus
selalu jelas tentang mengapa ia merekomendasikan penolakan. Wasit juga harus jelas
tentang kekuatan pendapatnya; rekomendasi samar-samar ("mungkin") dapat diterima
jika alasannya jelas didokumentasikan. Dalam kasus apa pun, laporan wasit harus
berisi diskusi dan informasi yang cukup untuk membenarkan rekomendasi tersebut.
Jika rekomendasi itu disukai, penting bahwa wasit memberikan daftar sepanjang
sesuai dengan perubahan yang perlu dan yang disarankan. Jika rekomendasi negatif,
tetapi makalah dapat diselamatkan dan diserahkan ke tempat lain untuk publikasi atau
dikirim kembali ke publikasi ini, maka daftar yang serupa (tetapi mungkin kurang
rinci) juga harus disediakan. Saran untuk tempat-tempat alternatif untuk diterbitkan
selalu diterima.
Biasanya, teks laporan wasit diberikan kepada penulis, dilucuti dari semua materi di
sekitarnya yang mengidentifikasi wasit. Jadi, meski penting bahwa laporan wasit jelas
dan eksplisit, laporan itu tidak boleh menghina. Kata-kata seperti "bodoh" dan "idiot"
tidak boleh digunakan untuk merujuk pada penulis, atau istilah seperti "sampah"
untuk kertas. Tinjauan makalah harus diarahkan pada makalah, dan tidak menjadi
serangan pribadi pada penulis. Namun, peninjauan proposal juga merupakan
penelaahan dari peneliti, dan patut untuk mengevaluasi kemampuan penelitiannya
serta penelitian yang diajukan; bagaimanapun, evaluasi tidak boleh selain objektif dan
adil. Semakin banyak ulasan yang dapat diterima secara psikologis oleh penulis,
semakin bermanfaat juga.
Wasit harus memastikan bahwa laporannya mencapai editor tepat waktu. Jurnal ilmu
komputer terkenal karena memiliki keterlambatan panjang antara penyerahan dan
publikasi; dua komponen utama dari penundaan itu adalah wasit dan antrian publikasi
untuk jurnal itu sendiri. Bayangkan jika itu kertas Anda! Dalam pengaturan
konferensi, laporan wasit harus mencapai kursi program jauh sebelum rapat komite
program sehingga bahan dapat dikumpulkan dan disiapkan untuk diskusi.
6. Masalah dalam Mengevaluasi Makalah Penelitian
Wasit bertanggung jawab untuk mengevaluasi kebaruan, signifikansi, kebenaran, dan
keterbacaan kertas. Serangkaian tujuan umum ini dapat dipecah menjadi serangkaian
pertanyaan yang jauh lebih spesifik untuk diterapkan pada makalah ini, seperti yang
kita diskusikan di bagian ini.
Apa Tujuan Makalah ini?
Apa masalah yang sedang dipertimbangkan? Apakah dinyatakan dengan jelas?
Apakah penulis menjelaskan apa masalah penting itu? Apakah penulis memberi tahu
Anda, di awal tulisan, apa yang telah ia capai? Misalnya, jika ini adalah deskripsi
sistem, apakah sistem telah diimplementasikan atau ini hanya desain?
Apakah Makalah Ini Tepat?
Apakah ini cocok untuk forum ini? Seseorang tidak mengirimkan makalah teori
antrian ke Datamation, atau analisis pasar dari rilis terbaru MVS ke JACM atau
Prosiding IEEE. Apakah tulisan ini ada hubungannya dengan ilmu komputer atau
teknik?
Apakah tujuan makalah ini signifikan?
Dalam hal ini, apakah masalahnya nyata? Apakah itu bertentangan dengan hukum
fisik yang dikenal (misalnya mesin gerak abadi) atau pengukuran yang dilaporkan
secara luas?
Ingatlah apa yang dikatakan Walrus [Caro65]:
"‘ Waktunya telah tiba, ’kata Walrus, many Untuk membicarakan banyak hal: Tentang
sepatu - dan kapal - dan penyegelan lilin kubis - dan raja-raja Dan mengapa lautan
mendidih panas dan apakah babi memiliki sayap ''
Apakah ini analisis yang cermat tentang bagaimana laut bisa mendidih panas, atau
studi elegan tentang karakteristik penerbangan babi?
Apakah ada alasan untuk peduli dengan hasil tulisan ini, dengan asumsi untuk saat ini
mereka benar? Apakah masalah atau tujuan itu utama, kecil, sepele, atau tidak ada?
Apakah masalah sekarang sudah usang, seperti studi keandalan untuk komputer
mainframe tabung vakum? Apakah masalahnya sangat spesifik atau tidak diterapkan
sehingga tidak dapat diterapkan secara umum dan karenanya tidak layak
dipublikasikan secara luas?
Apakah masalah, tujuan, atau hasil yang diharapkan itu baru? Apakah sudah pernah
dibangun sebelumnya? Apakah sudah dipecahkan sebelumnya? Apakah ini variasi
yang sepele atau perpanjangan hasil sebelumnya? Apakah penulis mengetahui karya
terkait dan sebelumnya, baik yang baru maupun yang lama? Apakah dia mengutip
pekerjaan itu? Apakah perbedaan antara ini dan pekerjaan sebelumnya diberikan dan
apakah mereka spesifik? Jika karya ini menggambarkan implementasi, apakah ada ide
baru?
Apakah metode pendekatan ini valid?
Apakah ada sesuatu tentang pendekatan untuk masalah ini yang membatalkan hasil?
Bisakah Anda tahu apa metode ini, atau apakah Anda harus menemukannya dari
tengah rumus matematika? Apa asumsinya? Seberapa realistiskah mereka? Jika
mereka tidak realistis, apakah itu penting? Seberapa sensitif hasil terhadap asumsi?
Apakah pendekatan yang digunakan memadai untuk tujuan tersebut? Sebagai contoh,
data tersedia, tetapi penulis telah menggunakan simulasi bilangan acak dengan
parameter yang tidak realistis. Apakah itu penting? Bagian belakang perhitungan
amplop seringkali memadai.
Jika ini merupakan presentasi dari ide baru - misalnya, desain baru, atau konsep baru,
apakah jumlah diskusi atau analisis yang sesuai disajikan? Seharusnya tidak ada
terlalu banyak atau terlalu sedikit. Makalah arsip yang diterbitkan secara tradisional
singkat dan lengkap tetapi tidak samar; diskusi yang luas dan terperinci, bersama
dengan data pendukung yang banyak, lebih baik diterbitkan sebagai laporan teknis.
Apakah pelaksanaan penelitian yang sebenarnya sudah benar?
Apakah matematika itu benar? Satu atau lebih wasit harus memeriksa matematika
secara rinci; seorang wasit harus selalu memberi tahu editor jika dia tidak membaca
atau memeriksa beberapa bagian dari makalah tersebut. Apakah buktinya
meyakinkan? Apakah statistiknya benar? Apakah metodologi simulasi dijelaskan
dengan cukup detail untuk meyakinkan pembaca bahwa hasilnya valid, dan untuk
simulasi stokastik, apakah interval kepercayaan untuk hasil yang diberikan? Apakah
hasilnya konsisten dengan asumsi dan / atau dengan fakta atau pengukuran yang
diamati? Sudahkah kondisi batas diperiksa? Apakah hasilnya masuk akal, atau bahkan
mungkin? Apakah penulis melakukan apa yang tampaknya diklaimnya? Misalnya,
apakah ia mensimulasikan sistem asli atau model yang masuk akal, atau apakah ia
mensimulasikan model matematika perkiraan sistem?
Apakah kesimpulan yang benar diambil dari hasil?
Apakah ada kesimpulan yang diambil dari hasil? Apa saja aplikasi atau implikasi dari
hasil? Apakah ada diskusi yang memadai tentang mengapa hasil ini diperoleh?
Apakah presentasinya memuaskan?
Pertanyaan pertama adalah apakah makalah ditulis cukup baik sehingga konten teknis
dapat dievaluasi. Makalah yang tidak bisa dimengerti tidak bisa diterbitkan. Makalah
yang membutuhkan revisi luas tidak dapat dipublikasikan dalam bentuknya yang
sekarang, dan mungkin tidak akan pernah. Menganggap bahwa makalah itu dapat
dibaca sama sekali, evaluasi presentasi diperlukan, di samping evaluasi teknis.
Pembaca dirujuk ke artikel seperti [Day77] untuk cara menulis makalah; di bagian
ini, kami berkonsentrasi pada cara mengevaluasi cara penulisan.
Apakah abstrak menggambarkan kertas? Apakah pengantar cukup menjelaskan
masalah dan kerangka kerja untuk penelitian? Apakah bagian yang tersisa jelas dan
apakah mereka mengikuti dalam urutan logis? Apakah ada terlalu banyak detail atau
terlalu sedikit? Apakah tata bahasa dan sintaksinya benar? Apakah angka dan tabel
diberi label dengan baik? Apakah angka tersebut dapat terbaca? berarti? Apakah ada
terlalu banyak atau terlalu sedikit tabel dan gambar? Apakah penjelasannya buruk
atau bahkan tidak masuk akal? Apakah penulisnya terlalu verbose atau terlalu singkat
dan samar? Apakah makalah itu cukup berisi bahwa seseorang yang berpengetahuan
luas di bidangnya dapat membacanya, atau apakah pembaca memerlukan
pengetahuan terperinci tentang hasil yang diterbitkan di tempat lain? Jika penulis
merujuk pembaca ke makalah lain untuk detail penting, apakah Anda percaya
padanya? Jika bagian dari makalah ini hilang atau tidak lengkap, karena tenggat
waktu, apakah Anda percaya bahwa mereka akan diisi seperti yang dijanjikan?
Apakah kertas itu terlalu sehari-hari atau terlalu formal dalam gaya? Apakah
formalisme bermanfaat atau perlu? Apakah ada banyak kesalahan ketik? Apakah
kertasnya terlalu panjang? Jika demikian, apakah itu karena mengandung terlalu
banyak bahan, atau karena penulisnya terlalu bertele-tele? Yaitu, apakah terlalu
banyak diskusi, atau terlalu banyak tabel dan gambar? Bisakah kertas dipecah
menjadi dua atau lebih kertas tanpa kehilangan koherensi? Kertas harus cukup
panjang untuk menyajikan materi yang diperlukan, dan tidak lagi. Dengan alasan,
biarkan editor atau ketua program khawatir tentang batasan halaman tertentu.
Wasit harus mengidentifikasi, sejauh mungkin, kesalahan ketik dan koreksi yang
diperlukan dalam tata bahasa, tanda baca, dan kata-kata. Kesalahan seperti itu sering
bisa menjadi masalah serius ketika makalah tersebut ditulis oleh seorang penulis yang
bahasa ibunya bukan bahasa Inggris. Namun, bukan tugas wasit untuk menulis ulang
makalah untuk penulis.
Apa yang kamu pelajari?
Apa yang Anda, atau apa yang harus pembaca pelajari dari makalah ini? Jika Anda
tidak mempelajari apa pun, dan / atau jika pembaca yang dituju tidak akan
mempelajari apa pun, makalah tersebut tidak dapat diterbitkan.
7. Secara keseluruhan, seberapa bagus itu? Apa yang kamu sarankan?
Bisakah Anda memasukkan kertas ke dalam salah satu kategori ini?
1. Hasil utama - sangat signifikan. (kurang dari 1% dari semua makalah yang ditulis.)
2. Kerja bagus, solid, menarik; kontribusi pasti. (kurang dari 10% makalah yang akan
Anda lihat.)
3. Kontribusi kecil, tetapi positif, untuk pengetahuan. (mungkin 10% hingga 30% dari
kertas yang diserahkan.)
4. Elegan dan secara teknis benar tetapi tidak berguna. Kategori ini mencakup analisis
canggih babi terbang, seperti yang disebutkan di atas.
5. Tidak elegan atau bermanfaat, tetapi tidak benar-benar salah.
6. Salah dan menyesatkan.
7. Makalah ini ditulis dengan buruk sehingga evaluasi teknis tidak mungkin
dilakukan.
Dalam menempatkan sebuah kertas ke dalam salah satu kategori di atas, penting
untuk menormalkan standar yang sesuai, bukan dengan standar Anda sendiri, yang
mungkin tinggi atau rendah, atau dengan rata-rata kertas yang Anda tulis sendiri, atau
dengan rata-rata dari makalah yang menurut Anda layak dibaca.
Setelah mengkategorikan makalah, pertanyaannya adalah: apa standar jurnal atau
konferensi ini? Apakah ini Prosiding IEEE atau Transaksi ACM pada Sistem
Komputer atau Simposium ACM tentang Prinsip Sistem Operasi (semua sangat
selektif) atau Konferensi Tahiti tentang Bola Pantai dan Sistem Komputer? (Fiksi,
tetapi dianggap sebagai kacamata.) Anda harus membandingkan tulisan ini bukan
dengan yang terbaik atau terburuk dalam jurnal atau konferensi tertentu, tetapi
dengan rata-rata. Tentu saja, dalam beberapa kasus rata-rata terlalu rendah, dan perlu
dinaikkan oleh wasit kritis. Perhatikan bahwa Anda tidak dapat menentukan
selektivitas konferensi atau jurnal dengan persentase makalah yang dikirimkan yang
diterima; konferensi dan jurnal terbaik memiliki jauh lebih sedikit makalah buruk
yang dikirimkan.
Anda kemudian harus membuat rekomendasi. Itu bisa menguntungkan
("publikasikan") atau tidak menguntungkan ("tolak"). Kekuatan rekomendasi harus
secara jelas dinyatakan kepada editor (mis. "Makalah yang bagus, pasti terima";
"makalah yang bermanfaat, mungkin terima"; "makalah marginal - lihat berapa
banyak yang lebih baik yang telah diserahkan ke konferensi", "salah dan
menyesatkan; pasti menolak "). Diijinkan, tetapi tidak diinginkan, untuk mengatakan
"mungkin"; jika Anda merasa bahwa makalah itu memiliki sesuatu yang layak untuk
dikatakan, tetapi Anda tidak yakin apakah makalah itu cukup baik untuk
dipublikasikan dalam jurnal atau proses konferensi ini, Anda dapat memberikan
tanggapan yang tegas.
Rekomendasi Anda adalah pendapat Anda tentang apakah makalah itu memberikan
kontribusi yang memadai. Secara umum, ini akan termasuk kertas-kertas dalam
kategori satu dan dua di atas, dan beberapa dari mereka dalam kategori tiga.
Anda juga dapat merekomendasikan agar makalah ditolak karena tidak sesuai untuk
jurnal atau konferensi ini. Jika kertas tidak sesuai, atau berkualitas rendah untuk
forum ini, tetapi cocok di tempat lain, Anda juga dapat menyarankan tempat lain
untuk mengirimkan kertas.
Bagaimanapun, Anda harus memberikan diskusi dan justifikasi yang memadai untuk
rekomendasi apa pun yang Anda buat. Rekomendasi yang tanpa justifikasi yang
memadai akan diberikan bobot yang sangat sedikit oleh editor atau komite program.
Jika penulis diminta untuk menyiapkan versi revisi makalah untuk jurnal, revisi
biasanya akan dikirim ke referensi yang sama untuk ditinjau lebih lanjut. Penting
untuk memastikan bahwa revisi tersebut memuaskan, tetapi wasit harus menghindari
komentar yang tidak konsisten dengan ulasan pertama, dan harus menghindari
melecehkan penulis dengan merekomendasikan revisi setelah revisi tidak perlu.
Sangat mungkin, bagaimanapun, bahwa mungkin ada masalah serius dalam revisi
naskah, baik karena hal-hal yang diabaikan dalam tinjauan pertama, karena masalah
yang hanya menjadi jelas setelah revisi, dan / atau karena kesalahan baru yang
diperkenalkan dalam revisi itu sendiri. Masalah serius seperti itu harus diatasi.
Perhatikan bahwa jika masih ada masalah serius setelah revisi kedua, akan sering
tepat untuk merekomendasikan penolakan akhir, karena penulis tampaknya tidak
mampu memperbaiki masalah.
8. Survei dan Tutorial
Survei dan tutorial berbeda dari makalah penelitian. Sebagian besar atau semua
pekerjaan yang dilaporkan dalam makalah semacam itu bukanlah hal baru, dan tidak
diharapkan baru. Makalah seperti itu, bagaimanapun, dapat menjadi tempat yang
nyaman bagi seorang penulis untuk memasukkan berbagai hasil penelitian kecil yang
tidak akan berdiri sendiri dalam makalah yang terpisah.
Artikel survei dan tutorial serupa tetapi tidak identik. Tutorial murni dimaksudkan
untuk menjelaskan beberapa materi kepada pembaca yang bukan ahli, biasanya
pemula. Tutorial mungkin tidak mencakup seluruh bidang yang dibahas, dan mungkin
memiliki sudut pandang tertentu. Survei harus menyediakan cakupan yang luas dan
menyeluruh dari beberapa bidang atau badan pengetahuan, dan dapat ditujukan untuk
pembaca mulai dari pemula sampai yang hampir ahli.
Dalam meninjau makalah tutorial, ada beberapa masalah khusus untuk diatasi:
Apakah makalah tersebut membahas materi yang dijanjikan oleh judul atau abstrak?
Apakah ini kumpulan pengetahuan yang masuk akal untuk dicakup oleh artikel
tutorial? (Apakah cakupannya terlalu lebar, terlalu sempit, atau terlalu aneh untuk
berguna?) Apakah ada tema yang konsisten dengan makalah ini? Apakah materi
dalam artikel itu benar? Apakah tingkat cakupannya terlalu sederhana atau terlalu
canggih, mengingat kemungkinan audiens? Apakah kertasnya ditulis dengan baik dan
jelas? Yang terakhir ini merupakan masalah penting untuk tutorial, tetapi jurnal yang
mempublikasikan tutorial, seperti IEEE Computer dan ACM Computing Survey,
sering memiliki editor dan staf profesional yang membantu merevisi.
Untuk makalah survei, banyak pertanyaan yang sama berlaku. Apakah makalah ini
mencakup materi yang dijanjikan dengan judul atau abstrak, dan apakah ini adalah
kumpulan pengetahuan yang masuk akal untuk disurvei pada satu waktu? Apakah
materi dalam artikel itu benar, dan apakah penulisnya cukup ahli dalam hal ini
sehingga ia dapat menginterpretasikan hasil dengan benar dan memberikan perspektif
di lapangan? Sudahkah penulis mengintegrasikan bahan secara konsisten, atau ini
hanya bibliografi beranotasi? Sudahkah penulis memberikan liputan yang berimbang
dan menyeluruh tentang topiknya? Apakah dia mengutip semua literatur penting yang
relevan, atau apakah presentasinya bias, miring, dan / atau selektif tidak merata?
Pendapat dan evaluasi yang kontroversial harus diidentifikasi seperti itu. Sejauh
survei mencakup hasil penelitian baru, apakah hasil tersebut memenuhi kriteria yang
diberikan di atas untuk makalah penelitian untuk validitas dan kebenaran? Sebuah
survei tidak harus berdiri sendiri sebagai makalah penelitian, sehingga penelitian
yang disajikan tidak harus cukup signifikan untuk membenarkan publikasi sebagai
makalah penelitian. Akhirnya, apakah kertas itu ditulis dengan baik dan jelas?
9. Proposal
Proposal adalah permintaan kepada agen pendanaan, perusahaan atau yayasan untuk
dukungan finansial, yang seharusnya melakukan penelitian yang dijelaskan dalam
proposal. Meninjau proposal sangat berbeda dari meninjau makalah, dan beberapa
pertimbangan khusus berlaku. Ulasan makalah hanya membahas sains; ulasan
proposal harus mempertimbangkan orang tersebut juga.
Kesulitan utama dengan meninjau proposal adalah bahwa simpatisan seharusnya
memberi tahu Anda apa yang dia rencanakan untuk dilakukan, di samping apa yang
telah dilakukan. Pertanyaan yang akan diajukan, kemudian adalah: (a) Apakah topik
(atau topik) penelitian penting? (B) Apakah metode pendekatan dijelaskan (secara
singkat) dan apakah itu masuk akal? (c) Apakah simpatisan dan asisten seperti siswa
tampaknya memiliki keahlian yang memadai untuk menghasilkan hasil yang
bermanfaat? (d) Apakah anggarannya masuk akal, mengingat penelitian yang
diajukan, kualifikasi penyelidik (dan murid-muridnya) dan tingkat pendanaan khas
yang diberikan oleh lembaga tersebut? (e) Apakah fasilitas yang diperlukan tersedia?
Cara termudah untuk menulis proposal yang terperinci dan spesifik adalah
mengusulkan untuk melakukan penelitian yang sudah lengkap, atau setidaknya secara
substansial sedang berlangsung; pendekatan ini sangat umum untuk seorang peneliti
mapan. Sayangnya, itu bukan tujuan dari proposal penelitian, dan membutuhkan
tingkat detail dan spesifikasi yang tinggi dalam proposal tersebut mendiskriminasi
pendatang baru di lapangan, dan juga terhadap mereka yang mengusulkan pekerjaan
baru. Dengan demikian, kesulitan paling serius yang dihadapi oleh pengkaji proposal
adalah untuk mengevaluasi proposal dan tidak berharap untuk melihat laporan
penelitian. Demikian pula, suatu proposal dapat mencakup lingkup pekerjaan yang
lebih besar daripada yang dapat dicapai secara wajar dengan waktu dan upaya yang
ditentukan. Jika penyelidik dengan jelas mengakui hal ini, dan menunjukkan bahwa ia
akan memilih dan memilih sub-topik dalam bidang penelitian, tergantung pada minat
mereka dan ketersediaan seseorang seperti mahasiswa pascasarjana untuk
mengerjakannya, ini bukan faktor negatif.
Perbedaan utama antara proposal penelitian dan makalah adalah bahwa proposal
bersifat spekulatif, dan pengulas harus mengevaluasi apa yang mungkin terjadi.
Evaluasi seperti itu, sebagaimana dicatat di bawah ini, harus sangat bergantung pada
reputasi pribadi simpatisan, ketika reputasi itu ada. Orang-orang dengan sejarah
penelitian yang baik dan konsisten mungkin akan melakukan pekerjaan dengan baik,
tidak peduli seberapa ceroboh atau singkatnya proposal mereka. Orang-orang dengan
sejarah penelitian kualitas rendah yang konsisten (tidak peduli seberapa besar, atau
seberapa panas topiknya) mungkin akan berlanjut dengan cara yang sama, tidak
peduli betapa menariknya proposal tersebut. Oleh karena itu, sebagian besar dari
evaluasi proposal oleh penyelidik terkenal harus bergantung pada reputasi penyelidik
itu. Namun, Is sangat penting untuk tidak mendiskriminasi pendatang baru di
lapangan, yang tidak memiliki reputasi, baik atau buruk. Dalam kasus terakhir,
seseorang harus lebih mengandalkan teks proposal, dan pada informasi lain seperti
Ph.D penyelidik. disertasi, catatan akademisnya, lembaga tuan rumahnya, gelar Ph.D.
lembaga, komentar oleh penasihatnya atau orang lain yang mengenalnya, dll. Juga
penting untuk mempertimbangkan kemungkinan bahwa seorang peneliti yang baik
mengusulkan penelitian yang buruk, atau bahwa seorang peneliti yang mencatat
pekerjaan yang berkualitas buruk telah memutuskan untuk melakukan kualitas yang
lebih baik pekerjaan yang Anda percaya dia mampu.
Peninjau diminta untuk mengomentari anggaran yang diusulkan. Perlu diingat bahwa
banyak faktor yang mempengaruhi ukuran anggaran selain lingkup penelitian yang
diusulkan, seperti lembaga yang menyediakan dana, ketersediaan fasilitas dan staf,
dll. Perhatikan khususnya bahwa untuk penyelidik baru, ada perbedaan besar antara
tidak ada dana dan dana minimal (gaji dua bulan musim panas, jumlah untuk
perjalanan, persediaan dan waktu komputer). Mendanai penyelidik baru di tingkat
rendah sering kali merupakan pertaruhan yang bagus; dua atau tiga tahun kemudian,
penyelidik akan memiliki rekam jejak, dan jika itu bagus, tingkat pendanaan yang
lebih tinggi dapat dibenarkan. Hibah kecil seperti itu sering disebut hibah inisiasi dan
seharusnya jauh lebih mudah diperoleh daripada hibah biasa.
10. Masalah Lainnya
10.1. Pengajuan Serentak, Publikasi Sebelumnya, Retries yang Tidak Direvisi
Jika sebuah makalah diserahkan secara bersamaan ke dua tempat atau lebih, semua
editor dan / atau ketua program harus diberitahu tentang, dan menyetujui, ini, dan
semua wasit harus diberitahukan demikian. Tidak etis untuk menyerahkan makalah
secara bersamaan tanpa pemberitahuan, dan itu adalah dasar yang memadai untuk
menolak makalah. Ada kemungkinan yang sangat baik bahwa jika sebuah makalah
diserahkan secara bersamaan, pengajuan simultan akan terdeteksi melalui proses
peninjauan.
Jika sebuah makalah telah diterbitkan (seperti dalam proses konferensi) dan
kemudian diserahkan untuk publikasi ulang (misalnya, dalam jurnal arsip), penting
bahwa editor dan wasit begitu diberitahukan. Beberapa asosiasi seperti IEEE dan
ACM mengizinkan publikasi ulang dalam jurnal mereka, tetapi umumnya makalah ini
harus memenuhi standar yang lebih tinggi untuk publikasi daripada jika tidak pernah
dipublikasikan. Ekstensi yang signifikan atau revisi besar sering kali merupakan
alasan yang memadai untuk publikasi. Wasit harus waspada kepada penulis yang
mencoba untuk menerbitkan karya yang sama di semua berbagai kombinasi,
permutasi dan himpunan bagiannya, dan kepada penulis yang mencoba
menambahkan "unit yang paling tidak dapat diterbitkan" dari materi baru ke setiap
kertas. Perhatikan bahwa jika versi pertama makalah ini diterbitkan oleh penerbit
yang berbeda dari yang mempertimbangkan versi saat ini, pembatasan hak cipta dapat
menjadikannya ilegal untuk makalah yang akan diterbitkan kembali tanpa izin
eksplisit dari pemegang hak cipta.
Bukan hal yang aneh untuk menerima kertas untuk menjadi wasit yang sebelumnya
Anda rekomendasikan ditolak oleh beberapa publikasi lain. Jika kertas belum ditulis
ulang untuk memenuhi ulasan Anda sebelumnya, maka tepat untuk mengembalikan
salinan ulasan sebelumnya, bersama dengan catatan tumpul yang menunjukkan
bahwa penulis dapat mencoba membuat revisi sesuai dengan laporan wasit.
10.2. Ucapan Terima Kasih dan Plagiarisme
Adalah penting bahwa makalah tidak menjiplak, dan bahwa kerja sama dan
kontribusi orang lain diakui sepenuhnya. Wasit harus secara eksplisit menunjukkan
masalah yang ditemukan.
10.3. Respon Tepat Waktu, dan Mengembalikan Kertas
Adalah penting bahwa wasit merespons dengan segera. Konferensi memiliki tenggat
waktu, dan laporan yang diterima setelah komite program bertemu tidak berguna.
Jurnal umumnya tidak memiliki tenggat waktu, tetapi membutuhkan waktu lama
untuk meninjau makalah, dan mencegah pertimbangan untuk publikasi melalui
penundaan, secara profesional tidak etis. Dante mungkin memiliki tempat untuk wasit
yang berjanji untuk membuat laporan, dan kemudian tidak melakukannya [Dant49].
Jika Anda tidak dapat membaca koran dalam waktu yang wajar, biasanya 4-8 minggu,
kirimkan kembali ke editor, atau paling tidak tunda persetujuan editor.
Ingatlah bahwa jika Anda berharap untuk menerbitkan makalah Anda sendiri, Anda
memiliki tanggung jawab untuk memberikan referensi kepada sejumlah makalah
yang masuk akal. Itu adalah bagian dari pekerjaan Anda sebagai peneliti. Opsi untuk
mengirimkannya kembali ke editor tidak boleh disalahgunakan. Editor dapat memilih
untuk tidak menangani makalah oleh penulis yang tidak memenuhi tanggung jawab
wasit mereka.
Jika Anda mengirim makalah yang tidak memenuhi syarat untuk menjadi wasit, Anda
juga dapat mengirimnya kembali ke editor atau ketua program. Namun, perhatikan
bahwa Anda mungkin telah dipilih secara khusus untuk memberikan pandangan
"luar" dari lapangan (lihat bagian 10.7), dan fakta itu mungkin membuat Anda
memenuhi syarat untuk memberikan pendapat terbatas.
Jika Anda akan mengirim kertas kembali tanpa referensi, lakukan segera. Pastikan
untuk mengembalikan naskah.
10.4. Apakah Reputasi Pengarang Penting?
Haruskah reputasi penulis diizinkan untuk memengaruhi evaluasi makalah, yang
bertentangan dengan proposal? Tidak ada konsensus. Menurut pendapat pribadi saya,
wasit harus mempertimbangkan nama dan reputasi penulis untuk sebagian kecil, dan
hanya dalam beberapa keadaan.
Makalah penelitian harus berdiri sendiri. Satu-satunya waktu untuk memperhitungkan
reputasi penulis adalah berkenaan dengan ambiguitas, poin-poin yang tidak jelas, dan
referensi untuk pekerjaan yang tidak disajikan. Jika penulis dianggap tepat, orang
mungkin cenderung berasumsi bahwa masalah apa pun akan diperbaiki, dan harus
diperbaiki, pada revisi. Jika penulis dianggap kurang baik, melalui reputasi buruk
yang diperoleh dengan baik, maka orang dapat beranggapan bahwa kelalaian dan
ambiguitas mungkin merupakan kesalahan yang disembunyikan (sengaja atau tidak).
Perhatikan bahwa asumsi tentang apakah masalah dengan kertas dapat dan akan
diperbaiki adalah masalah terutama untuk konferensi, yang biasanya tidak cukup
waktu untuk tinjauan ulang; untuk jurnal, asumsi tidak diperlukan.
10.5. Kerahasiaan
Ini adalah praktik dalam Ilmu dan Teknik Komputer bagi editor untuk mengirimkan
kepada penulis laporan kata demi kata pemberi referensi, biasanya fotokopi, tanpa
nama wasit dan tanpa informasi pengidentifikasi sekitarnya seperti kop surat
lembaga. Jika Anda tidak ingin diidentifikasi, Anda tidak boleh memasukkan
informasi pengenal ke dalam teks laporan Anda. Perhatikan bahwa ada masalah yang
sulit meminta penulis untuk mengutip karya wasit sendiri, tanpa memberi petunjuk
kepada penulis tentang siapa wasit itu; tidak ada solusi mudah untuk masalah ini.
Makalah yang diajukan untuk publikasi belum tentu publik. Anda tidak boleh
menggunakan materi dalam makalah yang telah Anda referensi, atau
mendistribusikan salinan kertas, kecuali jika Anda memiliki pengetahuan bahwa
kertas tersebut memang telah dipublikasikan, misalnya dengan didistribusikan
sebagai laporan teknis.
10.6. Konflik Kepentingan
Jika Anda memiliki konflik kepentingan, Anda harus memberitahukannya kepada
editor. Jika konfliknya parah, Anda seharusnya tidak memberi referensi kepada
makalah, tetapi sebaliknya harus mengembalikannya ke editor. Misalnya, jika Anda
berselisih dengan seorang penulis, atau ketidaksepakatan pribadi yang signifikan,
akan lebih bijaksana untuk mengirim kertas itu kembali. Jika Anda bersaing dengan
penulis untuk mendapatkan pendanaan, dan ini adalah proposal, Anda harus
memberitahukan hal itu kepada petugas program.
Jenis konflik yang berlawanan juga terjadi - Anda diminta untuk memberikan
referensi kepada makalah yang ditulis oleh seorang teman, kolega, mantan atau
mahasiswa saat ini, bos atau bawahan, atau mantan penasihat. Jika Anda merasa tidak
dapat memberikan ulasan yang objektif, maka Anda harus mengembalikan makalah
ke editor.
10.7. Peran Editor atau Ketua Program
Editor memiliki beberapa tugas [Bish84]. Di sini kita merujuk pada pemimpin
redaksi, yang biasanya memiliki wewenang untuk memutuskan apakah akan
menerima makalah, dan editor rekanan, yang meminta laporan wasit dan
merekomendasikan kepada kepala redaksi apakah akan menerbitkan. Editor
menerima makalah dari penulis dan memelihara korespondensi dengan penulis.
Editor memilih wasit, mengirimkan masing-masing salinan kertas dengan instruksi
yang sesuai, dan menunggu hasilnya. Editor harus mengingatkan wasit yang lambat,
dan menemukan wasit baru setelah periode tertentu jika tidak ada respons yang
diterima.
Editor harus memilih wasit yang berpengetahuan luas dalam materi makalah ini, dan
dapat diandalkan untuk memberikan evaluasi yang adil dan obyektif. Sayangnya,
tidak selalu mungkin untuk melakukan ini - ada terlalu banyak makalah yang harus
ditinjau, dan terlalu sedikit orang yang diketahui ahli dan bertanggung jawab. Ada
juga masalah lain - menurut definisi, orang-orang di daerah X percaya bahwa bekerja
di daerah X bermanfaat. Laporan yang diterima dari seseorang di daerah X akan
mengevaluasi kertas di daerah X menurut standar area X, tetapi jarang, jika pernah,
mengatakan bahwa pekerjaan di daerah X tidak ada gunanya dan harus dihentikan.
Namun demikian, sangat mungkin bahwa respons semacam itu tepat; jika seseorang
ingin menghilangkan prasangka alkimia, orang mengirim kertas ke ahli kimia, bukan
alkemis. Jika Anda menerima kertas untuk wasit yang berada di luar wilayah Anda,
Anda harus mempertimbangkan apakah itu telah dikirim kepada Anda dengan
sengaja, dan karena alasan itu. Seseorang harus mengatakan bahwa kaisar tidak
memiliki pakaian.
Setelah editor
menerima cukup banyak laporan wasit, biasanya tiga, editor harus memutuskan
apakah akan menerima makalah, dan jika demikian, sejauh mana revisi diperlukan.
Editor tidak hanya menghitung laporan wasit sebagai suara. Editor harus membaca
rekomendasi laporan wasit, dan alasannya, dan harus memutuskan, menggunakan
penilaiannya sendiri, apakah akan menerima makalah. Seorang editor, secara teori,
dapat mengesampingkan rekomendasi bulat dari para wasit; dalam praktiknya, editor
dapat dan kadang-kadang berpihak pada sebagian kecil wasit. Adalah penting bahwa
wasit menyatakan alasan untuk rekomendasi mereka dan membenarkannya; alasan-
alasan itu sama berharganya atau lebih banyak dari rekomendasi itu sendiri.
Editor juga harus menyelesaikan rekomendasi yang bertentangan, dan harus memberi
tahu penulis sejauh mana mereka harus mematuhi komentar wasit dalam membuat
perubahan. Editor yang bijak akan mengirimkan salinan semua laporan wasit ke
semua wasit, baik untuk mendidik wasit, dan untuk bersikap adil kepada penulis jika
terjadi pertentangan ulasan.
Dalam kasus konferensi, ketua program bertanggung jawab untuk memilih wasit dan
mengumpulkan dan menghitung laporan mereka. Biasanya, komite program, dalam
pertemuan atau panggilan konferensi, akan memutuskan makalah mana yang akan
diterima dengan suara terbanyak. Ketua program mungkin atau mungkin tidak
memiliki suara yang lebih besar daripada yang lain di komite, tetapi ia jarang
memiliki wewenang untuk menerima atau menolak makalah atas oposisi mayoritas
komite program. Karena banyaknya kertas yang harus ditangani dalam waktu yang
sangat singkat, wasit dan penulis biasanya tidak diberi perhatian pribadi oleh editor
yang hanya menangani satu atau beberapa kertas per bulan. Perhatikan bahwa komite
program sering menggunakan skor numerik untuk menyiapkan daftar makalah
peringkat; skor semacam itu harus ditetapkan dengan cermat dan harus dilihat secara
skeptis oleh komite.
11. When You Are The Author
Artikel ini telah diarahkan pada wasit, tetapi instruksi kepada wasit juga instruksi
kepada penulis. Saat memulai penelitian, saat menulis makalah, saat menyelesaikan
makalah, dan ketika memutuskan di mana harus menyerahkannya, tanyakan pada diri
Anda: bagaimana makalah ini akan lakukan ketika direferensikan sesuai dengan
kriteria yang diberikan di sini?
Beberapa hal spesifik untuk dipikirkan adalah: Apakah Anda mengirimkan kertas ke
tempat yang tepat? Beberapa jurnal dan konferensi tidak akan mempertimbangkan
materi di luar ruang lingkup tertentu; mengapa membuang waktu 3-12 bulan untuk
mengetahui bahwa kertas Anda tidak sesuai? Demikian juga, jika Anda tahu bahwa
makalah Anda kecil, mengapa mengirimnya ke forum yang sangat selektif; kirimkan
ke suatu tempat di mana ia memiliki peluang masuk akal untuk diterima. Jika Anda
mencurigai bahwa pekerjaan lebih lanjut diperlukan sebelum publikasi, lakukan
pekerjaan itu; mungkin mengubah kertas yang tidak dapat diterbitkan menjadi yang
dapat diterbitkan, tanpa penundaan tambahan 3-12 bulan. Melihat masalah publikasi
yang Anda pertimbangkan untuk diajukan akan menjawab banyak pertanyaan ini;
juga bermanfaat untuk melihat informasi yang disediakan oleh jurnal kepada para
calon penulis; misalnya [CACM89, IEEE84].
Perlu diingat bahwa laporan wasit yang baik sangat berharga, bahkan jika itu
merobek kertas Anda. Pertimbangkan - setiap laporan disiapkan tanpa biaya oleh
seseorang yang waktunya tidak dapat Anda beli. Semua kesalahan yang mereka
temukan, semua interpretasi yang salah yang mereka buat adalah hal-hal yang dapat
Anda perbaiki sebelum dipublikasikan. Menghargai laporan wasit, dan
memanfaatkannya. Beberapa penulis merasa dihina, dan mengabaikan laporan wasit;
itu adalah pemborosan sumber daya yang tak ternilai.
Seorang penulis yang menerima laporan wasit negatif sering mencurigai editor,
panitia program, ketua program, dan / atau wasit tidak kompeten, bias, atau tidak adil.
Meskipun ini kadang-kadang terjadi, itu adalah pengecualian; laporan wasit
individual sering salah, tetapi serangkaian laporan wasit negatif merupakan indikasi
akurat bahwa makalah Anda memiliki masalah, dan perlu ditulis ulang atau diulang
sebelum dikirim kembali, atau dibuang sebagai tidak dipublikasikan atau memalukan.
Perhatikan khususnya bahwa pembaca makalah membentuk opini penulis; jika
kualitas sebuah makalah seperti untuk mencerminkan buruk pada penulis, itu bahkan
tidak boleh diserahkan untuk publikasi.
Penulis secara khusus disebut [Day77], [Levi83], [Mano81], dan [Wegm86], yang
menyediakan diskusi tentang bagaimana menulis makalah teknis. Wasit juga
merupakan cara yang baik untuk belajar menulis makalah yang lebih baik;
mengevaluasi pekerjaan orang lain memberikan satu wawasan ke dalam miliknya
sendiri.
12. Kesimpulan
Kemajuan ilmiah sangat bergantung pada proses peer review, evaluasi penelitian
untuk publikasi dan pendanaan oleh para peneliti di area tersebut, atau oleh para
peneliti yang memenuhi syarat untuk mengevaluasi pekerjaan. Ulasan berkualitas
baik, laporan wasit, sangat penting untuk proses ini. Tugas wasit adalah mengevaluasi
secara tepat waktu makalah untuk publikasi atau proposal untuk pendanaan. Untuk
makalah penelitian, ini melibatkan menentukan apakah pekerjaan yang disajikan
benar, jika masalah yang dipelajari dan hasil yang diperoleh adalah baru dan
signifikan, jika kualitas presentasi memuaskan atau dapat dibuat demikian, dan apa
revisi dan perubahan pada kertas diperlukan dan / atau diinginkan. Evaluasi ini tentu
saja merupakan masalah pendapat, dan karena pengalaman wasit, kualitas evaluasi
harus meningkat. Pedoman dan instruksi untuk wasit yang disajikan dalam makalah
ini harus sangat berguna dalam melatih dan menginstruksikan wasit pemula.
Ucapan Terima Kasih
Saya ingin mengucapkan terima kasih kepada Peter Denning, Domenico Ferrari,
Susan Graham, Anita Jones, Edward Lazowska, dan Ken Sevcik untuk komentar
mereka pada draft artikel ini. Namun, pendapat yang diungkapkan di sini adalah milik
penulis. Sejumlah wasit untuk makalah ini juga membuat saran yang bermanfaat,
banyak di antaranya telah dimasukkan.
Bibliografi
[Bish84] Claude T. Bishop, '' Bagaimana Mengedit Jurnal Ilmiah '', ISI Press,
Philadelphia, PA, 1984. [CACM89] Komunikasi ACM, '' Informasi untuk Penulis, ''
CACM, 32, 3, Maret, 1989, hlm. 411-414. [Caro65] Lewis Caroll, Alice Through the
Looking Glass, Bab. 4, Walrus and the Carpenter, Stanza 11, 1865. [Dant49] Dante
Alighieri, The Divine Comedy, Cantica 1: L'Inferno, 1314, Diterjemahkan oleh
Dorothy Sayers, Penguin Books, Baltimore, Md., 1949 [Day77] Robert Day , '' Cara
Menulis Makalah Ilmiah, '' Transaksi IEEE pada Komunikasi Profesional, PC20,
Juni, 1977, hlm. 32-37. [Fors65] Bernard Forscher, ‘‘ Aturan untuk Wasit, ’Sains, 15
Oktober 1965, hlm. 319-321. [IEEE84] IEEE, ‘idelines Pedoman untuk Penulis,’
Perangkat Lunak IEEE, 1, 1, Januari, 1984, hlm. 7-8. [Levi83] Roy Levin dan David
Redell, ‘aluation Suatu Evaluasi dari Pengajuan SOSP Kesembilan, Review ACM
Operating System Review, 17, 3, Juli, 1983, hlm. 35-40. [Mano81] Frank Manola, ‘‘
Cara Mereset dengan Komite Program Konferensi Database, 'buletin IEEE TC buletin
Rekayasa Basis Data, 4, 1, September, 1981, hlm. 30-36. [Parb89] Ian Parberry,
‘Guide Panduan untuk Wasit Baru dalam Ilmu Komputer Teoritis’, SIGACT News,
Vol. 20, No. 4, hlm. 92-109, 1989. [Thom84] Keith Stewart Thompson, ‘‘
Marginalia / The Literature of Science, 'American Scientist, 72, Maret-April, 1984,
hlm. 185-187. [Wegm86] Mark N. Wegman, '' Seperti Apa Menjadi Wasit POPL, atau
Bagaimana menulis abstrak yang diperluas sehingga lebih mungkin diterima, '' Sigact
News, 17, 4, Spring, 1986, hlm. 50-51.
Cara Menjadi Wasit
Editor selalu mencari wasit yang berkualitas dan bertanggung jawab. Cara termudah
untuk menjadi wasit adalah dengan menulis makalah, sehingga membawa nama dan
keahlian Anda menjadi perhatian komunitas yang relevan. Anda juga dapat menjadi
aktif dalam kegiatan profesional, seperti IEEE lokal atau grup ACM, Komite Teknis
IEEE (TC), ACM Kelompok Minat Khusus (SIG), komite penyelenggara konferensi,
dll; Partisipasi dalam kegiatan ini akan memungkinkan Anda untuk bertemu dengan
editor dan ketua program. Terkadang, editor akan secara aktif meminta wasit.
Pedoman untuk Rujukan untuk Komputer IEEE Berikut ini adalah kutipan dari
Pedoman untuk Rujukan yang didistribusikan oleh editor untuk IEEE Computer. ‘‘
Komputer mencakup semua aspek ilmu komputer, teknik, teknologi, dan aplikasi. Ini
ditujukan untuk khalayak luas. Komputer menerbitkan artikel teknis substantif yang
direferensikan secara luas dalam literatur. Artikel dalam Komputer sering kali bersifat
survei atau tutorial dan mencakup keadaan terkini serta perkembangan penting yang
muncul. Salah satu tujuan paling penting dari Komputer adalah untuk bertindak
sebagai saluran transfer teknologi untuk membawa hasil dan formalisme dari
universitas, industri dan pusat penelitian dan pengembangan pemerintah ke dokter
umum di lapangan. ‘‘ Semua artikel harus dipahami oleh pembaca yang aktif bekerja
dalam disiplin teknis. Sejauh mungkin, naskah harus ditulis dengan gaya yang mirip
dengan artikel yang muncul di Scientific American. ‘‘ Laporan wasit harus
dikembalikan pada Formulir Tinjauan Komputer. Karena bagian-bagian dari formulir
peninjauan dan manuskrip bertanda akan dikirimkan kepada penulis sebagaimana
mestinya, adalah penting bahwa tidak ada identifikasi wasit yang boleh muncul pada
mereka. Komentar yang tidak pantas akan dihapus sebelum materi apa pun
dikirimkan kepada penulis. ‘‘ Dibutuhkan banyak waktu dan upaya untuk
mengembangkan sebuah naskah yang secara teknis relevan dan dapat dibaca.
Tinjauan terperinci atas suatu naskah dapat menjadi bantuan yang tak ternilai bagi
penulis dalam meningkatkan kualitas teknis, utilitas, dan keterbacaannya secara
keseluruhan. Berikan komentar konstruktif yang akan membantu penulis untuk: (1)
memperbaiki kesalahan dan kesalahpahaman; (2) nyatakan dugaan dan hasil yang
sesuai, akurat dan relevan; (3) menggunakan definisi, diagram, tabel, grafik, dan
contoh yang lebih baik; (4) menggunakan maksimal 12 referensi kontemporer,
relevan dan esensial; (5) membuat artikel secara teknis konsisten dan lengkap; dan,
(6) mengatur materi untuk membantu pembaca memahami masalah yang disajikan.
‘‘ Jika revisi besar direkomendasikan, Anda harus menunjukkannya setepat mungkin
dan harus membedakan perubahan opsional dari yang Anda anggap wajib. Jika revisi
yang diperlukan luas, mungkin yang terbaik adalah menolak makalah dan
merekomendasikan persiapan naskah baru yang sangat direvisi untuk dikirim kembali
ke Komputer. Jika Anda menolak naskah tersebut terutama berdasarkan minat
pembaca, harap sarankan jurnal yang lebih tepat kepada penulis. Naskah dengan
sedikit atau tanpa materi yang bisa diselamatkan harus ditolak secara langsung dan
kemudian diserahkan tidak disarankan. '
Penulis Alan Jay Smith dibesarkan di New Rochelle, New York, AS. Dia menerima
B.S. gelar di bidang teknik listrik dari Massachusetts Institute of Technology,
Cambridge, Massachusetts, dan M.S. dan Ph.D. gelar dalam ilmu komputer dari
Stanford University, Stanford, California. Dia adalah seorang Lulusan NSF. Dia saat
ini adalah Profesor di Divisi Ilmu Komputer dari Departemen Teknik Elektro dan
Ilmu Komputer, Universitas California, Berkeley, California, AS, di mana dia telah
berada di fakultas sejak 1974; dia adalah wakil ketua departemen EECS dari Juli,
1982 hingga Juni 1984. Minat penelitiannya meliputi analisis dan pemodelan sistem
dan perangkat komputer, arsitektur komputer, dan sistem operasi. Dia telah
menerbitkan sejumlah besar makalah penelitian, termasuk yang memenangkan IEEE
Best Paper Award untuk kertas terbaik di IEEETC pada tahun 1979. Dia juga
berkonsultasi secara luas dengan perusahaan komputer dan elektronik. Dr. Smith
adalah anggota Institut Insinyur Listrik dan Elektronik, dan anggota dari Asosiasi
untuk Mesin Komputer, Kelompok Kerja IFIP 7.3, Kelompok Pengukuran Komputer,
Eta Kappa Nu, Tau Beta Pi dan Sigma Xi. Dia berada di Dewan Direksi (1993-99),
dan Ketua (1991-93) dari ACM Kelompok Minat Arsitektur Komputer (SIGARCH),
adalah Ketua (1983-87) dari ACM Kelompok Minat Khusus tentang Sistem Operasi
(SIGOPS), adalah anggota Dewan Direksi (1985-89) dari Kelompok Minat Khusus
ACM tentang Pengukuran dan Evaluasi (SIGMETRICS), adalah Dosen Nasional
ACM (1985-6) dan Pengunjung Istimewa IEEE (1986-7), adalah Associate Editor
dari ACM Transactions on Computer Systems (TOCS) (1982-93), adalah editor
bidang subjek Journal of Parallel and Distributed Computing dan berada di dewan
editorial Journal of Microprocessors and Microsystems. Dia adalah ketua program
untuk Sigmetrics '89 / Performance '89 Conference, ketua program untuk Konferensi
Kedua (1990) Keenam (1994) dan Kesembilan (1997), dan telah melayani di banyak
komite program.