Machine Translated by Google

1 JOHN QUACKENBUSH: Hai.

2 Saya John Quackenbush.
3 CURTIS HUTTENHOWER: Dan saya Curtis Huttenhower.
4 Dan kami bergabung lagi dengan Anda dari studio Countway Library.
5 JOHN QUACKENBUSH: Curtis dan saya benar-benar hanya ingin 6 berdiskusi tentang mengapa
reproduktifitas begitu penting.
7 Metode ilmiah mensyaratkan bahwa karya kita 8 dapat dipalsukan atau diverifikasi
oleh orang lain.
9 CURTIS HUTTENHOWER: Dan saya akan memikirkan reproduktifitas
10 persis seperti proses itu.
11 Jika melakukan sains berarti menemukan sesuatu yang baru tentang alam semesta 12 itu mungkin benar pada setiap saat
dan di tangan siapa pun.
13 Dan itu tidak hanya membutuhkan reproduktifitas, 14 itu adalah reproduktifitas.

15 JOHN QUACKENBUSH: Kami memiliki kumpulan data yang sangat besar.

16 Dan banyak pekerjaan Anda dan pekerjaan saya selama bertahun-tahun 17 melibatkan
analisis kumpulan data ini.
18 Dan kami menarik kesimpulan dari mereka.
19 Namun kesimpulan tersebut didasarkan pada analisis dan alat yang kami gunakan.
20 Dan Anda tahu salah satu hal yang menakutkan 21 adalah Anda sering
menemukan bahwa ketika Anda ingin melihat kembali pekerjaan Anda sendiri 22 sulit untuk mereproduksi analisis itu.

23 Dan saya pikir itu memotivasi kami berdua dan banyak orang lainnya 24 dalam kursus ini.

25 CURTIS HUTTENHOWER: Selama bertahun-tahun, ada 26 perbedaan antara

eksperimen basah dan kering, menghasilkan data 27 dan menganalisis data.

28 Dan sebagian besar reproduktifitas, menurut saya, 29 hanya perlu menghilangkan

kesenjangan itu.
30 Bahwa itu semua adalah satu percobaan besar.
31 Mungkin lebih sulit untuk membuat ulang data.
32 Mungkin lebih sulit untuk menganalisis ulang data.
33 Tetapi termasuk kontrol positif dan negatif yang baik, 34 termasuk penangkapan protokol
yang baik harus mencakup seluruh proses, tidak hanya 35 buku catatan lab untuk percobaan lab basah tetapi buku catatan lab 36 , konsep kontrol
positif dan negatif, 37 dari awal hingga akhir melalui analisis juga.

38 JOHN QUACKENBUSH: Sebelumnya, kita berbicara 39 tentang analisis data dan

reproduktifitas yang benar-benar menjadi proses ujung ke ujung.
40 Dan itu menarik, karena kami berpikir untuk melakukan eksperimen, kami sebenarnya 41 memasukkan prinsip-prinsip dari desain perangkat
lunak 42 ke dalam proses desain eksperimen.

43 Jika kami mengembangkan perangkat lunak, kami berpikir, bagaimana 44

seseorang akan menggunakan perangkat lunak itu?
45 Saat kami melakukan eksperimen atau mulai merancang eksperimen, 46 kami berpikir, bagaimana seseorang
akan menggunakan data itu?
47 CURTIS HUTTENHOWER: Atau bagaimana seseorang mencoba mereproduksinya.
48 Tepat.
49 JOHN QUACKENBUSH: Tepat sekali.
50 Jadi saat Anda mulai bergerak melalui proses itu, jika Anda menggabungkan 51 itu dan berpikir tentang bagaimana
Anda dapat menggunakan data itu di akhir 52 dan analisis apa yang ingin Anda lakukan, saya pikir 53 Anda
dapat melakukan pekerjaan pengumpulan dan pengelolaan yang lebih baik
datanya sendiri.
54 CURTIS HUTTENHOWER: Tepat sekali.
55 Itu harus ada di pikiran Anda sepanjang waktu.
56 Dan saya, seperti yang Anda ketahui, saya juga berasal dari latar belakang rekayasa perangkat lunak 57 dan bekerja dalam
pengembangan perangkat lunak sekitar awal tahun 2000-an 58 ketika keamanan internet dan privasi data baru muncul
sebagai tema.
59 Dan saya ingat banyak bahasa yang digunakan pada saat itu 60 sangat mirip.

61 Tidak ada satu hal pun yang dapat Anda lakukan untuk mengatakan, melindungi data seseorang.
62 Menulis perangkat lunak yang aman benar-benar harus menjadi proses yang dipikirkan 63 dari
awal hingga akhir.
64 Tidak ada satu hal pun yang dapat Anda lakukan untuk memastikan bahwa situs web atau perangkat lunak Anda 65 aman.

66 Tidak ada satu hal pun yang dapat Anda lakukan untuk memastikan 67 bahwa
penelitian Anda dapat direproduksi.
68 JOHN QUACKENBUSH: Saat kami berpikir tentang penelitian yang dapat direproduksi, 69 salah satu hal
yang telah kami gabungkan dalam proses kami sendiri
Machine Translated by Google
70 adalah menulis kode, menulis kode perangkat lunak untuk melakukan analisis.
71 Dan sebelum kami benar-benar menerbitkan makalah, salah satu hal yang kami lakukan 72
adalah kami mengambil kode itu dan kami meminta orang lain dalam grup untuk melakukan tinjauan kode.
73 Ini sangat penting.
74 Salah satu perasaan terburuk adalah meminta seseorang melihat kertas Anda dan berkata, 75 Anda membuat
kesalahan di sana.
76 Jadi kami telah melewati dan menjalankan ulang perangkat lunak, 77 meminta
orang lain dalam grup untuk menjalankan ulang perangkat lunak.
78 Dan Anda menemukan ada masalah.
79 CURTIS HUTTENHOWER: Ini membuat Anda tidak malu melihat orang lain melihat
pekerjaan Anda.
81 Ini sangat sulit. Dan Anda harus belajar membiasakan diri dengan 82 itu dan belajar bahwa itu
adalah fakta dalam melakukan sains.
83 JOHN QUACKENBUSH: Dan kemudian ketika kami menerbitkan makalah, kami
84 ingin memastikan bahwa kami memiliki suplemen online yang datanya tersedia 85 dan perangkat lunaknya tersedia
sehingga seseorang benar-benar dapat menyusun kembali analisisnya.

87 Jadi apa yang Anda lakukan dalam pekerjaan Anda untuk mendukung itu?
88 CURTIS HUTTENHOWER: Kami memiliki serangkaian pola desain 89 yang dimulai
dari awal, pastikan eksperimen dibuat 90 sedemikian rupa sehingga Anda akan memiliki ulangan, 91
Anda akan memiliki data, kontrol positif atau negatif, 92 data yang
mendukung reproduksibilitas.

93 Bahwa Anda merekam protokol eksperimental, 94 bahwa Anda memiliki

rencana untuk protokol eksperimental komputasi.
95 Bahwa Anda memiliki data input yang tidak dapat diganggu gugat.
96 Jika Anda menjalankan percobaan satu kali, data tersebut menjadi sangat istimewa setelah itu.
97 Data komputasi sebanyak yang Anda butuhkan dengan sumbernya, mengingat dari mana asalnya dan
bagaimana data itu dihasilkan.
99 Proses pengambilan protokol untuk bagian komputasi
100 percobaan.
101 Dokumentasi di bagian akhir menjelaskan kepada orang lain, kepada diri Anda di masa depan, 102 inilah yang
kami lakukan.
103 Dan kemudian itu menjadi bagian metode dan itu menjadi makalah.
104 Dan-- dan ini, sekali lagi, kembali ke rekayasa perangkat lunak-- 105 semacam akhir hidup atau
rencana pemeliharaan.
106 Bagaimana data Anda akan tersedia untuk publik?
107 Dan repositori dalam suplemen di situs web setelah makalahnya tersedia.
108 Di masa mendatang, bagaimana Anda akan menanggapi pertanyaan tiga tahun kemudian?
109 Jadi ini benar-benar proses perencanaan awal hingga akhir yang 110 terintegrasi
sepanjang siklus.
111 Bukan apa-apa.
112 JOHN QUACKENBUSH: Salah satu aspek penting lainnya 113 ini, bagi kita
semua sebagai ilmuwan, adalah bahwa kita ingin mempublikasikan hasil kita.
114 Dan menurut saya salah satu hal yang benar-benar positif tentang cara 115 seluruh bidang
ilmiah bergerak adalah bahwa jurnal semakin 116 mengakui bahwa ketika makalah diterbitkan, makalah itu harus
dapat direproduksi.
117 Jadi saya menyebutkan fakta bahwa kami mencoba membuat perangkat lunak dan kode
118 tersedia di setiap makalah yang kami publikasikan.
119 Tapi itu sebenarnya menjadi persyaratan di banyak jurnal 120 sekarang.

121 CURTIS HUTTENHOWER: Ada infrastruktur 122 yang menurut

saya sangat membantu mendukung berbagi data pada saat ini.
123 Dan kami akan berbicara banyak selama kursus tentang bagaimana 124
membagikan data Anda secara reproduktif.
125 Saya pikir tanggung jawab lebih pada masing-masing peneliti 126 masih untuk
analisis dan protokol dan kode.
127 Dan ada banyak hal yang dapat Anda lakukan sebagai peneliti individu 128 untuk
membantu jurnal mendukung Anda dalam membuatnya tersedia secara reproduktif.
129 JOHN QUACKENBUSH: Anda benar.
130 Jurnal memiliki kebijakan rilis data atau kebijakan pengiriman data 131 ke database publik untuk jangka
waktu yang sangat lama.
132 Mereka baru sekarang mulai mendapatkan ide 133 bahwa kita harus menyediakan
perangkat lunak dan kode.
134 Tapi saya pikir mereka menyadari nilai dari ini.
135 CURTIS HUTTENHOWER: Pasti.
136 Alat teknis untuk mendukungnya dengan mudah belum tersedia tetapi pada saat Anda menonton ini, mudah-mudahan,
sudah ada .
138 JOHN QUACKENBUSH: Bagian penting lainnya adalah menyediakan metadata.
Machine Translated by Google
139 CURTIS HUTTENHOWER: Kami harus memikirkan dengan sangat hati-hati apa yang kami maksud dengan
metadata.
141 Dan kita akan meluangkan waktu membahas hal itu selama kursus.
142 Karena metadata dapat berarti banyak hal, sebagian besar atau semuanya 143 penting untuk ditangkap agar dapat
direproduksi.
144 JOHN QUACKENBUSH: Beberapa tahun yang lalu, kami melakukan penelitian tentang kanker payudara.
145 Dan kami menemukan bahwa ada makalah yang telah diterbitkan 146 yang mengklaim
telah mengidentifikasi biomarker yang memprediksi 147 metastasis paru pada kanker payudara.

148 Dan saat kami mulai melihat datanya, salah satu hal yang kami kenali 149 adalah bahwa ada subtipe tertentu dari kanker payudara
150 yang lebih cenderung bermetastasis ke paru-paru daripada yang lain.

151 Ketika kami meminta penulis untuk metadata

152 untuk mengetahui pasien mana yang memiliki subtipe yang mana, 153 yang merupakan
bagian dari perawatan klinis yang Anda catat, 154 mereka mengatakan itu tidak tersedia.

155 Dan begitu--

156 CURTIS HUTTENHOWER: Tidak ada yang menulisnya atau tidak ada yang merekamnya sedemikian rupa 157 sehingga Anda bisa mendapatkannya
nanti.
158 JOHN QUACKENBUSH: Tepat sekali.
159 Dan ketika kami kembali, kami benar-benar menemukan bahwa setiap pasien yang bermetastasis 160 ke paru-paru memiliki satu subtipe ini.

161 CURTIS HUTTENHOWER: Saya pikir itu juga contoh yang bagus, 162 dari poin lain yang akan menyebar
sepanjang kursus.
163 Benar-benar mengintegrasikan banyak praktik pelengkap untuk reproduktifitas 164 ke dalam aktivitas Anda sehari-hari.

165 Karena, sekali lagi, tidak ada satu hal pun yang harus Anda lakukan.
166 Tapi saya menghabiskan banyak waktu untuk berpikir atau mendorong murid-murid saya 167 untuk berpikir tentang apa
yang mungkin Anda sesali di masa depan.
168 Jika Anda harus melakukan ini lagi, yang pasti akan Anda lakukan 169 , jika Anda harus
menunjukkan ini kepada orang lain, 170 jelaskan ini kepada orang lain, aspek apa yang saya
lakukan saat ini 171 akan terlihat buruk jika orang lain memeriksanya keluar, atau akan sulit untuk dipahami, 172 atau sulit untuk dijelaskan?

173 Jika Anda akan menjelaskan hal ini kepada seorang siswa, bagaimana Anda akan menjelaskannya?
174 Jadi ada banyak pola pikir seperti itu Anda dapat terus-menerus 175 memeriksa ulang diri sendiri sehingga apa pun yang Anda
176 lakukan, apakah Anda sedang mengerjakan eksperimen laboratorium, analisis data, 177 apakah Anda
sedang mengerjakan sebuah perangkat lunak penelitian 178 yang akan Anda bagikan, semua yang berbagi properti ini 179 seharusnya tidak
memalukan ketika Anda menjelaskannya kepada orang lain.

180 JOHN QUACKENBUSH: Kami berbicara sedikit tentang jurnal.

181 Salah satu hal lain yang sangat menarik di National Institutes 182 of Health sekarang adalah bahwa dalam mengajukan hibah 183
mereka sekarang mengharuskan Anda untuk benar-benar memasukkan bagian dalam
hibah Anda 184 tentang ketelitian ilmiah.

185 Anda harus benar-benar menjelaskan bagaimana Anda akan melakukan analisis data yang ketat.
186 Dan ketika saya menulis aplikasi hibah sekarang salah satu hal 187 yang saya pastikan adalah menyertakan
deskripsi menyeluruh tentang perangkat lunak kami, bagaimana 188 kami akan memeriksanya, bagaimana kami akan memeriksa dan
memeriksa ulang analisisnya .
189 CURTIS HUTTENHOWER: Dan bagian berbagi data 190 untuk ketersediaan sumber daya
dalam konteks pendanaan apa pun 191 cenderung menjadi poin yang diperlukan.

192 Dan itu belum tentu rumit.

193 Ada beberapa hal yang cukup mudah 194 yang dapat Anda lakukan untuk memastikan
ketersediaan data dan perangkat lunak dan sumber daya.
195 Tetapi fakta bahwa penyandang dana membuat Anda setidaknya menyatakan itu dan memikirkannya 196 tepat di awal ketika Anda
merencanakan sebuah proyek, 197 menurut saya merupakan langkah maju yang besar dan
sangat membantu.
198 JOHN QUACKENBUSH: Nah hal menarik lainnya 199 dari sudut pandang saya tentang melamar
hibah NIH 200 adalah, selain ketelitian ilmiah dan berbagi data dan sumber daya, 201 sekarang ada
persyaratan bahwa kami memberikan semacam bukti 202 bahwa kami ' kembali akan memvalidasi sumber daya biologis kita.

203 Dan saya rasa belum banyak orang yang mulai memikirkan hal ini.
204 Tetapi ketika saya menulis hibah penelitian, saya juga menyertakan bagian 205 tentang memvalidasi sumber
data.
206 CURTIS HUTTENHOWER: Atau perangkat lunaknya.
207 Saya rasa tidak banyak orang yang memikirkan hal itu dalam konteks penelitian
Machine Translated by Google
208 belum baik.
209 Dan semakin besar analisis data Anda, semakin besar komponen analisis itu 210 adalah perangkat lunaknya, atau setidaknya
kode yang digunakan untuk melakukannya.
211 Ada banyak anekdot bagus di mana, ini adalah kisah sukses yang bagus, 212 tempat di mana analisis data yang
cermat benar-benar akan menangkap 213 hal yang membantu Anda sebagai peneliti.

214 Kita akan memiliki beberapa bagian kemudian yang menurut saya menyebutkan 215 lebih banyak
jebakan, terkadang kasus profil tinggi yang tidak 216 berjalan dengan baik, di mana reproduktifitas hilang atau
metadata 217 hilang, yang membutuhkan banyak pekerjaan ekstra 218 dan akibatnya benar-benar
merugikan orang. Dan saya tahu 219 Anda telah terlibat dalam beberapa hal itu.

220 JOHN QUACKENBUSH: Jadi Institut Kedokteran di Akademi Nasional 221 menugaskan sebuah penelitian.

222 Dan saya kira saya cukup beruntung untuk menjadi bagian dari studi itu, di mana kami kembali 223 dan kami melihat apa yang
salah.
224 Ketika kami mulai melihatnya, kami tidak benar-benar ingin mengetahui siapa
melakukan apa.
226 Kami ingin memahami apa masalahnya untuk menghentikan 227 ini diperbaiki.

228 CURTIS HUTTENHOWER: Bagaimana agar hal ini tidak terjadi lagi di masa mendatang?
229 JOHN QUACKENBUSH: Benar.
230 Dan kebijakan macam apa yang perlu kita tempatkan sebagai ilmuwan 231 diri kita sendiri untuk memastikan
bahwa kita sendiri tidak jatuh ke dalam perangkap itu, 232 ke dalam perangkap yang sama.

233 Dan itu sangat menarik.

234 Banyak dari hal-hal ini bergema sekarang apa yang kita lihat dalam penelitian yang dapat direproduksi.
235 Perangkat lunak dan data itu harus tersedia.
236 Bahwa orang harus dapat masuk dan mengambil perangkat lunak itu 237 dan menjalankannya pada
data yang menurut Anda berfungsi.
238 CURTIS HUTTENHOWER: Apakah laporan itu sekarang tersedia?
239 JOHN QUACKENBUSH: Laporan tersedia.
240 Dan nanti ketika saya membicarakan hal ini, saya akan 241 benar-
benar memberi siswa tautan ke laporan tersebut.
242 Tetapi di luar hal-hal yang kita bicarakan dalam kursus ini, 243 ada beberapa hal lain yang sangat
menarik.
244 Salah satunya adalah bahwa kami sebagai komunitas harus menciptakan 245
budaya yang sadar akan tantangan analisis data dan reproduktifitas data dan reproduktifitas penelitian.

247 CURTIS HUTTENHOWER: Itu adalah contoh yang bagus 248 dari kasus
ini, di mana tidak ada resep yang dapat Anda miliki untuk menciptakan suatu budaya.
249 Tapi itu benar-benar perlu menjadi bagian dari proses penelitian dari awal hingga akhir, 250 seperti yang telah kami katakan.

251 JOHN QUACKENBUSH: Benar.

252 Bahwa ini adalah sesuatu yang harus kita pikirkan.
253 Dan sangat menarik untuk melihat 254 ini dan mengakui bahwa jurnal, sampai batas
tertentu, 255 berperan dalam tidak benar-benar mendukung reproduktifitas.

256 Dan saya pikir banyak tren yang kita lihat dalam penerbitan sekarang, 257 dalam penerbitan
ilmiah, mencerminkan apa yang dihasilkan dari laporan itu.
258 CURTIS HUTTENHOWER: Dan proses itu benar-benar terbantu.
259 JOHN QUACKENBUSH: Hal lain yang sangat menarik adalah hanya 260 menciptakan budaya dalam kelompok penelitian
kami sendiri 261 di mana kami mengenali nilai analisis data dan reproduktifitas.

262 Murid-murid saya sekarang, mereka semua belajar tentang biologi, 263 mereka semua belajar
tentang analisis data.
264 Dan saya pikir itu sangat positif.
265 CURTIS HUTTENHOWER: Itu karena kami terus membuatnya.
266 Jadi mudah-mudahan, Anda di sini untuk melakukan sedikit hal yang sama, 267 apakah Anda berasal
dari latar belakang biomedis atau bukan.
268 JOHN QUACKENBUSH: Baik Curtis dan saya bekerja dalam penelitian biomedis.
269 Sebagian besar peserta kami dan instruktur lain dalam kursus ini 270 bekerja dalam penelitian
biomedis.
271 Jadi kita dapat mengambil terlalu banyak contoh dari penelitian biomedis.
272 Tapi apa yang kami harap Anda dapatkan dari ini adalah gagasan nyata tentang prinsip-prinsipnya.
273 Kami ingin Anda memahami prinsip dan alat yang dapat kami gunakan.
274 Dan banyak dari alat ini sangat mudah digeneralisasikan ke bidang lain.
275 Dan prinsip-prinsipnya bersifat universal.
276 Jadi kami harap Anda menikmati kursus ini.
Machine Translated by Google
277 CURTIS HUTTENHOWER: Bagus.
278 Sekali lagi terima kasih, John.
279 Kita akan mulai bekerja sekarang.
280 JOHN QUACKENBUSH: Senang berbicara denganmu, Curtis.
281 Ayo mulai bekerja. 282