Selama 12 tahun terakhir, Ben Mol, MD, PhD, telah mengubah minat sekilas pada integritas penelitian menjadi pekerjaan penuh waktu. Ob/gyn di Monash University, di Melbourne, Australia, memperkirakan bahwa dia menghabiskan sekitar 30 jam per minggu untuk memilah-milah artikel yang diterbitkan – terutama yang melaporkan uji coba terkontrol secara acak – bukan untuk terobosan di bidangnya tetapi untuk tanda-tanda data yang dimanipulasi, untuk menantang artikel ini dengan editor dan untuk meningkatkan kesadaran di bidangnya. Dia menemukan masalah dengan frekuensi yang mencemaskan. Buah dari usahanya muncul secara teratur di Retraction Watch, sebuah blog yang dikhususkan untuk meliput penarikan kembali dari literatur ilmiah, dan dia telah menulis beberapa artikel jurnal tentang temuannya. (Dia memperkirakan bahwa dia bertanggung jawab atas setidaknya 90 artikel yang ditarik kembali dan 60 pernyataan keprihatinan sejauh ini.) Mol juga menjadi subjek artikel terbaru di The Economist tentang penipuan dalam kedokteran.
Dr Ben Mol
Medscape Medical News baru-baru ini berbicara dengan Mol tentang pekerjaannya sebagai detektif data dan keadaan penerbitan medis.
Medscape: Bagaimana Anda tertarik pada bidang “penelitian menjadi penelitian”? Apakah ini merupakan masalah khusus untuk kedokteran reproduksi dan ob/gyn?
Mol: Bisnis inti saya selama hampir 30 tahun adalah membuat pengetahuan medis dengan melakukan uji klinis acak [RCTs]. Dan saya cukup bersemangat tentang itu. Saya agak naif ketika saya masih muda. Kemudian saya berpikir bahwa kami akan melakukan uji coba dan segera menerjemahkan untuk berlatih. Sekarang saya menyadari bahwa ada banyak rintangan, tetapi saya masih berpikir bahwa dunia yang terinformasi lebih baik daripada dunia yang tidak terinformasi. Jika orang mengetahui buktinya atau jika bukti tersebut dipertimbangkan saat mereka membuat keputusan klinis, saya pikir kita memiliki dunia yang lebih baik.
Dengan mengingat hal itu, saya mulai mengetahui sekitar 10 tahun yang lalu, untuk pertama kalinya, bahwa ada penelitian yang hampir tidak benar. Sampai saat itu, kami hanya mempertimbangkan studi yang kuat dan lemah, dan kemudian Anda memiliki sistem GRADE, mencoba menimbang kekuatan bukti. Tetapi hanya sedikit orang yang berpikir bahwa data yang mendasari apa yang kami baca tidak benar. Dan kemudian ketika kami fokus padanya, kami melihatnya dalam skala yang jauh lebih besar.
Jika Anda melihat pengetahuan medis sebagai sungai jernih yang kami berikan kepada orang-orang untuk minum air bersih, kemudian jika Anda melihat orang lain mencemari air dengan segala macam kotoran, itu adalah masalah. Ini memengaruhi intuisi seluruh sistem Anda.
Medscape: Meskipun bukan niat Anda memulai, dalam pekerjaan Anda sebagai “detektif data”, Anda telah menemukan lebih banyak alasan untuk khawatir di beberapa wilayah dunia daripada yang lain: Mesir, Iran, India, dan Cina. Apa yang harus diketahui oleh pembaca literatur ob/gyn tentang hotspot geografis ini? Haruskah mereka secara khusus mewaspadai semua studi yang dipublikasikan yang berasal dari negara-negara ini?
Mol: Profil rasial adalah hal yang sangat sensitif di zaman sekarang ini. Saya banyak memikirkannya, dan saya mendiskusikannya dengan orang lain. Tetapi jumlah total uji klinis acak [in ob/gyn and reproductive medicine] hanya berasal dari sejumlah negara tertentu. Alasan saya tidak melihat Argentina atau Chili atau Filipina atau Mongolia adalah mereka tidak memiliki tim RCT dalam jumlah besar. Dan sayangnya, dari 15 produsen utama RCT itu, ada empat atau lima negara yang menghasilkan banyak kutipan kami. Dan mereka tidak memiliki tata kelola yang baik untuk uji coba besar mereka.
Salah satu alasan saya dapat mendeteksi ini adalah karena saya adalah seorang dokter kandungan/ginekolog dan saya seorang peneliti, yang menurut saya memberi saya keuntungan dibandingkan orang lain dalam mendeteksi anomali atau hal-hal aneh ― hal-hal seperti berat lahir yang aneh atau usia kehamilan yang aneh. Tapi saya tidak melihat anomali itu dalam neurologi atau psikiatri, jadi sulit bagi saya untuk menilainya di bidang lain. Dan ada juga masalah waktu. Tetapi jika saya melihat karya John Carlisle di bidang anestesiologi, misalnya, yang sepenuhnya independen dari apa yang saya lakukan, dia melihat fenomena yang persis sama.
Medscape: Anda telah memperkirakan bahwa Anda menghabiskan 30 jam per minggu untuk menyelidiki artikel yang dicurigai. Itu jumlah waktu yang sangat banyak. Apakah ini berkelanjutan?
Mol: Tidak dalam jangka panjang. Tapi kami pasti tidak sendirian, dan pasti ada pola pikir yang berbeda di bidang kami. Anda melihat penurunan besar dalam output dari negara tertentu dibandingkan dengan 4 atau 5 tahun yang lalu. Meskipun kami tidak dapat membuktikan sebab-akibat, saya merasa sedikit puas karena orang lebih sadar akan masalah yang kami tandai.
Pencegahan jelas merupakan hal terbaik. Ada orang lain yang memiliki inisiatif lain dalam pencegahan. Akan ada makalah di British Journal of Obstetricians and Gynecology segera tentang integritas penelitian. Orang lain sedang mempertimbangkan item ini, dan kami melihat semua jenis inisiatif dalam kesadaran yang dapat mengubah masalah ini.
Medscape: Anda telah menulis artikel baru dengan John Ioannidis, MD, DSc, untuk Fertility and Sterility tentang meningkatkan kepercayaan literatur medis di mana Anda tampaknya memperdebatkan bahwa hype adalah masalah yang lebih besar dalam sains daripada penipuan. (Artikel Ioannidis tahun 2005 di PLOS Medicine, “Mengapa Temuan Penelitian yang Paling Diterbitkan Salah,” adalah salah satu artikel ilmiah paling berpengaruh di abad ke-21.)
Mol: Saya pikir ada dua masalah di sini. Ada fabrikasi tumpul, dan kemudian ada promosi pekerjaan Anda secara positif tetapi data yang mendasarinya benar. Tapi ada lingkaran penerbitan dan dikutip dengan baik, mendapatkan dana, dan bisa menerbitkan lagi. Dan lingkaran itu, menurut saya, adalah tempat sebagian besar dari kita mencoba membuat pekerjaan mereka terlihat sedikit lebih positif daripada yang sebenarnya.
Medscape: Sepertinya ada dua sisi dari masalah ini. Salah satunya adalah sisi penawaran – tanggung jawab tidak hanya para peneliti tetapi juga aparat penerbit untuk mengawasi literatur. Dan kemudian ada sisi permintaan dan ekspektasi serta skeptisisme yang tepat yang harus dibawa oleh pembaca ke dalam proses mengkonsumsi literatur. Sisi mana, menurut Anda, yang menanggung beban lebih berat?
Mol: Saya pikir bola besar saat ini ada pada editor dan penerbit. Jika Anda bertanya kepada saya 2 tahun yang lalu, saya akan berkata: Nah, jika kita menyoroti masalah ini, jurnal akan mulai membereskan kekacauan ini. Tapi mereka tidak. Mereka menunda. Mereka tidak menyelidiki dan proses mereka sama sekali tidak transparan.
Medscape: Pekerjaan Anda tampaknya menunjukkan bahwa masalah, setidaknya dalam kedokteran reproduksi, terutama terkonsentrasi di jurnal tingkat bawah. Apakah itu penilaian yang adil?
Mol: Ya, menurut saya di jurnal berdampak rendah, Anda benar-benar terkejut dengan apa yang mereka terbitkan. Dan Anda harus bertanya pada diri sendiri apakah orang benar-benar telah melihat koran. Beberapa penelitian yang dipublikasikan hanyalah omong kosong belaka. Dalam beberapa penelitian, Anda melihat garis waktu yang tidak mungkin, sehingga bayi lahir setelah makalah diserahkan, atau makalah diserahkan sebelum penelitian mungkin dapat diselesaikan. Hal semacam ini umumnya tidak terjadi di jurnal berdampak tinggi. Tapi masalahnya tetap karena makalah buruk ini dimasukkan dalam meta-analisis, dan kemudian jika Cochrane [the Cochrane Library] mengambilnya, tidak ada yang melihat apakah seribu pasien berasal dari kertas berkualitas tinggi atau dari yang bermasalah.
Adam Marcus adalah direktur editorial, perawatan primer, di Medscape dan salah satu pendiri Retraction Watch.
Untuk berita lebih lanjut, ikuti Medscape di Facebook, Twitter, Instagram, dan YouTube.