Meskipun analisis terbaru dari lebih dari 130.000 aplikasi hibah yang didanai NIH melaporkan korelasi antara skor persentil dan produktivitas, temuan-temuan itu kontras dengan beberapa studi sebelumnya yang menunjukkan daya prediksi yang buruk untuk companion review aplikasi hibah. Akibatnya, kami menganalisis ulang bagian dari data untuk hibah yang diberi skor dalam persentil ke-20 atau lebih baik dan menemukan bahwa kemampuan prediksi partner review hampir tidak unggul dari apa yang akan dicapai secara kebetulan dan bahwa perbedaan dalam produktivitas rata-rata yang ditunjukkan oleh hibah dengan skor tinggi atau rendah dalam kisaran ini sepele.
Hasil kami menguatkan studi sebelumnya dari lebih dari 400 aplikasi pembaruan R01 yang bersaing di Institut Nasional Ilmu Kedokteran Umum dan 1.492 R01 aplikasi di Institut Jantung, Paru-Paru, dan Darah Nasional. Oleh karena itu, bukti yang tersedia membuat kasus yang kuat bahwa mekanisme utama untuk alokasi dana penelitian biomedis di Amerika Serikat tidak memadai untuk memprioritaskan aplikasi mana yang akan didanai.
Analisis tersebut didahului oleh penelitian yang menunjukkan bahwa sytheses friend review NIH tidak memiliki ketelitian statistik. Hanya dua atau tiga peninjau dalam bagian studi tipikal yang dengan cermat membaca aplikasi hibah individual dan memberikan komentar, dan ukuran sampel peninjau ini terlalu rendah untuk memberikan tingkat presisi yang dapat diterima. Kritik ini tidak unik untuk NIH, karena studi dari banyak negara telah mengidentifikasi masalah dengan ketepatan tinjauan sejawat hibah.
Di Kanada, Mayo et al. menemukan bahwa penggunaan hanya dua pengulas utama menghasilkan keacakan yang cukup besar dalam keputusan pendanaan yang dapat ditingkatkan dengan melibatkan seluruh board peninjau yang beranggotakan 11 orang dalam penilaian setiap aplikasi. Graves et al. memeriksa variabilitas dalam skor untuk Dewan Penelitian Kesehatan dan Medis Nasional Australia dan menyimpulkan bahwa 59% dari dana yang didanai dapat kehilangan dana hanya berdasarkan pada variabilitas acak dalam penilaian.
Analisis aplikasi ke Dewan Penelitian Australia menemukan reliabilitas antar penilai untuk ulasan menjadi buruk, dan peneliti di Finlandia tidak menemukan bahwa keandalan sidekick review hibah ditingkatkan oleh diskusi board. Sebuah penelitian di Prancis mengamati bahwa pengulas individu bahkan tidak cenderung menunjukkan kesepakatan tentang bobot kriteria yang digunakan untuk articles overview hibah.
Kelemahan utama dalam sistem saat ini mungkin para ahli diminta untuk memprediksi masa depan sebuah proyek ilmiah, sebuah proposisi yang secara inheren tidak pasti. Dalam hal ini, psikolog University of Pennsylvania Philip Tetlock menunjukkan bahwa para ahli tidak hanya bernasib buruk dalam mencoba untuk memprediksi masa depan tetapi juga melebih-lebihkan kemampuan mereka sendiri untuk melakukannya.
Pertanyaan lain adalah apakah produktivitas publikasi bahkan merupakan metrik terbaik untuk menilai keberhasilan ilmiah. Apakah bagian studi dapat mengenali penelitian yang berpotensi transformatif? Mungkin tidak, karena persaingan yang ketat untuk pendanaan mendorong pengulas dan pelamar untuk lebih berhati-hati. Struktur sistem partner review NIH dapat mendorong konformitas dan menghambat inovasi dari tipe yang dapat mengarah pada revolusi ilmiah. Seperti yang diamati oleh pemenang Hadiah Nobel, Roger Kornberg, "Dalam iklim saat ini khususnya, keputusan pendanaan bersifat ultrakonservatif. Jika pekerjaan yang Anda usulkan tidak benar-benar pasti berhasil, maka itu tidak akan didanai.
Dan tentu saja, jenis pekerjaan yang wilting ingin kita lihat terjadi, yang merupakan terobosan dan inovatif, terletak pada ekstrem yang lain ". NIH mengakui masalah ini dan telah menciptakan Program Penghargaan Penelitian Transformatif, tetapi tentu saja, ini tidak menyelesaikan masalah bahwa terobosan transformatif sering hanya terbukti seperti itu setelah fakta.
Ada juga masalah inclination yang sangat penting. Sumber tendency potensial dalam tinjauan sejawat meliputi kronisme dan preferensi atau ketidaksukaan untuk bidang penelitian tertentu, lembaga, ilmuwan perorangan, jenis kelamin, atau status profesional. Inclination pengulas berpotensi berdampak besar pada program sains dan kesuksesan karier pelamar individu. Satu meta-analisis dari studi companion review menemukan bukti tendency sexual direction, sehingga perempuan sekitar 7% lebih kecil kemungkinannya untuk mendapatkan pendanaan dibandingkan pria.
Studi yang berfokus secara khusus pada NIH telah menemukan keberhasilan yang sebanding pada pria dan wanita yang mengajukan aplikasi R01 baru tetapi tingkat keberhasilan yang lebih rendah untuk wanita yang mengajukan aplikasi pembaruan. Ada juga kekhawatiran berkelanjutan tentang tendency rasial dalam hasil buddy review NIH. Meskipun sejumlah inisiatif mengikuti studi yang menunjukkan bahwa pelamar kulit hitam secara signifikan lebih kecil kemungkinannya untuk mendapatkan dana NIH setelah mengendalikan latar belakang pendidikan, negara asal, pelatihan, penghargaan sebelumnya, catatan publikasi, dan karakteristik pemberi kerja, namun belum ada tidak ada bukti bahwa kesenjangan ras dalam keberhasilan pendanaan telah membaik.
Friend examiner NIH cenderung memberikan skor pada dewatogel yang lebih baik untuk aplikasi yang lebih dekat dengan bidang keahlian mereka, dan beberapa penelitian telah menyarankan bahwa pengulas dipengaruhi oleh hubungan pribadi langsung atau tidak langsung dengan pelamar.
Pengaruh pengulas hibah dalam menentukan nasib suatu aplikasi berbanding lurus dengan payline. Ini adalah kritik penting terhadap sistem saat ini, karena itu membuat individu lajang secara tidak proporsional kuat dalam kemampuan mereka untuk mempengaruhi hasil tinjauan sejawat. Ketika tersedia paylines yang murah hati, pelamar cenderung berhasil bahkan jika ada perbedaan pendapat ilmiah antara pelamar dan/atau pengulas.
Namun, dengan garis menyusut yang menyusut, penilaian negatif oleh satu individu seringkali cukup untuk menggagalkan sebuah suggestion. Dalam lingkungan ini, beberapa individu dapat sangat mempengaruhi arah penelitian di seluruh bidang. Peninjau biasanya ditunjuk untuk jangka waktu 4 tahun, yang memungkinkan mereka untuk mempengaruhi bidang mereka untuk jangka waktu yang lama. Model statistik hierarkis Bayesian diterapkan pada 18.959 recommendation R01 yang dicetak oleh 14.041 pengulas menemukan bukti substansial tendency peninjau yang diperkirakan berdampak sekitar 25% dari keputusan pendanaan.
Day melakukan simulasi komputer dengan friend overview dan menemukan bahwa jumlah tendency yang sangat kecil dapat memengaruhi tingkat pendanaan. Ini bukan masalah baru — pada 1981, Cole et al. menemukan bahwa peluang suggestion yang diajukan ke National Science Foundation (NSF) mendapatkan pendanaan sebagian besar didasarkan pada kebetulan — peluang bahwa pengulas tertentu akan dipilih.
Penelitian "Penargetan" berdasarkan prioritas program dapat memperburuk masalah inclination dan sebaliknya menyebabkan peluang yang terlewatkan dalam penelitian dasar. Sejarah sains dipenuhi dengan kisah-kisah penemuan penting oleh para ilmuwan yang mencari sesuatu yang lain sama sekali — sepertiga dari obat-obatan antikanker telah ditemukan oleh kebetulan daripada oleh penelitian penemuan obat kanker yang ditargetkan. Namun, lembaga-lembaga pendanaan terus berupaya untuk menargetkan pendanaan penelitian ke daerah-daerah yang dianggap prioritas, sementara dukungan untuk proyek-proyek yang diprakarsai oleh penyelidik tidak menurun tajam.
