依赖人的同行评审,是不公平公正的,并且可持续性较差,包括但不限于以下几点:
1)审稿人对自己领域内的文章进行同行评审,是出于一种学术责任,或是为了满足学术界的期望。尽管审稿人对学术界做出如此大的贡献,然而,在2023年入选泰晤士高等教育世界大学排名的高校中(包含104个国家的1799所大学),却很少有院校在任命、晋升、评选终身教授、以及年底考核时将自愿参与同行评审作为评价标准。但也有一些将其作为评价标准的大学:慕尼黑工业大学,沃里克大学和匹兹堡大学。但是其他机构呢?
2)其次,审稿人的另一动机是了解尚未发表的最新研究。似乎数以百万计的公开预印本、研究报告、硕博论文、学术海报、学术PPT和会议记录不足以全面了解新研究。
3)很多人认为同行评审是一种“慈善”活动,可以帮助你所在领域的陌生人(可能仅仅只知道名字的人)更好交流和完善他们的研究,当你投稿时,其他一些陌生人也会为你提供同样的帮助。但现实并不简单,根据我作为期刊编辑的经验,最近刚发表文章的作者,经常拒绝来自同一期刊让其审阅他人稿件的请求。互惠或善举并不像人们期望的那样发生。
4)2020年,产生了大约2200万份同行评审报告,其中还有一些“同行评审代写”的现象。指的是实际审查时,参与撰写同行评审报告的可能还有其他人。为了使得这些人的贡献得到认可,引入了“共同审稿人”的概念,受邀审稿人可以邀请其他人联合审稿。这是扩大审稿专家库的另一途径,但也扩大了同行评审制度下的不平等范围。
5)2020年,全球审稿人共花费了1.3亿小时(约相当于15000年)用于评审。好消息是,目前一些出版商,例如科睿唯安的Web of Science Reviewer Recognition Service、IOP Publishing的Trusted Reviewer Certification和Frontiers,已经开始在发表的文章中披露审稿人姓名,使其贡献得到认可。但是,同行评审给审稿人带来的实质性好处却很少,仅仅是从出版商那里购买书籍时享有折扣、免费访问订阅期刊或减免文章处理费(APC)吗?
6)2020年,仅中国、英国和美国三个国家,审稿人花费时间的货币价值就达到25亿美元,全球范围内的总价值将更高。一些学会或机构出版的期刊会向审稿人支付一些费用(有些是需要向作者全额收取)。这种有偿的同行评审应当得到抵制,理由是增加了额外的高昂成本、利益冲突和损害科学诚信。也就是说,付费评审将加重不公正,特别会加剧学术系统中现有的鸿沟,以及增加额外的经济负担。
避免不公正的唯一方法是结束依赖人的审稿系统。应该在人工智能(AI)有关的期刊审稿系统中投入更多资金,逐步摆脱目前依赖人的模式。一些人反对依赖AI的审稿,相关的观点包括,AI不能像人类一样进行批判性思考,一些算法常存在偏差。因此,我们需要正确训练AI,以减少普遍存在的算法局限性。现有的AI审查软件和模型显示出一定程度的有效性,但还不具备取代人类审稿人的条件。
本文作者提出了从依赖人的审稿系统过渡到AI审稿的五个阶段:
第一阶段,目前几乎所有期刊都属于这一阶段,即在同行评审过程中根本不使用AI。例如,Elsevier的审稿政策明确要求审稿人不得借助AI进行评审。
第二阶段,须提高AI审稿系统的性能,以便进行有效的初始质量检查。初始检查的内容包括:审查手稿是否符合期刊的内容范围,其整体结构、抄袭程度、语言、各部分之间的连贯性,还包括是否符合研究伦理、研究诚信、公开性和可重复性的基本要求,对不符合要求的文章进行拒稿。目前已经开发出许多工具用于检查这些元素,但每个工具都是独立的。AI初始检查过关的手稿,才能交给人类审稿人。编辑根据人类审稿人的评论和建议进行决策。
接下来的三个阶段需要巨大的技术飞跃。只有当AI进一步发展时,这种审查工具才有可能实现。
第三阶段,我们训练AI来评估人工审查报告的质量并添加补充注释。一些模型已经在尝试这样做了,有一定的一致性和准确性。在此阶段,作者只需要回复人类审稿人的意见。编辑根据审稿人的意见和建议以及AI的注释进行决策。
第四阶段,期刊将AI作为手稿的审稿者之一,作者同时回复人类审稿人和AI审稿的意见。目前,两个AI辅助审稿工具,ResearchAdvisor和neural network-based one,已被当做“AI审稿者”,但都显示出不同程度的局限性,需要在这一领域进行更多的研究。然而,一旦进入这个阶段,就有至少一名人工审稿人和AI一起检查稿件。编辑根据二者的意见和建议做出决定。
第五阶段发生在AI成为唯一审稿者时,作者要对其意见做出回应,AI也对修订后的手稿发表评论。编辑根据AI的最终意见对修订后的手稿进行最终阅读,并做出决定。
对于以上观点,你怎么看?你认为同行评审专家会被AI取代吗?