依赖人的同行评审会被人工智能取代吗?
2024-03-14

依赖人的同行评审,是不公平公正的,并且可持续性较差,包括但不限于以下几点:

 

1)审稿人对自己领域内的文章进行同行评审,是出于一种学术责任,或是为了满足学术界的期望。尽管审稿人对学术界做出如此大的贡献,然而,在2023年入选泰晤士高等教育世界大学排名的高校中(包含104个国家的1799所大学),却很少有院校在任命、晋升、评选终身教授、以及年底考核时将自愿参与同行评审作为评价标准。但也有一些将其作为评价标准的大学:慕尼黑工业大学,沃里克大学和匹兹堡大学。但是其他机构呢?

 

2)其次,审稿人的另一动机是了解尚未发表的最新研究。似乎数以百万计的公开预印本、研究报告、硕博论文、学术海报、学术PPT和会议记录不足以全面了解新研究。

 

3)很多人认为同行评审是一种“慈善”活动,可以帮助你所在领域的陌生人(可能仅仅只知道名字的人)更好交流和完善他们的研究,当你投稿时,其他一些陌生人也会为你提供同样的帮助。但现实并不简单,根据我作为期刊编辑的经验,最近刚发表文章的作者,经常拒绝来自同一期刊让其审阅他人稿件的请求。互惠或善举并不像人们期望的那样发生。

 

42020年,产生了大约2200万份同行评审报告,其中还有一些“同行评审代写”的现象。指的是实际审查时,参与撰写同行评审报告的可能还有其他人。为了使得这些人的贡献得到认可,引入了“共同审稿人”的概念,受邀审稿人可以邀请其他人联合审稿。这是扩大审稿专家库的另一途径,但也扩大了同行评审制度下的不平等范围。

 

52020年,全球审稿人共花费了1.3亿小时(约相当于15000年)用于评审。好消息是,目前一些出版商,例如科睿唯安的Web of Science Reviewer Recognition ServiceIOP PublishingTrusted Reviewer CertificationFrontiers,已经开始在发表的文章中披露审稿人姓名,使其贡献得到认可。但是,同行评审给审稿人带来的实质性好处却很少,仅仅是从出版商那里购买书籍时享有折扣、免费访问订阅期刊或减免文章处理费(APC)吗?

 

62020年,仅中国、英国和美国三个国家,审稿人花费时间的货币价值就达到25亿美元,全球范围内的总价值将更高。一些学会或机构出版的期刊会向审稿人支付一些费用(有些是需要向作者全额收取)。这种有偿的同行评审应当得到抵制,理由是增加了额外的高昂成本、利益冲突和损害科学诚信。也就是说,付费评审将加重不公正,特别会加剧学术系统中现有的鸿沟,以及增加额外的经济负担。

 

避免不公正的唯一方法是结束依赖人的审稿系统。应该在人工智能(AI)有关的期刊审稿系统中投入更多资金,逐步摆脱目前依赖人的模式。一些人反对依赖AI的审稿,相关的观点包括,AI不能像人类一样进行批判性思考,一些算法常存在偏差。因此,我们需要正确训练AI,以减少普遍存在的算法局限性。现有的AI审查软件和模型显示出一定程度的有效性,但还不具备取代人类审稿人的条件。

 

本文作者提出了从依赖人的审稿系统过渡到AI审稿的五个阶段:

 

第一阶段,目前几乎所有期刊都属于这一阶段,即在同行评审过程中根本不使用AI。例如,Elsevier的审稿政策明确要求审稿人不得借助AI进行评审。

 

第二阶段,须提高AI审稿系统的性能,以便进行有效的初始质量检查。初始检查的内容包括:审查手稿是否符合期刊的内容范围,其整体结构、抄袭程度、语言、各部分之间的连贯性,还包括是否符合研究伦理、研究诚信、公开性和可重复性的基本要求,对不符合要求的文章进行拒稿。目前已经开发出许多工具用于检查这些元素,但每个工具都是独立的。AI初始检查过关的手稿,才能交给人类审稿人。编辑根据人类审稿人的评论和建议进行决策。

 

接下来的三个阶段需要巨大的技术飞跃。只有当AI进一步发展时,这种审查工具才有可能实现。

 

第三阶段,我们训练AI来评估人工审查报告的质量并添加补充注释。一些模型已经在尝试这样做了,有一定的一致性和准确性。在此阶段,作者只需要回复人类审稿人的意见。编辑根据审稿人的意见和建议以及AI的注释进行决策。

 

第四阶段,期刊将AI作为手稿的审稿者之一,作者同时回复人类审稿人和AI审稿的意见。目前,两个AI辅助审稿工具,ResearchAdvisorneural network-based one,已被当做“AI审稿者”,但都显示出不同程度的局限性,需要在这一领域进行更多的研究。然而,一旦进入这个阶段,就有至少一名人工审稿人和AI一起检查稿件。编辑根据二者的意见和建议做出决定。

 

第五阶段发生在AI成为唯一审稿者时,作者要对其意见做出回应,AI也对修订后的手稿发表评论。编辑根据AI的最终意见对修订后的手稿进行最终阅读,并做出决定。

 

对于以上观点,你怎么看?你认为同行评审专家会被AI取代吗?

 


个人注册 机构注册
个人注册 机构注册
欢迎登录
忘记密码
注册协议
感谢您信任并使用CheckingRef服务。 我们根据最新的法律法规要求,制定了用户注册协议,包括相保密政策内容。 1. 点击同意表示您已经阅读并统一相关协议条款。 2. CheckingRef将全力保护用户的资料和隐私。 3. 仅限于授权18周岁及以上的用户注册。 4. 用户完成注册手续后,获取账号使用权,该使用权限仅属于初始申请注册人,禁止赠与、借用、租用、转让或售卖。 5. 用户可随时停止使用本服务,当停止使用时,用户不需特别通知CheckingRef,可随时注销帐号。 6. 用户承诺提交的文章应为个人或个人为首的研究团队独立研究的成果,并无侵害其他人及其他权利(如著作权)。若经第三方提出该文章为抄袭或剽窃等权利主张,相关责任由用户负责。CheckingRef对于用户委托的稿件的版权问题不承担相关责任。 7. CheckingRef对用户提供的拥有独立版权的文章负有保密责任,除法律另有规定或用户同意外,不得以任何理由或目的向第三方透露用户的身份隐私,及从事的研究计划、结果、欲投稿的期刊等信息。 8. 本协议可以由CheckingRef随时更新,更新后的协议条款一旦公布即可代替就旧协议条款,恕不再另行通知。如用户不接受更新后的条款,请立即停止使用该服务,用户继续使用将被视为已接受更新后的协议内容。 9. 注册后本协议即产生法律约束力。