科学大概是这样运作的:
你对宇宙中某一极微小的事产生疑问;提出一个假设;建立一套测试这个假设的方案;从中手机足够的数据支撑或否定它;把它们都写下来;提到给一个学术期刊。
然后,就到了关键的一步:
等待一小群业内的匿名同行,评断你的作品。这个过程,俗称Peer Review,同行评审。不过现在,有人觉得,他们的工作大有被AI取代的可能。
Elsevier是世界著名的科学期刊出版商,光是Elsevier目前共有2500多种不同的期刊。为了对论文进行审阅,每一位编辑需要为不同方向的论文找到对应同行评审。仅在2015年,就有70万科学家审阅了超过180万篇提价到Elsevier的文章,40万论文被最终发表。
虽然科学家成千上万,但是分到某一学科、某一领域,能够为一篇论文做提案审阅的人却是凤毛麟角,常常能够有资格为一篇论文做同行评审的人才不过100个。
此外,即使是科学家,人类都是一种带着天生的偏见、以自我的兴趣为出发点看待这个世界、充满惰性的动物。有人觉得,在严谨的科学领域,同行评审,可能是最容易出纰漏的地方。
不论是为了缓解编辑们招人的压力,还是希望找到理论上不存偏见、精于数字、又全无个人意识的评审,AI,也许是最好的替代品。
AI代替同行评审的工作当然不是一蹴而就,不过,近日就有一个比赛,从同行评审需要的丰富科学素养开始,慢慢拼凑起这个AI。
在开发AI之前,Elsevier已经有了一套自动化工具,Evise能够通过检索和配对功能,检查抄袭,为审阅者提前找到可能发生的利益冲突问题。其他的出版商,也有类似的自动化软件,Springer-nature目前就在研发一套名为StatReviewer的软件,检测论文的完整度和数据的准确性。
世界著名的科研杂志出版商Elsevier与伦敦大学的博士后Isabelle Augenstein签订了一个两年的合同,为对方设计出AI同行评审的雏形。
Augenstein首先办了一个比赛,ScienceIE,内容是比拼程序在科学论文中,从句子里提炼基本事实,并将这些事实与其他论文中的句子做匹配的能力。帮助科学家在更短时间内找到某一领域现存的基础事实,是这个项目的初衷。
这一项目最终的宏伟目标,则是AI拥有完全理解论文的能力,就好像你问Echo今天的天气,它会告诉你温度一样,当你就某篇论文向这个机器学习模型提问后,它将能读懂并且回答你的问题。
不过,先不论这个项目能否做得成,这样以AI代替同行评审的想法,并没有得到所有科学家的认同。
首先,就像的士司机担心自动驾驶抢自己的饭碗一样,也有科学家担心,有了能够丛同行评审的AI,就等于有了AI博士。当AI能够从数据库中找到并阅读相关的材料,找到文章中的观点、变化,并根据这些资料做出相应的审阅决定,那么AI几乎就是该领域一个全知全能的专家了。
当然,大部分科学家担心的并不是AI抢工作的事,而是实现AI代替同行评审的可能性的问题。AI2的CEO Oren Etzioni觉得,虽然AI能够下棋、打德州扑克、玩电竞游戏,但是它在最普通的英语句子的理解上依旧还有很长的路要走。
自然语言的模糊性是AI发展的一个大问题。以语言中的代词为例:议会拒绝给示威者颁布许可,因为他们担心发生暴力。人类能够立刻反应过来,后半句的“他们”,指的是“议会”,而对于AI来说,搞清楚动词指向的代词,是一个大问题,更不必说多义词、灵活的叙事逻辑给AI带来的困扰。
而对于科学性极强的论文的理解,就算是以英语为母语的人类,也不是人人能够读懂充满了被动句式、晦涩艰深的科学论文的。就算是计算机最熟悉的数学学科,用文字来表达数据模型中的规律,这种数字与自然语言的自动匹配就已经是个难题,更何况像心里学等,结论并不归结到数据上的学科。
最后,一个AI的同行评审不能只是读懂一篇论文,它还需要有超越文章本身思考的能力。科学界的同行审阅,几乎是现在AI领域所遇到的最困难的部分,它不只是要让AI知道这篇文章做了什么,而是需要明白这个研究在这个领域究竟有什么突破,而突破常常是不可预见的,不具有一般规律的。在面对颠覆性的突破时,AI要么完全懵逼,要么忽略重点,总之,看上去并不靠谱。
除非科学家们真的像俄勒冈州立大学的AI研究者Dietterich说的那样,完全改变论文的写作方式,不再以讲故事的形式阐述问题,而是以固定模板配上数据库式的内容填充形式,否则,要让AI当科学家的同行,目前来看,还有点难。