社交媒体和arXiv存在，让双盲评审形同虚设 | Reddit热议

白交 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

双盲评审机制真的双盲吗？

最近，Reddit上有这样一个讨论：社交媒体与arXiv是否损坏了顶会双盲的机制？

13个小时，热度超过300…

起因是一位研究人员分享了他的经历：

NeurIPS 2020会议提交截止之后，他在Twitter上看到有人分享他们的arXiv研究成果，并得到了很好的反馈。

关键是，这些人一般都是Twitter上的大V，大多都来自谷歌、Facebook等著名机构的研究人员。

一旦发出，就会一呼百应，受到大家的点赞和转发。

比如，就像这位Facebook AI研究员。

甚至还有一些机构直接下场发推——DeepMind的新研究，自监督模型BYOL刷新ImageNet记录。

而此时，这些大会的评审工作还没有完全结束。这样做不仅会给双盲评审人员巨大压力，还损坏了顶会双盲评审机制。

还没有通过同行评审就放arXiv和社交媒体上，那双盲岂不是在搞笑？

影响力or接收，哪个更重要？

先不论双盲机制是否真的双盲。

对于一个研究团队而言，每年顶会放榜，论文会被录用？录用几篇？都是他们关注的问题。

毕竟这意味着你们这个团队在领域有多大的影响力，还有利于之后的研究进行。

就像这位来自小型研究室的成员说的那样，几年前在ML和CV领域的认可度几乎为0，而被这些大会接收以后，原本毫不起眼的实验室也就有了一定的影响力。

这样来看，影响力与论文接收其实并不冲突。

但是对于一些团队而言，却有一个谁在前在后的问题，尤其是对于那些已经在领域内有一定影响力的人。

被更多人认可、讨论、运用似乎就比被一个会议接收来的更重要。

就像这位网友提到的那样：

现实情况是，社交媒体上宣传对一篇论文的成功，远比是否被会议接收更重要。

等到会议真正放榜的时候，大部分的论文已经过时不受关注了。它只是为了让你的简历更加好看。

但是对于一般的团队而言，是否要提前发布在arXiv，甚至发表在社交媒体上呢？

有的人作为一个旁观者的角度，认为自己从arXiv了解到很多棒的idea，当一篇论文还在审核的时候，就已经读过了，而最终是否会被会议录用，与我们毫无关系。

这样来看，arXiv确实能够提供了更为广泛的交流机会。

但是林子大了，什么样的论文也就有了，arXiv论文鱼龙混杂也不是一天两天的事情了。

那么对于一些没那么大影响力的团队而言，担心自己的idea被人窃取，也估计收不到那么多的关注，也就不会提前在arXiv上发表，更别说在Twitter上发表了。

同行评审也一直饱受争议

而落回会议的同行评审制，其实也一直饱受争议。最关键的原因，就在于它的不透明性。

如何审？有多少人审？这些审稿人的身份是什么？

仅仅因为少数人甚至可能只有3-4人的评审观点，就能判断这个论文的好坏？

GAN的发明人，现为苹果AI负责人Ian Goodfellow 就曾炮轰同行评审机制，认为是这一制度导致了如今AI会议论文下降。其中，「评审人质量参差不齐」是主要原因，浮夸的论文被选中，真正的好论文反而被埋没。

那么如何解决这个问题呢？

既然如此，arXiv和社交媒体会一直存在，审稿也会继续，那么该如何解决这个问题呢？

此前，就曾有过一个会议解决这个问题，KDD 、ACL就曾要求，在论文结果出炉之前不允许发表在arXiv上。

在这里，有一些网友提供了自己的建议：

• arXiv可以为正在审阅的论文添加匿名模式，发布的同时不会透露其身份。

• 修改会议规则，取消可以通过合理方式（比如，互联网搜索）识别作者的论文的资格。

而如果在审稿途中，已经知晓了论文作者是谁，该如何做呢？

有这样一个建议：

启动一个关于论文的Reddit线程，或者问问朋友们对论文的arxiv版本有什么看法。

如果你已经在Twitter上知道了论文作者，那么为何不更进一步，利用Twitter寻找论文的缺陷—这反而还会抵消知道作者很有名的偏见。

你觉得呢？有什么更好的建议吗？欢迎与我们分享～

参考链接：
https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/