「救救AI领域，救救孩子！」这是一个AI从业者的倡议
最后更新：2020-04-11 11:35:07 手机定位技术交流文章
机器心脏报告
参与:张骞，鸡蛋酱
昨天，“拯救艾区，拯救儿童”出现在智湖。”引起了社会的广泛关注。人工智能有什么问题？怎么做？本文将集中讨论这些问题。
原始链接:https://zhuanlan.zhihu.com/p/127085043
海报认为当前的人工智能“灌溉”和欺诈已经到了不可忽视的地步，所以他呼吁每个人都揭露在文件或代码中发现的问题。为此，她创建了一个名为“人工智能论文在线查询”的专栏，希望每个人都能反馈发现的问题，一起讨论，用每个人的力量净化人工智能社区。
这一举措得到了清华大学副教授刘志远等业内研究人员的支持。毕竟，学术造假和灌溉对人工智能领域的长远发展非常不利，尤其是前者。正如海报上所说，科学研究是一个反复的过程。“如果之前的顶级论文是假的，那么接下来几代的论文就像基于垃圾的空中楼阁，岌岌可危。ゥ
目前，许多顶级组委会和期刊编辑似乎已经注意到这个问题，所以他们越来越重视论文的可重复性，要求作者提交代码，并鼓励重复研究。然而，由于大量的意见书和有限的官方权力，也有必要依靠“民间”的力量。
CVPR 2019暴露出的问题
作为一个长期存在的问题，随着《CVPR 2019》的发布，国内社会对人工智能领域“灌溉”和“欺诈”的关注似乎达到了高潮。
CVPR 2019最终收到了5，165份有效意见书，比前一年增加了50%以上。当时，由于投稿的大量增加，在线协作编辑工具在报纸的背面崩溃了，因为编辑太多了。
华南理工大学的谭明逵教授评论说:“当硬件领域的摩尔定律由于硬件限制而逐渐失效时，纸质出版物的数量就占了上风。ゥ
从那以后，越来越多的人意识到今天的峰会不再是最初的峰会。
人们对CVPR和其他顶级俱乐部的不满终于爆发了。“CVPR 2019”知湖事件有哪些负面报道？”下面，一些文章被一篇接一篇地抽出来分析和批评，甚至包括口头论文，“这让人觉得CVPR是一样的”。
这种“疑虑”也存在于各种高层会议中。人工智能如火如荼，从业者人数激增，提交的论文数量激增，使得一度笼罩在自己头上的高层会议看起来“臃肿不堪”。
神经科2019
，投稿数万篇，收到论文1428篇，研讨会57场，与会者13000人，远远望去，会议现场就像一场音乐会...
ICLR 2020
提交的数量逐年增加，2018年超过900份，2019年超过1500份，2020年超过2600份。
CVPR 2020
提交论文的ID为1万元，有效提交论文6656篇，是CVPR 2018年的两倍。
在人工智能领域工作过的人或多或少会有一种奇怪的同辈压力:在NIPS之后，他们会思考AAAI的优势，在AAAI之后，他们会思考CVPR的优势。为什么会有这么多工作要投票？不可排除的是，少数老板和巨头确实能够持续不断地产生令人印象深刻的想法，并且能够在短时间内从理论到实践对想法进行详细的验证。然而，除了老板，其他人呢？没有他，纯灌耳。(引自@ information door running dog)
如何保存？
人们问了很多问题。我们如何解决它们？从目前的主要会议、期刊趋势和个人建议来看，大致可以分为两种观点。首先，从会议和期刊开始，我们将制定更严格的提交政策(如要求提交代码)，并积极接受重复研究和产生无效结果的研究。二是社区自发的“打假”活动，充分利用社区资源，“让我们一起找毛病”。针对这两个想法，各方似乎都已开始尝试。
神经科2020:“强烈推荐”提交代码
从2019年神经科学竞赛开始，组委会启动了一项鼓励提交纸质代码的战略(非强制性)。这一策略产生了一些效果。在《2019年神经网络规划》的最终提交阶段，收到的论文中有75%附有代码，比2018年的50%有大幅增长。
今年，组委会继续加强这一战略，从“鼓励”改为“大力推荐”(仍然不是强制性的)，还提供了提交代码的指导方针和模板。
该规则基于2019年审核者的反馈。根据调查，每次审查后，13%的审查者说他们已经阅读了该准则，21%的审查者说他们没有阅读，其余的人说他们“不适用”。这可能是因为许多论文没有代码。在没有提供代码的前提下，21%的评论者表示希望论文附有代码。此外，组委会发现，随论文提交的代码质量与评审者给出的分数高度相关。
自然:鼓励重复研究和无效结果研究
在今年2月的一篇社论中，《自然》提出了一个倡议，指出研究机构和期刊应该鼓励重复研究和无效结果的研究。这篇文章强调，发表无效结果的研究人员可以帮助社区在更有生产力的领域投入大量资金。无效结果的广泛传播最终将促使社区改变他们的理论，使其更适用于现实世界。
作为回应，这篇社论提出了两个策略。
首先，研究机构应该通过语言和行动鼓励这种行为。去年，柏林健康研究所发布了一份书面倡议，鼓励其研究人员发表他们自己的重复和无效的结果，以应对反复出现的危机。响应该倡议的研究人员将获得1000欧元的奖励。此外，该研究所还有一个应用程序和顾问来帮助研究人员确定应该联系哪些期刊、预印平台或其他渠道来发布重复性研究和数据。应用程序将提供关于预期出版成本、提交截止日期、论文格式、同行评审要求等信息。
其次，文章指出，更多的期刊应该强调发表重复研究和无效结果对社会的重要性，《自然》明确指出，“在《自然》中，重复研究与其他研究处于同一水平。”《自然》欢迎提交能够对以前发表的作品提供见解的研究。ゥ
创建人工智能领域发布者？
尽管期刊和会议具有广泛的影响力，但它们面临着大量的提交，而且它们的权力有限。这就是为什么他们在文章的开头提到了主动性。对此，刘志远教授回答说，“我们可以考虑建立一个人工智能版本的PubPeer”。
成立于2012年的PubPeer是一个鼓励研究人员匿名评论已发表论文的网站。它相当于一个科学论坛。只要学者有PubPeer账户，他们就可以对发表的论文发表评论。评论可以包括批评、提问、改进建议等。在此之前，风暴中心的许多研究和讨论都在这个网站上发酵，甚至一些论文也将被取消。
这种“假”网站的存在可以在一定程度上阻止学术不端的研究者。如果在人工智能领域有类似的网站，我相信这将有助于改善整个社区的研究氛围。
推荐阅读:
对https://zhuanlan.zhihu.com/p/50263270举办2019年中国大学生体育竞赛的思考
“深度学习先锋本吉奥截止日期:人工智能顶级会议论文:取消时间”
参考链接:
https://www.nature.com/articles/d41586-020-00530-6
https://medium . com/@ NephraspConf/design-the-reproducibility-program-for-nephrasp-2020-7 fccca a5 c6ad
本文由 在线网速测试 整理编辑，转载请注明出处。
