7 Papers|华为开源自研算法Disout;中科院计算所GCN中文综述面世
最后更新：2020-05-26 09:52:54 手机定位技术交流文章
机器的心脏。ArXiv每周广播站
参加:杜威、初航、罗若田
本周的重要论文包括华为的开源自主开发的Disout算法和中国科学院计算研究所的GCN中文摘要。
目录:
图卷积神经网络综述基于强化学习的无图机器人导航超越缺失:特征图失真使深层神经网络正则化基于深层学习的手语识别综述示例驱动的虚拟电影摄影通过学习相机行为进行的图形结构学习用于健壮的图神经网络的多任务多视图图形表示学习框架TEMS ARXIV WEEKLY RADITATION:NLP，CV，ML更多精选论文(带音频)论文1:图卷积神经网络综述
作者:徐炳兵、岑可亭、、沈华伟、程雪琪论文链接:论文/XBB-2020514175943。摘要:在过去的几年里，复杂的神经网络由于其强大的建模能力而引起了广泛的关注，并成功地应用于自然语言处理、图像识别等领域。然而，传统的卷积神经网络只能处理欧氏空数据，而现实生活中的许多场景，如交通网络、社交网络、参考网络等。，以图形数据的形式存在。将卷积神经网络应用于图形数据分析和处理的核心在于图形卷积算子和图形汇集算子的构造。
中国科学院计算研究所的研究人员总结了卷积神经网络。首先，介绍了卷积神经网络的背景，梳理了两种经典的方法&谱方法和空区间方法。图数据缺乏平移不变性给卷积算子的定义带来困难。谱方法通过卷积定理定义谱域中的卷积，而空区间方法通过定义节点域中的节点相关性实现卷积。此外，还介绍了图卷积神经网络的最新发展，包括如何利用图卷积神经网络对复杂的图信息进行建模，如异构连接、高阶连接，以及如何在大规模图上实现图卷积神经网络。
此外，本文还介绍了图卷积神经网络的应用，包括推荐系统领域、流量预测领域等。最后，对图卷积神经网络的发展趋势进行了总结和展望。
基于个性化PageRank的图卷积神经网络结构。
基于置信度的图卷积网络。
符号图卷积神经网络操作示意图。
边缘约束图卷积神经网络结构。
推荐:本项目由国家自然科学基金、北京致远人工智能研究所和王宽城教育基金资助，发表在《中国计算机杂志》上。徐冰冰和岑基廷是博士生和基督教儿童基金学生成员，而黄俊捷是硕士研究生。
论文2:基于强化学习的无地图机器人导航
作者:林海谢论文链接:c46b 94224401aa7c-46419 ddf 6 c 94/download _ file？file _ format = pdf & amp安全文件名=博士论文。工作类型=论文摘要:导航是移动机器人需要的最基本的功能之一，使它们能够从一个源点到一个目的地。传统方法严重依赖预定义的地图，导致时间和人力成本高。此外，地图只有在绘制时才是准确的。由于环境的变化，精确度会随着时间的推移而降低。在这篇博士论文中，作者认为获得高质量地图的严格要求从根本上限制了机器人系统在动态环境中的可实现性。因此，在无地图导航范式和深度强化学习的新发展(DRL)的启发下，作者研究了如何开发实用的机器人导航。
深度强化学习的主要问题之一是需要大量的重复实验和多样化的实验设置。通过重复实验从真实机器人获得这些设置显然是不可行的，因此作者选择从模拟环境中学习。这就引出了第一个基本问题，即如何缩小仿真与真实环境之间的差距，这也是第三章重点解决的问题。他专注于避免单目视觉障碍这一特定挑战，将其作为一种低级导航原语。作者创造了一种在模拟环境中训练的DRL方法，但该方法仍能很好地推广到真实环境中。
限制DRL方法在现实世界中应用于移动机器人的另一个问题是训练策略差异很大。由于复杂性和高维搜索空，上述情况导致较差的收敛性和较低的整体报酬。在第四章中，作者使用了一个简单的经典控制器来为使用DRL的本地导航任务提供指导，从而避免了纯粹随机的初始探索。作者证明了这种新的加速方法大大降低了样本方差，并显著提高了可实现的平均报酬。
作者认为最后一个挑战是无地图导航的稀疏视觉引导。第五章提出了一种基于少量海图图像的创新导航方法，不同于传统的基于视频的教学和重复方法。作者证明了在模拟环境中学习的策略可以直接迁移到真实世界，并且可以很好地推广到对环境描述很少的看不见的环境。作者开发并测试了一种新的方法来解决主要的避障、局部导航和全局导航问题，并实现了实用的机器人导航视觉。最后，作者展示了DRL如何作为一个强大的无模型方法来解决这些问题。
在强化学习问题中，学习主体观察环境状态，并在每个时间步采取行动影响环境。根据不同的行为，环境向代理返回一个数字奖励作为反馈，以评估它是否是期望的行为。
有三种不同的无模型学习方法:基于策略的方法、基于价值的方法和行动者批评的方法。
基于地图和无地图导航系统的结构。
推荐:这篇139页的博士论文的作者是牛津大学凯洛格学院的博士生谢林海，其主题是基于强化学习的无地图机器人导航。
论文3:超越辍学
作者:、唐、、徐宜兴等。链接:https://www.aaai.org/Papers/AAAI/2020GB/AAAI-TangY.402.pdf项目地址:https://github.com/huawei-noah/Disout摘要:深层神经网络通常包含大量可训练的参数，用于从给定的数据集提取强特征。一方面，大量可训练参数极大地提高了这些深层网络的性能；另一方面，它们会带来过度装配的问题。在此基础上，在减少神经元相互适应的训练阶段，基于脱落的方法禁用输出特征映射中的一些元素。虽然这些方法可以提高生成模型的泛化能力，但传统的二进制下降法并不是最优解。
为此，北京大学、华为诺亚方舟实验室等机构的研究人员对深层神经网络中间层的经验Rademacher复杂度进行了研究，并提出了一种基于下降法的特征失真方法来解决上述问题。在训练阶段，特征图中随机选择的元素将通过泛化误差范围被特定值替换。研究人员在几个基准图像数据集上进行了分析和验证，提出的特征映射失真方法在生成测试性能更高的深度神经网络方面显示出优势。
算法1:用于训练深层神经网络的特征映射失真。
传统卷积神经网络在CIFAR-10和CIFAR-100数据集上的精度。
ResNet-56在CIFAR-10和CIFAR-100数据集上的准确性。
ResNet-50在ImageNet数据集上的准确性。
推荐:用该算法在ImageNet数据集上训练的ResNet-50，准确率达到78.76%，超过了谷歌辍学算法的76.51%。
论文4:基于深度学习的手语识别综述
作者:张树军，张群，李辉论文链接:http://jeit.ie.ac.cn/article/app/doi/10.11999/JEIT190416摘要:手语识别涉及计算机视觉、模式识别、人机交互等领域，具有重要的研究意义和应用价值。深度学习技术的蓬勃发展为更加准确和实时的手语识别带来了新的机遇。青岛科技大学信息科学与技术学院的研究人员总结了近年来基于深度学习的手语识别技术，并从孤立词和连续句两个分支阐述和分析了具体的算法。
孤立词识别技术分为基于卷积神经网络、三维卷积神经网络和循环神经网络(RNN)的三种方法。用于连续句子识别的模型比较复杂，通常需要一些长时间序列建模算法来辅助。根据其主要结构，可分为双向长短记忆网络模型、三维卷积网络模型和混合模型。本文总结了国内外常用的手语数据集，讨论了手语识别技术的研究挑战和发展趋势。高精度前提下的鲁棒性和实用性仍需提升。
总分类图。
基于深度学习的孤立词手语识别技术及代表作品。
基于深度学习的手语识别技术和连续句子的代表作品。
CSL中文手语数据样本。
建议:这篇综述发表在《电子与信息杂志》上。
论文5:通过学习相机行为的示例驱动虚拟电影摄影
作者简介:蒋宏达，，，马克·克里斯蒂，论文链接:设计一个能够以电影摄影的方式，有组织地自动移动与3D动画内容相对应的虚拟摄像机的摄像机运动控制器，是一项复杂而富有挑战性的任务。虽然电影摄影有很多规则，但实践表明，在如何运用这些规则上存在明显的风格差异。
本文中，来自北京大学高级计算研究中心视觉计算与学习实验室和北京电影学院未来图像高级创新中心的研究人员提出了一种样本驱动相机控制器，该控制器可以从样本电影中提取相机行为，并通过从一系列相机运动中学习来将提取的相机行为重新应用到3D动画中。
本研究提出的学习相机行为的框架包括三个部分:从电影中提取高级特征的电影特征估计器、在高级特征中估计相机行为类型的门控网络和在3D动画中估计相机行为的预测网络。
为了估计电影的拍摄特征，每一帧都要经过以下步骤:(1)用LCR网提取2D骨架；(ii)姿势关联、填补缺失的关节和平滑；(三)通过神经网络估计特征。
本研究中的混合专家培训网络结构图。该网络以应用于样片和3D动画中的拍摄特征估计结果为输入，为每帧动画输出一系列摄像机参数，实现自绘制。具体来说，门控+预测网络由两部分组成。门控输入长拍摄序列，并输出一组专家值。预测使用自回归方法从过去1秒的拍摄和专家推断下一个相机帧的复曲面坐标。
示例影片和3D模拟动画之间的效果比较。
建议:本研究的重点是通过使用样本胶片来控制所需的拍摄方法。
论文6:鲁棒图神经网络的图结构学习
作者:魏金，，，刘，，肖，，王，论文链接:摘要:图神经网络(GNN)是图表示学习的有力工具，但最近的研究表明，很容易受到精心的干扰，即所谓的对抗性攻击。在预测下游任务时，对抗性攻击很容易愚弄GNN。因此，GNN对抗攻击的脆弱性使得研究人员越来越担心其在安全关键型应用中的应用。因此，开发能够抵御对抗性攻击的鲁棒算法具有重要意义。抵御对抗攻击的通常方法是清理被扰乱的地图。很明显，现实世界的图形有一些相同的内在属性。例如，许多真实世界的图显示低等级和稀疏性，并且两个相邻节点的特征趋于相似。
在本文中，来自密歇根州立大学(MSU)的研究人员发现对抗攻击经常破坏这些图的属性，并探索了这些属性如何抵御图的对抗攻击。具体而言，他们提出了一个支持GNN的通用框架，该框架可以从基于这些属性的扰动图中学习结构图和鲁棒图神经网络。在真实世界地图上的大量实验表明，即使地图受到严重干扰，本研究提出的亲GNN方法也能取得比当前SOTA防御方法更强的效果。
本研究提出了亲GNN框架图。虚线表示重量较小。
亲GNN算法。
2
在非目标攻击下，本研究对Cora、Citeseer、Polblogs和Pubmed数据集(基于准确度+标准差)进行了GCN、GAT、RGCN、RGCN雅克卡、RGCN奇异值分解和亲GNN的节点分类性能比较。
建议:本研究中提出的亲GNN框架总是优于当前的SOTA基线方法，并且能够提高在各种对抗攻击下的整体鲁棒性。
论文7: m2grl:多任务多视图网络推荐系统学习框架
作者:王，林玉杰，，杨克平，论文链接:摘要:本文中，来自阿里巴巴和香港理工大学的研究人员提出使用多任务多视图图表示学习框架(M2GRL)来学习网页规模推荐系统中多视图图的节点表示。
具体来说，M2GRL为每个单视图图构建一个相应的图，学习多个图的单独表示，并对齐交叉视图关系。此外，M2GRL使用相同的方差不确定性自适应地调整训练阶段任务的损失权重。研究人员在淘宝上部署了M2GRL，并在570亿个例子中对其进行了培训。根据离线索引和在线模拟退火测试，M2GRL算法的性能明显优于当前的SOTA算法。对淘宝的多样性推荐的进一步探索验证了M2GRL生成的各种表示的有效性，对于不同侧重点的各种行业推荐任务来说，这将是一个很有前景的发展方向。
M2GRL框架示意图，包含3个视图内和2个视图间任务。
部署在淘宝推荐平台上的M2GRL框架的总体架构图。
淘宝网和移动网离线数据集不同模型的比较。
推荐:研究人员相信M2GRL生成的有用表示可以在将来进一步用于处理标签推荐和可解释推荐。
ArXiv每周广播站
《机器的心脏》与由和罗若田赞助的《第十四届放射周》联合，在7篇论文的基础上，在本周选出了更重要的论文，其中包括10篇在自然语言处理、简历和人工语言领域的论文，并以音频形式提供了论文的简要摘要，如下所示:
本周的10篇NLP精选论文是:
1.土耳其命名实体识别中最近的神经序列标记模型的评价。(作者阿吉泽姆·阿拉斯、迪迪姆·马卡鲁鲁、塞纳兹·德米尔、阿尔坦·恰基尔)
2.对比句目标的预处理提高了语言模型的语篇表现。(作者:丹·伊特、凯文·古、拉里·兰辛、丹·尤拉夫斯基)
3.你的面向目标的对话模型表现得真的很好吗？系统评价的实证分析。(高野隆一、、李金朝、鹏、高剑锋、黄民烈)
4.GPT也是:一种语言模型优先的自动阅读文本生成方法。(转自曼努埃尔·马格尔、拉蒙·费尔南德斯·阿斯托迪略、塔希拉·纳塞姆、穆罕默德·阿拉法特·苏丹、李英淑、拉杜·弗洛里安、萨利姆·鲁科斯)
5.用于语音识别的迭代伪标记。(作者:许倩彤、塔蒂亚娜·利霍马年科、雅各布·卡恩、阿瓦尼·汉农、加布里埃尔·西纳伊夫、罗南·科洛伯特)
6.用软屏蔽BERT纠正拼写错误。(来自、、刘继聪、)
7.多语种:建立多语言多词表达(MWE)平行语料库。(莫砺锋·韩、加雷思·琼斯、艾伦·斯梅顿)
8.多语言BERT中所有语言都是平等的吗？。(马克·德莱泽，吴世杰人)
9.情境嵌入:什么时候值得？。(作者:西姆兰·阿罗拉、阿夫纳·梅、张建、克里斯托弗·雷)
10.编剧:叙事引导的脚本生成。(摘自朱玉涛、宋瑞华、窦志诚、聂云、金州)
本周的10篇简历精选论文是:
1.陶:追踪任何物体的大尺度基准。(来自阿查尔·戴夫、塔拉莎·库拉纳、帕维尔·托卡科夫、科迪莉亚·施密德、德瓦·拉马南)
2.通过物理交互进行实例分割的自我监督迁移学习。(来自安德烈亚斯·艾特尔、尼科·豪夫、沃尔夫拉姆·布尔加尔德)
3.接口根:解读由根学会的解开的脸表征。(来自申、杨策元、小鸥堂、周)
4.腹侧-背侧神经网络:通过选择性注意的物体检测。(作者:穆罕默德·易卜拉欣普尔、李嘉云、延-余云、杰克森·李斯、阿扎德·莫格塔德里、明-杨玄、大卫·诺耶)
5.深度学习从卫星图像导出的点云引导建筑重建。(来自徐波、徐章、李志新、马特·莱奥塔、张世福、解山)
6.三维多器官分割的领域自适应关系推理。(傅树豪、卢永义、、、周、、费希曼、)
7.视频取证总部:检测高质量的操纵人脸视频。(作者:杰伦·福克斯、刘文涛、金永佑、汉斯-彼得·塞德尔、穆罕默德·埃尔哈里卜、克里斯蒂安·特奥波特)
8.针对具体化代理的对抗性攻击。(刘爱山、黄泰然、、、徐、、陈、、梅班克、陶大成)
9.用于城市场景分割的视频序列的半监督学习。(陈良杰、拉斐尔·冈蒂霍·洛佩斯、郑博文、马克斯韦尔·科林斯、埃克金·库布克、巴雷特·佐夫、哈特威格·亚当、黄邦贤·什伦索)
10.一种用于婴儿脑部磁共振成像的自动上下文可变形配准网络。(来自、·艾哈迈德、·黄、、钱旺、叶佩岑、沈定刚)
本周的10大顶级精选论文是:
1.对使用自动编码器进行表示学习的分析:基础，学习任务案例研究，可解释性和挑战。(作者:大卫·沙特，弗朗西斯科·沙特，玛丽亚·德尔·热苏斯，弗朗西斯科·埃雷拉)
2.适应不断发展的数据流。(作者:雅各布·蒙特尔、罗里·米切尔、艾贝·弗兰克、伯恩哈德·普法林格、塔尔·阿卜杜勒·萨莱姆、艾伯特·比夫特)
3.具有一般值函数逼近的可证明有效的强化学习。(王若松、萨拉赫丁诺夫、林芳芳、杨)
4.基于模型的稳健深度学习。(作者:亚历山大·罗比，哈马德·哈桑尼，乔治·帕帕斯)
5.公平投入和公平产出:隐私公平和准确性的不相容性。(作者:巴希尔·拉斯特加帕纳、马克·克罗韦拉、克里希纳·普·古马迪，(2) MPI-SWS)
6.无概率框架的标准化注意力。(作者:奥利弗·里克特，罗杰·瓦滕霍弗)
7.多目标策略优化的分布观。(作者:阿巴斯·阿卜杜勒马利基、桑迪·黄、伦纳德·哈森克莱夫、迈克尔·内乌纳特、弗朗西斯·宋、马蒂娜·赞贝利、穆里洛·马丁斯、尼古拉斯·赫斯、莱亚·哈德塞尔、马丁·里德米勒)
8.简单的传感器探索意图。(作者:蒂姆·赫特维克、马丁·里德米勒、迈克尔·布洛赫、约斯特·托拜厄斯·斯普林伯格、诺亚·西格尔、马库斯·伍尔夫梅尔、罗兰·哈夫纳、尼古拉斯·赫斯)
9.视频游戏中的异常检测。(摘自本尼迪克特·威尔金斯、克里斯·沃特金斯、科斯塔斯·斯塔瑟斯)
10.反事实学习排名的加速收敛。(Rolf Jagerman，Maarten de Rijke)
本文由 在线网速测试 整理编辑，转载请注明出处。
