178页，四年图神经网络研究精华，图卷积网络作者博士论文公布

最后更新：2020-05-13 10:08:04 手机定位技术交流文章

机器心脏报告

机器编辑部之心

对于普通人来说，在社交媒体上发表他们的论文可能需要一些勇气。但是如果力量够硬，有多少人不怕检查。最近，图卷积网络(GCN)的作者Thomas Kipf发表了他的博士论文，主题是“使用图结构表示的深入学习”，涵盖了从图神经网络到结构发现的一系列深入学习的热点，是他近几年对图神经网络研究的深入总结。

在深度学习领域，图神经网络一直是一个热门话题。去年年底，一些人统计了2019年至2020年重大会议论文的关键词。结果表明，“图神经网络”的增长率高居榜首，成为增长最快的话题。

在图神经网络出现之前，虽然深度学习在欧几里德数据中取得了巨大的成功，但是从非欧几里德域生成的数据已经被广泛使用，并且它们也需要有效的分析。例如，在电子商务领域，基于图形的学习系统可以利用用户和产品之间的交互来实现高度准确的推荐。在化学领域，分子被模拟成图形，新药的研究和开发需要测量它们的生物活性等。

广阔的应用前景吸引了大量的研究者加入到图形神经网络的研究中来，其中图形卷积网络是一个方向。

对于这个领域的研究人员来说，托马斯·基普夫的名字应该并不陌生。他2016年的论文“图卷积网络的半监督分类”被引用了3400多次，是该领域的基础工作。2017年ICLR会议也接受了这份文件。

此外，图形神经网络的另一个重要方向——图形自编码也是由Kipf和他的导师Max Welling在2016年提出的。

尽管几年前已经做了各种开创性的工作，托马斯·基普夫今年刚刚从博士毕业。他的研究方向是学习结构化数据和结构化表示/计算，包括推理、(多智能体)强化学习和结构化深度生成模型。今年1月，他在阿姆斯特丹大学获得了机器学习博士学位。

像机器学习领域的许多大牛一样，基普夫不是计算机专业的。他在本科学习物理，接触了马克斯·普朗克的神经科学相关研究，然后进入机器学习领域。毕业后，基普夫作为一名研究科学家加入了谷歌。

基普夫这次发表的178页的博士论文是他在图形神经网络领域四年研究的深入总结。它不仅讨论了图卷积网络，还讨论了图自编码器、结构化世界模型等。花时间仔细阅读是值得的。

论文链接:https://pure.uva.nl/ws/files/46900201/Thesis.pdf

机器的核心将简要介绍论文的内容。

大神博士论文

本文中，托马斯·基普夫提出了一种利用深度学习处理结构化数据的新方法。该方法主要基于结构神经网络模型的图形表示和计算，从而提高了模型在学习具有显式和隐式模块结构的数据时的泛化能力。

本文主要分为两个部分，介绍如何处理显性结构(第5章)和隐性结构(第8章)。

本文的主要贡献如下:

提出了一种图卷积网络(GCN)来对图结构数据中的节点进行半监督分类。提出了一种用于图形结构数据的无监督学习和链接预测的图形自编码器(GAE)。提出了一种关系GCN(R-GCN)来将GCN模型扩展到具有多种边类型的有向图。提出了一种神经关系推理模型——NRI模型。提出了一种序列行为数据的结构发现模型:模仿学习和执行相结合(编译)；提出了一种对比训练的结构化世界模型(C-SWM)，用于在没有监督的情况下从原始像素观测中学习环境的对象分解模型。接下来，让我们看看这篇博士论文每一章的具体内容。

背景

本文前两章为“绪论”和“背景”，介绍了相关的背景知识和其他内容。

在这一部分，托马斯·基普列出了本文试图解决的五个研究问题:

问题1:我们能否开发一个深层神经网络模型，并为图结构数据集上的大规模节点分类任务提供有效的实现？问题2:图形神经网络可以用于链接预测和无监督节点表示学习吗？问题3:深层神经网络能推断出实体之间隐藏的关系和相互作用吗，比如物理系统中的力？问题4:如何改进神经网络模型，使其能够推断序列数据中的事件结构和潜在程序描述？问题5:深入的神经网络能否通过与环境的互动，学会发现和构建物体、关系和动作效果的有效表征？考虑到这些问题，让我们看看托马斯·基普的具体结果。

图形卷积网络

Thomas Kipf提出了一种图卷积网络(GCN)来对图结构数据中的节点进行半监督分类。GCN是图神经网络的一种形式，它在图中执行参数化的消息传递操作，并且被建模为谱图卷积的一阶近似。到GCN发表时，它已经在多个无向图数据集的节点级分类任务中取得了SOTA性能。