图灵奖得主Bengio和LeCun称自监督学习可使AI达到人类智力水平

资料来源:新智元

这篇文章大约有2608字，建议阅读7分钟。

本文介绍了图灵奖获得者优胜华·本吉奥和杨恩莱昆在2020年ICLR会议上表达的观点，即自我监督学习有望使人工智能产生类人推理能力。本吉奥相信，机器最终会获得关于世界的各种知识，并且不需要机器亲自体验，而是通过获得语言知识。

在2020年的ICLR在线会议上，蒙特利尔学习算法研究所所长、图灵奖获得者优思华·本吉奥和脸谱网副总裁兼首席人工智能科学家扬·乐村坦率地谈到了人工智能的未来研究趋势。

两位大人物认为，自我监督学习可能使人工智能产生类人推理能力。

自我监督学习，像人一样观察世界

监督学习要求在标记数据集上训练人工智能模型，而乐村认为，随着自我监督学习的广泛应用，这种训练模式的效果将逐渐减弱。自监督学习算法不再依赖于标签，而是通过揭示数据各部分之间的关系从数据中生成标签。

自我监督学习是机器学习的一种“理想状态”。重点是如何自动生成数据标签。这一步被认为是实现人类智能的关键。举个例子，例如，输入一张图片，将图片随机旋转一个角度，然后将旋转的图片作为输入，将随机旋转的角度作为标签。

许多网民关心的一个问题是，自我监督学习和无监督学习是一回事吗？

自监督学习类似于无监督学习，它是从没有清晰标签的数据中进行的。然而，无监督学习侧重于学习数据的内在关系和结构，如聚类、分组、密度估计或异常检测等。自我监督根据数据集本身生成标签。

为了进一步解释自我监督学习，乐村做了一个类比:“无论我们人类还是动物，大多数事情都是在自我监督模式下学习，而不是强化学习模式。”本质上，这种模式是观察世界，然后不断改善与它的互动。这种观察是自发的，不是在测试条件下完成的。”乐村说，“这种学习方法更难被机器模仿。ゥ

其中，不确定性是自我监督学习成功的主要障碍。

连续分布和离散分布

数据分布是一个表，它将所有可能的变量值与其出现的概率联系起来。当变量是离散的，它们可以很好地代表不确定性，这就是为什么像谷歌伯特这样的架构如此成功。然而，研究人员还没有找到一种方法来有效地表示连续变量的分布。

在斯坦福对话问答数据集上测试时，BERT达到了93.2%的准确率，分别优于最先进的机器学习水平和人类水平。斯坦福问答数据集是用于阅读和理解的数据集，包含维基百科文章中提出的一系列问题。在通用语言理解评估基准上，伯特的准确率达到了80.4%，通用语言理解评估基准是一个用于培训和评估自然语言处理系统的资源集。

求解连续分布问题

乐村认为，找到一个能够代表连续分布的模型将会带来新的突破。

乐村指出，解决连续分布问题的一个方法是使用基于能量的模型(EBM)，它可以学习数据集中的数学元素并生成相似的数据集。

此前，OpenAI开发了一个基于能量的模型，它可以快速学习识别和生成概念，如附近、上方、中间、最近、最远等。，并将它们表示为2D点集。该模型在五次演示后才学会这些概念。

从过去的研究来看，这种建模形式很难应用到实践中，但是开放人工智能2019研究表明，这种基于能量的模型可以支持复杂的拓扑结构。

本吉奥在研讨会上说，他认为人工智能研究可以从神经科学中受益匪浅，尤其是在探索意识和意识加工方面。当然，好处也是双向的，一些神经科学家正在使用复杂的神经网络作为视觉系统的腹侧通路。

本吉奥预测，新的研究将阐明高级语义变量和大脑如何处理信息(包括视觉信息)之间的关系。这些变量在人类语言交流中被使用，它们可能导致新一代的深度学习模式。

“通过与基础语言学习相结合，我们可以取得很大进步。最终，我们都在构建能够理解世界以及高层概念之间相互关系的模型。这是一个联合发行，”本吉奥说。“我相信人类的意识过程使用了关于世界如何变化的假设，而这些假设可以被理解为更高层次的表达。简而言之，我们看到世界的变化，然后想出一个句子来解释这些变化。ゥ

实现人类智能的另一个困难是背景知识

要实现人类智能，另一个大问题是背景知识。正如乐村解释的那样，大多数人可以在30小时内学会开车，因为他们已经直观地建立了汽车行为的物理模型。相比之下，无人驾驶汽车采用的强化学习模式现在必须从零开始学习——他们必须犯上千个错误才能做出正确的操作。

乐村说，“显然，我们需要能够建立模型来学习世界，这就是为什么进行自我监督学习——运行预测世界模型使系统学习更快。从概念上讲，这很简单，除了在我们无法完全预测的不确定环境中。ゥ

乐村认为，即使有自我监督学习和神经科学学习的支持，也不足以实现通用人工智能(AGI)。

通用人工智能(AGI)意味着机器获得人类智能。一些研究人员称之为一般人工智能人工智能(强人工智能或全人工智能，或机器具有执行一般智能动作的能力)。

他说这是因为智力，尤其是人类的智力，是非常特殊的。“AGI不存在。没有一般的人工智能。我们可以谈论鼠标智能、猫智能、狗智能或人类智能，但它远非通用人工智能。”乐村说。

但是本吉奥相信，机器最终会获得关于世界的各种知识。这一过程不需要机器亲自体验，而是通过获取可以用语言表达的知识来实现的。

“我认为与其他动物相比，这也是人类的一大优势，”他说。“我认为人类是聪明的，因为我们有自己的文化，这使我们能够解决世界上的问题。为了让人工智能在现实世界中发挥作用，我们需要它不仅是一台能够翻译的机器，而且是一台能够真正理解自然语言的机器。ゥ

自我监督学习是人工智能的未来

自我监督学习背后的核心思想是开发一个深度学习系统，通过学习填补人工智能的未知领域。

乐村在今年4月的AAAI会议上发表演讲时说，“我认为自我监督学习是人工智能的未来。这将使我们的人工智能系统，深入的学习系统通过走一段楼梯，也许人工智能可以通过观察获得足够的关于世界的背景知识，从而形成一些基本常识。ゥ

自我监督学习的主要好处之一是人工智能可以主动输出大量的信息。在强化学习中，训练人工智能系统是在标量水平上执行的，模型将得到一个数值作为对其行为的奖励或惩罚。在监督学习中，人工智能系统预测每个输入结果的类别或值。

在自监督学习中，输出结果会涉及到整个图像或一组图像，“自监督学习”输出大量信息。为了让人工智能学习同样多的关于世界的知识，自我监督学习需要更少的样本乐村说。

我们必须找出不确定性问题是如何工作的。当找到解决方案时，我们将开启人工智能未来的钥匙。

“如果人工智能是一块蛋糕，那么自我监督学习是最大的一块，”乐村说。ゥ

参考链接:

https://venture beat . com/2020/05/02/yann-le Cun-and-yos Hua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/

-完毕-

为了在数据科学领域获得更多相关发展，我们诚挚邀请您关注清华-青岛数据科学研究所官方微信公众平台“数据派THU”。

本文由 在线网速测试 整理编辑，转载请注明出处，原文链接：https://www.wangsu123.cn/news/5905.html。