走进黑箱！OpenAI推出神经元可视化''显微镜''，支持8个常见CV模型

最后更新：2020-04-18 12:50:49 手机定位技术交流文章

大数据摘要

作者:曹培新

神经网络一直是“黑箱”的形式，这让人们难以捉摸。

例如，汽车识别模型(14c: 447)，它如何识别图片中的汽车？如果我们能看到模型内部，我们可以发现14c: 447由一个车轮探测器(4b: 373)和一个窗口探测器(4b: 237)组成。

OpenAI最近推出了一个有趣的工具“OpenAI显微镜”，它使研究人员能够更好地理解神经网络的结构和行为。

OpenAI说，神经网络是数千个神经元(有时是数千个甚至更多)相互作用的结果，而OpenAI显微镜就像一个神经元的视觉库，可以快速方便地详细研究这些神经元的相互作用，并分享这些观察结果。

OpenAI网站:

https://microscope.openai.com/

在OpenAI显微镜的网站上，OpenAI指出，“OpenAI显微镜是几个常见‘模型组织’的每个网络层和神经元的可视化集合，用于研究神经网络的可解释性。显微镜可以让研究人员更容易分析这些神经网络内部形成的特征。我们也希望它能帮助研究人员理解这些复杂的系统。”

“尽管我们向任何对探索神经网络如何工作感兴趣的人提供这项技术，但我们认为它的主要价值在于提供持久和共享的人工智能模型，以促进对这些模型的长期比较研究。我们也希望拥有类似专长的研究人员，比如神经科学，能够更容易地理解这些视觉模型的内部运作，并从中发现价值。”

为了进一步解释其工作原理，OpenAI说:“OpenAI显微镜基于两个概念，一个是在模型中的位置，另一个是它的应用技术。打个比方，位置就是你指向显微镜的地方，技术就是显微镜上方的镜头。”

此外，模型由节点图表示，节点图是由边连接的神经网络层。每个节点包含数百个细胞，大致类似于神经元。大多数正在使用的技术仅在特定分辨率下有用。例如，要素可视化只能指向一个单元，而不能指向其父节点。

在介绍显微镜的同时，OpenAI还表示希望显微镜能帮助电路协同工作，并通过理解神经元之间的联系来逆向工程神经网络。

目前，OpenAI显微镜支持8种常见的图像识别模型，包括AlexNet系列、盗梦空间系列、ResNet V2 50和VGG19。

除了OpenAI的显微镜试图可视化神经元，一些公司也试图可视化机器学习模型。例如，脸书的Captum正试图直观地解释Pytorch机器学习模型做出的决定。它支持跨模式模型的可解释性，包括CV和NLP模型，并且可以支持大多数类型的PyTorch模型，对原始神经网络的修改很少。

Captum网站:

https://captum.ai/

可以说，自从神经网络模型出现以来，研究者们就对如何预测它充满了好奇。解释性神经网络也成为一些研究者的工作目标。除了刚才提到的OpenAI显微镜和Captum，像TensorBoard这样的工具都是朝着这个方向努力的。

为什么对模型评估的信任如此重要？因为如果我们想把模型应用到一些重要的行业，如果我们想根据模型的预测采取行动，或者选择是否部署一个新的模型，我们必须首先了解它的预测机制。

毕竟，对于用户来说，如果用户不信任模型或预测，他们就不会使用它们。