归一化激活层的进化:谷歌QuocLe等人利用AutoML技术发现新ML模块
最后更新：2020-04-11 11:07:15 手机定位技术交流文章
选自arXiv
作者:刘韩啸等。
机器编译的核心
机器编辑部之心
最近，谷歌的大脑团队和DeepMind联合发表了一篇论文，利用AutoML技术实现了标准化激活层的进化，并找到了BatChorm-ReLu的替代品——EvoNorms，其在ImageNet上的准确率达到77.8%，超过了BN-ReLU(76.1%)。
地址:https://arxiv.org/abs/2004.02967
视频:https://youtu.be/RFn5eH5ZCVo
批量归一化和激活函数是深度神经网络的重要组成部分，它们的位置经常重合。过去，在神经网络设计中，两者通常是分开设计的。最近，谷歌大脑和深度思维的研究人员共同提出了一个新方案:两者统一成一个计算图，结构进化从低级原语开始。研究人员使用层搜索算法发现了一组新的标准化激活层演化规范。其中一些层独立于批处理统计。
实验表明，演化规范不仅对若干图像分类模型有显著的影响，包括资源网、移动网和高效网，而且还可以迁移到掩膜R-CNN模型(如分割)和BigGAN模型(用于图像合成)。在许多情况下，EvoNorms的性能明显优于BatchNorm和基于GroupNorm的层。
搜索空
研究人员将每个标准化激活层表示为一个计算图，即输入张量被转换成相同形状的输出张量(见图1)。每个中间节点代表一元或二元运算(见表1)。这些操作旨在保存输入张量的维数，以确保计算图中节点的形状相互兼容。计算图有四个初始节点:一个输入张量，一个常数零张量，以及两个沿通道维数初始化为0和1的可训练向量v_0和v_1。
图1:左图:搜索到的归一化激活层的计算图，不依赖于批量统计，被研究者命名为EvoNorm-S0。右图:ResNet-50使用EvoNorm-S0作为标准化激活层，当8名工作人员的批处理大小从1024到32不等时，在ImageNet数据集上的性能结果。该模型的性能也优于基于批归一化和组归一化的移动网络2和屏蔽网络3模型。
表1:搜索空之间的原语。
随机图可以按顺序生成。研究人员从初始节点开始，随机抽取原始操作，并根据操作的性质随机抽取输入节点，生成新的节点。
分层搜索法
本研究中使用的搜索方法包括以下重要部分:
每一层都与多个体系结构配对，模型在轻量级代理任务中进行训练，以评估每一层的性能。
多目标边界通过进化算法优化，并通过有效的拒绝机制增强，从而过滤掉不必要的层。
下图3显示了图层搜索方法的整体工作流程:
图3:图层搜索算法的工作流程。将每个变异层与k个体系结构进行匹配，从零开始训练，得到k个多目标锦标赛选择算法的性能得分。
分层评估
有用的层，如BatChorm-ReLu，可以在各种网络体系结构中获得良好的效果。然而，从图4可以看出，在给定体系结构中表现良好的那些层在迁移到其他体系结构后可能表现不佳。为了显著提高其泛化性能，研究者将层搜索构造为一个多目标优化问题，其中每个候选层在不同锚点结构上进行K (K > 1)评估，以获得多个拟合值。
图4:当5000个随机层适用于不同的图像分类架构时的准确性。
代理任务和锚架构
研究人员将代理任务定义为CIFAR-10数据集上的图像分类任务，并考虑了ImageNet上的三种代表性网络体系结构，以相应地调整论文中的设置。这些体系结构包括:预激活)ResNet5050，通道乘数为0.25倍；移动互联网2；通道倍率为0.5倍；频道放大率为0.5倍的效率网络-B0
为了解决CIFAR-10中的图像分辨率低于ImageNet的问题，将上述用于reduce 空的网络体系结构的前两者之间的卷积步长修改为1。研究人员将这些调整后的版本分别称为respnet 50-cifar、mobilenetw CIFAR和EfficientNet-CIFAR。
图5:锚架构中的模块定义。从左到右依次为:资源网-信息中心、移动网信息中心和高效网-信息中心。
演变
本研究中使用的进化算法是锦标赛选择算法的变体。在每个步骤中，锦标赛都是基于所有层的随机子集构建的。获胜者可以生成变异的进化版本，并在评估后添加到候选层。因此，当重复该过程时，候选层的整体质量得到提高。研究人员还通过保持所选层最近部分的滑动窗口来规范进化。
选择标准。冠军的选择标准不是唯一的，因为每个级别都有多个分数。这里有两个可实现的选项:
平均值:平均精度最高的层获胜(如图6，b所示)；
帕累托:帕累托边界上的随机层获胜(如图6所示，a、b和c都获胜)。
突变。研究人员通过以下三个步骤完成了获胜层计算图的变异:
随机均匀选择中间节点；
用表1中的新操作随机均匀地替换当前操作；
节点的新后继节点是随机均匀选择的。
图6:多目标进化的二对一锦标赛的评估标准。
拒绝机制
质量。对于在任何三种锚架构中经过100个训练步骤后验证准确率低于20%的层，研究者选择将其丢弃。由于大多数候选层不能获得有意义的学习动态(见图2)，这种简单的机制可以确保计算资源集中在少数潜在候选层的完整训练上。
稳定性。除了质量，研究人员还选择丢弃数值不稳定的层。基本原理是以对抗的方式向网络梯度范数最大化的方向调整卷积权重θ，从而对候选层进行压力测试。
实验
在表2中，研究人员将发现的层与ImageNet数据集上广泛使用的标准化激活层进行了比较，包括使用谷歌之前提出的Swish激活函数的强基线。
表2:在ImageNet上测试不同标准化激活层的准确性。需要移动平均线的项目在图中以蓝色显示。对于相同的架构，相同的代码库和相同的训练设置将获得相同的结果。
表3显示了从另一个搜索实验中获得的EvoNorms的性能数据，该实验没有使用包含批处理聚合操作的层
表3:在ImageNet上测试基于样本的图层的准确性，不含批次统计。学习率与批量成线性关系。对于相同的架构，相同的代码库和相同的训练设置将获得相同的结果。
图7示出了大量的演化规范的学习动态。在相同的训练环境下，尽管训练损失较大，但EvoNorm-B0在ResNet-50上的性能仍优于BN-ReLU。
图7:大批量图像网数据集上ResNet-50和MobileNetV2的训练/评估曲线。该图显示了每一层的测试精度。
为了研究在本研究中发现的层是否可以在搜索期间被推广到分类任务之外，研究人员将其与掩码R-CNN(何等，2017)和ResNet-FPN(林等，2017)配对，并在COCO数据集上执行目标检测和实例分割任务。
表4:在COCO val2017数据集上的掩码R-CNN目标检测和实例分割结果。
研究人员进一步测试了进化规范在训练GAN中的可用性。在使用BigGAN的训练步骤进行训练后，研究人员给出了表5中的最佳表现结果。图8中示出了由BigGAN-deep使用EvoNorm-B0生成的部分样本图像。
表5:5:大深度生成器中不同归一化活动层的图像合成性能，其中使用批处理统计的层和没有批处理统计的层彼此分离。如图所示，在3个随机种子上获得了中值和最佳性能。信息系统值越高，故障诊断码值越好。
图8:由Biggan-Deep+Evonom-B0生成的一些图像的示例。
与传统的只依赖一个方差的标准化范式不同，EvoNorm-B0试图在分母上混合两个方差。前者捕获同一小批量中不同图像的全局方差，而后者捕获每个图像的局部方差。
图9:9:EvoNorm-B0的计算图。
研究人员以移动互联网2为例对上述问题进行了详细研究。结果表明，在精度参数权衡和精度触发器权衡方面，EvoNorm-B0明显优于BN-ReLU(见图11)。这是因为EvoNorms的开销很大程度上可以通过其性能提升来弥补。
图11:当11:MobileNetV2配备有不同的标准化激活层时，ImageNet精度与参数的关系以及精度与触发器的关系。
下面的图10比较了代理任务中的进化和随机搜索。从图中可以看出，在优化搜索目标时，它们的采样效率有很大的差距。
图10:在代理任务中，进化对随机搜索对固定基线(BN-ReLU)搜索过程。
作者信息
本文有四位作者，分别来自谷歌大脑和深度思维。其中之一是谷歌大脑研究科学家刘韩啸。他毕业于清华大学，获得学士学位，并于2018年获得卡内基梅隆大学计算机科学博士学位。他曾在微软、Citadel、DeepMind等公司实习。他于2018年加入谷歌，成为一名研究科学家。
第一篇论文是刘的。
本文由 在线网速测试 整理编辑，转载请注明出处。
