仅少量视频观看数据,即可精准推断用户习惯:迁移学习架构PeterRec

最后更新：2020-05-09 11:08

机器之心释放

机器编辑部之心

我们只能从一个人的颤音、快手和腾讯视频观看记录中找到什么？最近，腾讯研发团队、谷歌伦敦和中国科技大学的研究工作首次确认了用户的各种个人信息，包括但不限于用户的年龄、性别、偏好、生活状况(如单身/已婚/怀孕等)。)、职业、教育背景等。，甚至是否有心理抑郁和暴力倾向，只能通过用户的视频新闻观看记录来准确推断。目前，该论文已被信息检索领域的顶级国际会议SIGIR接受为一篇长文。

派生迁移学习对计算机视觉和自然语言处理都有很大的影响，但在推荐系统中还没有得到广泛的应用。尽管大量研究基于模型化的用户-项目交互序列生成建议，但很少有研究试图为下游任务描述和迁移这些模型(数据样本通常非常有限)。

在本文中，研究人员通过学习单用户表示研究了各种下游任务，包括跨域推荐和用户肖像预测。优化大型预训练网络并使其适应下游任务是解决这些问题的有效方法。然而，微调通常需要重新训练整个网络并优化大量的模型参数，因此从参数数量的角度进行微调是非常低效的。为了克服这个问题，研究者们开发了一个参数高效的迁移学习框架“PeterRec”。

论文链接:https://arxiv.org/pdf/2001.04253.pdf

PeterRec可以快速动态地配置到各种下游任务中。具体来说，PeterRec注入了一些小但高度表达的神经网络，以在微调过程中保持预训练参数不变。研究人员进行了大量的实验和对比测试，以表明学习到的用户表征在五个下游任务中是有效的。此外，当PeterRec在多个领域进行高效的迁移学习时，性能可以等同于甚至优于所有参数都经过微调时的性能。

这种客观的发现和研究方法将有利于提高一些现有公共服务的质量，为实现更准确的政府决策提供相关的辅助依据，给企业和广告主带来更大的利润等。同时，还将进一步推动隐私保护的相关研究和相关法律(以手机短信等视频应用为例，每个普通用户每天可以生成数百甚至数千条点击记录，如此庞大的用户行为数据中潜在地包含着我们无法想象的个人隐私数据)。

从数据收集到用户建议

在过去的十年里，社交媒体平台和电子商务系统(如chattering、亚马逊或网飞)越来越频繁地出现在人们的生活中。因此，这些系统也会产生大量点击、购买互动和其他用户反馈。以聊天为例，普通用户每周可能会观看数百个短片。同时，大量研究表明，这些用户交互行为可以用来模拟用户对项目的偏好。一些有代表性的深度学习模型，如GRU4Rec和NextItNet，在时间推荐系统的任务中取得了巨大的成功。然而，现有工作的绝大多数仅研究推荐任务在同一平台上的场景，很少尝试学习通用用户表示并将用户表示应用于下游任务，例如冷启动用户场景和用户肖像预测。

为了解决这一挑战，本文尝试在无监督训练模式下对神经网络进行预训练，然后将该神经网络转移到下游任务。因此，论文至少需要解决三个问题:

构建有效的预训练模型，能够模拟超长用户点击序列；

设计了一种微调策略来使预训练网络适应下游任务。到目前为止，还没有相关的文献来证实这种无监督的学习用户表示对其他场景是否有帮助。

设计自适应方法可以充分利用不同任务的预训练网络参数，从而消除对整个网络进行微调的需要，实现更高效的迁移学习方法。

图Peter Rec的用户肖像预测示意图。注意:PeterRec不需要任何图像和文本特征，只需要用户点击项目标识。中间网络是大量堆叠的空孔卷积网络。

为了实现上述目标，研究人员建议通过使用具有空个孔的卷积神经网络来建立大规模预训练模型。具有一定空孔率的多层卷积网络可以实现可见性的指数增长，从而捕获和建模超长用户点击行为。目前许多时间序列网络很难实现这一优势。例如，经典RNN网络在对长序列建模时通常会遇到梯度消失和爆炸问题，并行训练效率低下。众所周知的自然语言处理网络(如Transformer)对视频存储的需求和复杂性也将随着序列长度以二次水平增加。同时，为了最大限度地共享预训练网络的参数，提出了一种类似于植物嫁接技术的模型修补方法。预训练网络只需插入少量的模型修补网络，不仅可以实现预训练网络的快速迁移，而且比整体模型的微调效果更好。

本文值得关注的研究贡献包括:

提出了一个通用的用户令牌学习框架，首次证明了使用无监督或自监督预训练网络学习的用户点击行为可以用于内部推断用户属性信息。这一发现有望改善许多公共服务，并带来更大的商业利润。它还将引发甚至促进隐私保护相关问题的研究。

提出了一种非常有效的模型修补网络。与原始的空空穴卷积层相比，该网络具有较小的参数，但具有相同的表达能力。

提出了并行插入和串行插入两种模型补丁插入方法。

许多对趋势的见解被提出，这可能成为该领域未来的一些研究方向。

以下将是开放源代码和一些高质量的数据集，从而促进在推荐系统领域的迁移学习的研究和建立相关的基准。

方法介绍

图1:彼得rec预训练网络(a)和微调网络(b)的参数分布。

在本研究中，预训练网络采用a 空孔卷积网络，每层空孔因子增加2 n，并且通过叠加空孔卷积层来增加可见度指数。该设计主要遵循时间序列模型下一代互联网

图2:具有空个孔的卷积网络的几种微调策略。(a)(b)是一个因果卷积，而(c)(d)是非因果卷积。

本文中的微调方法非常简单。它直接删除预训练softmax层，然后为新任务添加一个分类层。此外，本文的主要贡献是在预训练残差块中插入一个模型补丁网络(图3(a))，每个模型补丁都有一个具有瓶颈结构的残差块，如图3(f)所示。本研究提出了几种替代插入方法，如图3(b)(c)(d)所示。注意(e)的设计效果很差，本文的分析可能是因为模型面片的求和运算、并行插入求和运算和原始残差网络的求和运算混合在一起，影响了最终的优化效果。此外，本文的分析表明，模型面片的参数数量通常小于原始空孔卷积的十分之一，但它可以在所有参数优化下获得相似或更好的结果。