一行代码调用预训练模型，上海交大开源视频理解工具箱AlphaVideo

最后更新：2020-06-23 10:31:40 手机定位技术交流文章

机器之心释放

机器编辑部之心

最近，上海交通大学的陆团队发表了《自然-机器智能》中视觉序列理解的研究成果。通过模仿人类的认知机制，他们提出了一个可以应用于高维信息的半耦合结构模型。此外，他们还开发了一个视频理解工具箱——AlphaVideo。

近日，上海交通大学陆团队在“自然-机器智能”子课题上发表了“时空概念意识下的复杂序列理解”研究成果。

同时，该团队将把过去两年视频理解领域的论文代码和先进成果作为视频理解工具箱AlphaVideo进行开源。

开源地址:https://alpha-video.github.io/

与慢速视频相比，AlphaVideo在目标跟踪任务(MOT)和行为理解(AVA单一模型)方面都达到了最高的精确度

图1:时间空行动理解任务的信息特征图。左:输入序列；右:空特征更关注对象形状，时间特征更关注对象运动趋势。

00:00/00:00倍速度

图2:字母视频行为理解(字母动作)

图3:时间空概念提取显示

人类视觉理解机制

在人类视觉认知过程中，时间与空之间的概念是解耦的。神经科学领域的研究发现，在人类记忆形成的过程中，时间信息和空之间的上下文信息通过两条相对独立的信息通路到达海马，从而形成完整的记忆。

本研究通过堆叠这种半耦合元结构来建立深度模型，其中时间空信息总是以解耦然后合并的方式向后流动。

为了让h_s和h_t履行各自的职责，研究人员将h_s和h_t设计成不对称结构。同时，他们使用了两个特殊的监控目标r_s和r_t来进一步限制他们对各自工作的关注。

该研究进一步提出了一种训练注意力的机制。这种注意机制控制模型在优化过程中学习的信息。例如，在视频信息中，当空之间的信息有效且稳定时，模型可以优先考虑空之间的信息，并逐渐将模型训练的注意力转移到时间信息上。

销售支持系统表现如何？

本研究显示了SCS和传统LSTM在多个任务中的性能比较结果:

SCS在视频运动分类、自动驾驶和天气预报方面优于传统的序列模型。

相关代码见:https://doi.org/10.5281/zenodo.3679134

概念编辑

利用时间空分离的能力，SCS可以初步进行“概念编辑”。例如，通过编辑空之间的概念并保留时间概念，我们可以使用最初用于预测狗的轨迹的模型来预测猫的轨迹。这样，可以以较低的成本实现模型的泛化，同时，扩展了模型的使用场景，降低了部署难度。如图6所示:

图6:概念编辑演示

研究人员让电脑观看《飞鸟集》的视频，然后观看静态的马里奥图片。在这个过程中，模型没有得到任何关于马里奥在管道中运动的信息。然而，通过“概念编辑”，SCS可以在测试中准确预测马里奥的轨迹。

视频理解工具箱

在视频理解工具箱AlphaVideo中，除了上述SCS 空概念分解，研究人员还提供了单阶段端到端训练多目标跟踪模型TubeTK和视频运动检测模型AlphAction。通过一行代码，可以调用各种预先训练好的模型。

阿尔法行动

AlphAction是一个面向行为理解的开源系统，基于MVIG的交互理解和异步培训策略。

图7: tubetk可视化结果

图8:8的示意图:包围管。使用包围盒，您可以轻松跟踪包围盒无法检测到的被遮挡目标(图中的黄色框)。

参考

[1] Kitamura，T .等.内嗅皮质海洋细胞编码特定的情境并驱动特定情境的恐惧记忆。神经元87，1317–1331(2015)。

[2]西蒙扬，k .视频中动作识别的双流卷积网络。《第27届国际神经信息处理系统会议论文集》第568-576页(美国计算机学会，2014)。

[3]https://motchallenge.net/tracker/3184&·克尔=5

[4]费希滕霍弗，范，赫，马利克，j .何，K. (2019)。视频识别的快速网络。美国电气和电子工程师学会国际计算机视觉会议论文集(第6206211页)。

[5]唐，j，夏，j，穆，x，庞，b，& amp陆(2020)。用于动作检测的异步交互聚合。arXiv预印本arXiv: 2004.07485。