爱奇艺、北大、微软联合提出全景视频流媒体系统，提升VR观影体验

最近，爱奇艺与北京大学和微软研究院共同完成了基于人工智能技术的全动态视频流媒体系统EPASS360的论文——“EPASS 360:QoE感知的移动设备上的360度视频流”，该论文被移动计算领域的顶级国际期刊——美国电气电子工程师学会移动计算学报(IEEE Transactions on Mobile Computing，TMC)收录。

< BR >

基于人工智能技术，提出了一种新的全动态视频流媒体系统EPASS360，可有效应用于全动态视频中的工业级业务场景在现有的家庭宽带和WiFi环境下，新的系统解决方案将根据用户的视野预测分配码率，以确保用户在观看全动态视频时能够看到清晰流畅的画面。得益于视频编解码器技术的发展和过去几年在内容制作方面的经验，全动态视频和交互式虚拟现实游戏等项目因其身临其境的视觉体验而吸引了用户的广泛关注。

iQiyi发布了全动态视频在线服务，并独立开发了iQiyi探险虚拟现实一体机、手机虚拟现实盒系列等终端产品，以创造最佳观看效果。

360虚拟现实全动态视频让用户有身临其境的感觉。为了在全动态视频中获得最佳视觉体验，全动态视频需要设置为8K和16K超高清分辨率模式。然而，在当前家庭宽带和无线环境下，高比特率视频流的网络传输仍然是一个巨大的挑战。考虑到在全动态视频播放的过程中，只有视野内的图片才会显示在显示屏上，而其他部分的内容虽然被下载并解码，但用户不会看到。从这个角度来看，全运动视频的编码方案通常采用基于分块的方法。如下图所示，将原始等距柱状投影图编码的图片切割成网格，然后根据用户窗口的位置为每个块分配码率，使得码率集中在窗口内，从而节省带宽，保证视频质量。

因此，全运动视频流媒体系统中用户体验的优化可以转化为预测用户窗口位置、预测用户带宽和根据预测为每个块分配码率三个子问题本文提出的EPASS360是一个基于模式识别和波束搜索的全运动视频流媒体系统具体来说，该系统利用前沿的长短期记忆网络(LSTM)结合平台每天积累的大数据进行精确的用户窗口位置估计和带宽模式识别。然后，根据预测模型给出的预测结果，EPASS360对几个未来的视频剪辑建立用户体验优化模型，并根据求解结果进行速率分配EPASS360采用当前主流的用户体验建模方法，即以四个测量信息作为优化目标，即窗口中的屏幕码率(越高越好)、窗口中相邻块之间的码率差(越小越好)、窗口中固定位置块的码率变化(越小越好)和卡顿持续时间(尽量避免)对于不同的场景或用户偏好，可以相应地调整四个指标的权重与许多传统的战略性流媒体系统不同，EPASS360可以根据不同的用户体验目标进行有针对性的优化，并结合对播放过程的准确识别和预测，使得码率分配更加合理

EPASS360的设计不仅保证了码率分配的有效性，而且满足了流媒体系统的实时性要求。此外，EPASS360最大限度地重用了现有的全运动视频编码方案和传输协议，降低了开发和部署成本在平台上每天收集的数据集和公共学术数据集上的实验表明，与普通的全动态视频流媒体系统相比，EPASS360在各种用户体验目标下无需平铺和划片就能提高图像质量约50%(基于PSNR指数)，与学术界领先的全动态视频流媒体系统相比，EPASS360在用户体验目标的最终得分上至少能提高5%

综上所述，EPASS360为工业全动态视频中的流媒体系统探索了一种解决方案，能够有效解决超高清全动态视频传输中带宽利用率低的问题，以最低的成本为用户实现最佳的观看效果。

纸质链接:https://ieeexplore.ieee.org/document/9024132

本文由 在线网速测试 整理编辑，转载请注明出处，原文链接：https://www.wangsu123.cn/news/1645.html。