RTC 系统音视频传输弱网对抗技术

      最后更新:2022-05-13 16:29:17 手机定位技术交流文章

      你好,这是25万加社交、娱乐、全球互联网通信云云Loong Yun, 由海洋开发商首选, 如果你对国有化和合用同一地点解决方案感兴趣, 请将这个数字的注意力 引向“ RongCloud ”, 并更多地了解合用同一地点平台。

      你们今天是刘小红姑娘吗?

      近些年来,最受欢迎的女孩被确定为“李佳琦女孩”和“刘晓红女孩”。现场广播业仍然很冷酷。经过多年发展,现场直播受到越来越多的关注。我不知道我能否完成这个任务, 但我无法做到这一点。而这些场景,所有这些都在很大程度上依赖于实时电视机实时视频技术的进步。

      这场流行病又重新出现,许多人已经重新变换了家园。 人们的“停止”担忧的解决方案是改变生活和在线工作。 除了现场直播、聊天室等娱乐性社交场景之外,还有在线课程、视频会议甚至在线咨询。

      随着我们带来娱乐、可交流性和在线生活等所有要素,RTC实时视听技术正在迅速发展,新的应用和情况定期得到捕捉。

      虽然尖端技术大大扩展了在线版面,但它也面临着越来越多的用户经验需求,这些需求耗时更少,质量更高,更顺畅。

      这三个用户经验的效果要素与实时、清晰和流动性这三个关键指标(即实时、清晰和流动性)有关。

      鱼和熊很少有相同的手。 具有高实时需求的情景可能会失去清晰度以保护低时延误,而具有高分辨率要求的情景可能会在一定延迟的情况下交换高质量视听数据。

      然而,为了实现“两者兼顾”的目标,我们通常需要通过网络传输优化来减少延误、提高清晰度和流动性。 巨大的问题是网络薄弱,这是影响用户体验的主要因素,如拥堵、袋子丢失、长时间摇晃等等。

      解决这些和其他网络损害问题的技术办法是薄弱的网络反技术,这一条概述了RTC系统的音频和视频传输薄弱的网络抵抗技术。

      TCP/IP 运输图层议定书备选方案

      首先,传输层协议的快速运行。

      在TCP/IP分层协议中,传输层协议在应用层之后。通常将其纳入操作系统。TCP和UDP协议也包括在内。TCP是可靠的连接传输协议。数据传输的完整性和秩序得到保证;UDP是一个互不相连和不可靠的传输机制。应用层完全负责数据传输的可靠性。

      在实时音频和视频应用方面,联合民主党协议被普遍接受为理想的替代方案。

      • TCP不用于实时音频和视频应用程序。内部交通拥堵控制和错误控制等技术增加了可靠性和吞吐量的延迟。在网络环境差的情况下,延迟退化更为明显。国际电联标准G.114对延迟规定如下:当端到端的延迟度超过400米时,用户的互动经验将受到重大影响。
      • TCP拥堵控制和错误控制方法被置于操作系统之内,在应用层面没有优化,无法适应不同情景的需求,而且过于僵硬。
      • 与TCP相比,UDP协议成本较低,传输控制方法在应用层面得到了充分实施和灵活。

      因此,这项工作后续行动中提到的薄弱的网络挑战和技术是以联合民主党议定书和RTP/RTCP议定书为基础的,这些议定书贯穿于联合民主党,在视听领域得到广泛利用。

      弱者及其反情报战术的首要问题

      用于视听传输的网络薄弱问题实质上是指网络环境困难,主要在网络拥堵、网络辍学、摇晃等等方面,妨碍了视听通信用户的经验。

      这些问题是实时视听质量差的主要原因,卡登。由于网络环境的复杂性和犹豫不决上述安全问题的严重性因环境不同而大不相同。如何使用户在复杂的在线环境中能够畅通无阻地沟通,如何确保用户能够相互沟通。它在RTC社区受到了很多关注。

      拥塞问题

      当网络中的数据流超过网络瓶颈的能力时,就会出现拥堵。

      拥堵的直接影响是迅速下沉或摇晃,如果不及时预见到拥堵,所提供数据的数量没有及时减少,卡登、延迟、油漆质量差等问题将在接收端出现。

      解决拥堵问题的主要目标是通过发展拥堵控制算法,尽快查明网络拥堵问题,并尽快恢复这一算法,以尽量减少对用户经验的影响。

      需要考虑冷凝控制算法。

      RFC8836对实时交互式视频应用程序标题控制算法的必要性进行了更透彻的讨论,可描述如下:

      • 延迟: 冷凝控制技术应该减少延迟, 特别是当算法引入时。 与此同时, 必须提供可用的带宽水平 。
      • 抛售率:在适当情况下,抛售率应尽可能高。
      • 公平性:选区控制方法应能以公平的方式与其他实时和TCP流动分享链带带宽。
      • 防止“饥饿死亡”:媒体流不应与TCP流“停止”竞争,
      • 趋同速度:尽可能快地稳定整个媒体流的启动阶段。
      • 分类不应要求任何特定的网络识别支持。
      • 稳定:随着媒体流动的变化,例如临时传输中断,算法应保持稳定。
      • 分数应能够迅速适应网络环境的变化,例如瓶颈带宽变化、链层延迟变化等等。

      考虑到上述要求,由选区控制算法解决的困难可分为两类:如何迅速和正确地执行网络选区识别,如何采取适当的宪法应对措施,以尽可能迅速缓解上述要求,减少拥挤和从拥挤中恢复过来,选区控制算法解决的困难可分为两类:如何迅速和准确地执行网络选区识别,如何采取适当的宪法应对措施,以尽可能迅速减少拥挤和从拥挤中恢复过来。

      拥塞探测算法

      根据观测数据的差异,浓缩探测技术可分为两类:

      降压套件方法(基于输水):通过丢弃套件确定网络拥堵。

      以延迟为基础的或以延迟为基础的网络拥堵取决于对拖延的衡量。

      延时算法是实时视频互动应用程序的优选办法,主要原因是延迟算法早期发现网络拥堵,防止因拥堵造成包件损失。

      此外,基于包件的算法更倾向于增加带宽分布,以识别链容量直到下降发生。 这种方法将导致网络队列的不可预测扩张,特别是当网络节点缓冲区更大,甚至第二阶段增长时。

      选择基于延迟的算法的目的是避免在需求摘要中出现“饥饿死亡 ” 。基于时间的算法对延迟增长非常敏感,并且实施了适当的解决方案,以相对公平地分配网络带宽资源,同时在选择基于延迟的算法方面损失了算法资源,这样可以合理地避免在需求摘要中出现“饥饿死亡 ” 。 基于时间的算法对延迟增长非常敏感,并且实施了适当的解决方案,以相对公平地分配网络带宽资源,同时分配失去的网络资源。

      通常使用基于时间的方法来判断拥挤情况,这种方法可以测量RRT(往返时间前后的延误)或OWD(单程延迟单程延误)。

      虽然由于对双向延误的全面衡量,难民审查小组的测量更加直观,但逆向延误的变化可能与媒体流动方向的网络拥堵评估相冲突。

      (单向延时变化)

      通过分析传输和接收之间的间隔差异,妇女地位及权利办公室确定了网络排队延误的状况。

      拥塞应对措施

      简而言之,为了管理媒体发送者终端的总交付率,交通拥堵反应根据目前的网络拥堵情况计算出适当的发送率。发送者在网上的其他不良应对办法如下:潜在速度对账包括音频视频编码器费率对账、转播率对账、公平竞争委员会冗余调节等。详见本文后续介绍。如果发件人是一个转发节点中间点,他们还采用SVC代码流量匹配、体积流量匹配和其他技术。如下图所示:

      (SVC 溪流分散图)

      典型拥塞控制框架

      以下图表描述了通常的凝析控制算法框架:

      (图1)WebRTC 选区控制结构

      这是谷歌在早期WebRTC框架中使用的人群控制框架。 发送者和接收者采用混合控制模式,发送者采用基于下降的算法,核心方法如下:

      • 丢包率<2%,增加发送带宽 8%;
      • 下降率为2%-10%,而分配带宽保持不变。
      • 丢包率>10%,降低发送带宽(1-0.5*丢包率)。

      接收端使用基于时间的算法。单向延迟和卡尔曼过滤器用来估计目前的传输延迟。此外,可以根据目前实际接收带宽的情况确定适当的目标带宽。RTCP 信息反馈给发件人发送者选择两种算法产出中最低的一个作为最终目标带宽。

      WebRTC强化的拥堵控制系统在下图中作了描述。

      第二届WebRTC 选区控制结构

      完全的拥堵管理方法可以在发货人后方实施,而发货人仅就相应的衡量标准提供反馈。

      新的框架通过对单路延迟变化数据进行线性回归分析,分析当前网络延迟趋势,即确定延迟是否在上升、保持稳定或三种趋势在下降,结合目前的交付率提出适当的目标带宽估计数,从而增强网络延迟估计技术。

      除了加强拥堵检测算法外,新框架还增加了主动带宽检测方法,简化了总体拥堵管理算法的性能,在启动阶段吸收速度和网络环境变化反应方面大幅提高。

      丢包问题

      如前所述,实时交互式媒体传输以RTP/UDP协议为基础,在申请一级处理包件处理。

      用于网络传输(即频道一侧)的防丢弃装置的技术机制主要包括再传输(ARQ)和前方错误纠正(FEC)。根据数据和程序员的不同,源代码还提供各种特殊的反干扰包件特征。例如,在视频编码中使用B框架,以减轻缺失包包的影响。以下是对与网络传输有关的防丢弃套件技术的解释。

      丢包重传(ARQ)

      RTTP/RTCP协议中的回溯办法只是,接收端根据包件序列号的连续性选择是否丢弃包件,办法是将RRTCP中的NACK请求发送给源头,并要求源头重复指定的数据包。

      (丢包重传流程)

      在整个重新传送过程中必须考虑以下细节:

      • 第一项请求被推迟:是否应立即要求缺漏的软件包,例如,与FEC方法有关,还是与其他战略结合考虑。
      • 考虑重复请求间隔:同一数据包重复请求的次数多于目前的难民审查小组。
      • 请求限制: 与当前 RRT 的最大延迟和容忍合并计算。 NAME OF TRANSLATORS NAME OF TRANSLATORS NAME OF TRANSLATORS
      • 发件人端的再传输带宽限制:再传输带宽包括在总传输带宽中,不能超过整个带宽限制。
      • 重新发送套件返回机制:提议另外建立一个RTP流,以方便计算下降率统计数字和重新传送带宽。

      前向纠错(FEC)

      在实时音频和视频应用程序中的反丢弃软件包中,通常使用前方错误校正算法,因为前方错误校正算法具有很强的实时功能。

      FEC的基本想法是,除了提供视听数据包外,发送者还发送了固定数量的多余数据包,以便在接收端进行处置回收,视确切的下降情况而定。

      (FEC程序,D代表数据包,C代表修理包)

      目前有几种方法、基于矩阵的算法和其他技术现在经常用于恢复数据包,这里没有深入讨论这些方法、算法和其他技术。

      以下是FEC实时音频和视频系统基本应用结构的概要,发送终端应用框架如下图所示:

      (FEC投标框架)

      数据模块应用程序在以上图像中被描述为ADU。这是视听RTC系统中的视听数据捆绑。将以下内容作为源块放入 FEC 编码器中 :根据规定的修理比率,FEC编码器生成FEC修理包(修理有效载荷)。修理包和源包连同其保护关系交付给接受者。

      以下图表说明了接受方的FEC治疗框架:

      (FEC 接收-终端结构)

      如果源软件包丢失,解码装置将根据包件的保护关系和收到的包件的状况进行编码,最后,已修理的视听软件包将转交更高一级进一步处理,并完成音频视频解码和显示。

      简而言之,上述修理包与源包之间的联系是,修理包包括哪些源包,由发送者通过特定包件格式向接收端报告。

      RTP/RTCP协议的ULPFEC(RFC 5109)和FlexFEC(RFC 8627)的要求规定了两种不同的技术和一揽子形式:

      ULPFEC:ULP(平等保护、不平等保护)根据包件的相关性采用若干程度的保护。

      FlexFEC:灵活前进错误校正,它为RTP框架相互交织和非交织章鱼对 FEC 编码器包进行校验提供了格式。

      AARQ 与FEC合作

      与FEC相比,ARQ有增加延迟和增加带宽利用率的优势的问题,反滴包的最佳目标通常是获得足够的保护,同时尽量少增加带宽和开支,但需有延误。

      因此,在考虑 AARQ 与FEC合作策略时应考虑以下原则:

      • 在受延迟限制的情况下尽可能利用年度报告调查表,根据目前的审查审查庭和最大延迟限度计算最大再传送次数。
      • 如果最大重传次数可以将丢包率降低到一定程度以下(<%1),则不必开启 FEC 保护;
      • 如果FEC要开放,那么对FEC的保护水平将通过将ARCQ修理后剩余投放包的可能性乘以投放包的数量来估计。

      下图描述了在特定环境下金融竞争管理委员会和年度报告调查表的协调情况。RRT需要20米时间如果传输延迟必须少于100米,在30%的错误的网络链接上,年度报告调查表有可能将下降率降低到不到1%。ARCQ将负责修理卸载的货物。

      当拖船运输增加时,FEC的保护份额增加,FEC最终要对袋处理负责。

      (采用FEC方法的ARQ)

      抖动问题

      总而言之,摇晃的问题是网络传输延迟的问题,摇晃越多,网络传输延迟时间越大,摇晃问题就是网络传输延迟的问题,摇晃越多,网络传输延迟时间就越大。

      摇晃困难可能对视听通信经验产生重大影响,如结束卡登、快速转发等。 摇晃问题的根源很多,包括新流动导致网络资源竞争加剧、源材料本身分配不均以及其他基于网络的因素。

      目前处理摇晃的典型方法是在接收端(吉特布弗)建立一个缓冲区,以消除摇晃,其逻辑如下:

      (抖动缓冲原理)

      为了统一运作,接收端通过提高震动延迟来吸收不平等的延迟(JutterDelay)。

      其中,计算摇晃延迟对于摇晃缓冲地带的运行至关重要,过度摇晃延迟造成额外延迟,在实时互动应用程序领域严格避免了这种情况;这种延迟太小,无法吸收所有摇晃。

      Google在其WebRTC框架中采用了两种方法,以直方图的形式估计震动延迟,在音频震动过程中有一个遗忘因素,如下图所示:

      (NetEQ 电震延迟统计)

      WebRTC估计其内部NetEQ模块的音频振动延迟,图中的Iat表示,差距接近时间,WebRTC使用直方图计算音频包之间的间隔,需要95个分数延迟,因为音频振动延迟估计其内部NetEQ模块的音频振动延迟,图中的Iat表示,差距接近时间,WebRTC使用直方图计算音频包之间的间隔,需要95个分数延迟作为音频振动延迟。

      为了跟踪延时变化,在NetEQ中,用遗忘系数从直方图中删除先前的数据。当然,NetEQ提供用于创造一个良好环境的音频QOS安全技术。处理音频振动涉及若干不同的技术。类似于峰顶振动测试 变声器等等这里不再详述。

      在视频摇动方面,WebRTC使用不同于音频的方法,使用Kalman过滤器,通过探测和计算实际框架大小和延迟变化数据,动态地采用最佳摇动时间估计。

      然而,WebRTC主要是为一对一的实时通信应用而建立的,在多种情况下,如电视会议,音频和视频流往往通过流媒体过境服务传递,实际测量可能会增加算法对多节再传输场景全链震动延迟的影响。

      网络容易受到技术优化方法的影响。

      融云的优化措施

      • 除了对单程统计延迟变化进行压缩趋势评估外,还进一步分析下降模式,以加强带宽估计数。
      • 就反滴包而言,采用了高修价的FEC代码,同时加强了基于FlexFEC结构的反滴包能力。
      • 以尽可能低的成本最大限度地将ARQ和FEC技术组合起来,以打击袋的下降。
      • 在反离婚领域,采用更适应性更强的方法来进行时间延误估计,目的是提高流动性,同时减少延迟。

      部分结果

      在目前的高处理包件环境下,下图描述了微弱的网络抗药性测试的结果。

      高丢牌软件包测试结果

      Android 和 iOS 移动终端测试的结果仍可能在60%或70%的高抛牌包中达到4点的流动性。

      由于网络的复杂性、异构主义和景观需求的多样性、实时视听传输方法和薄弱的网络对峙策略,在专门薄弱网络优化过程中充满了替代办法、平衡和权衡,以在线学习和改进学习为基础的新技术概念也开始在这一领域进行测试。

      我们还将调查继续设法改善实时视听融云的实时视听技术产品总体用户经验的做法。

      本文由 在线网速测试 整理编辑,转载请注明出处,原文链接:https://www.wangsu123.cn/news/24721.html

          热门文章

          文章分类