目录

1、背景

2、检测

2.1.1. 机器业绩评价

2.2. 两次麦克风和照相机无障碍测试

2.3. 网络安全测试

3、采集

三.1. 麦克风(音响)

三.2. 照相机(录像)

三.3. 屏幕录音

4、处理

4.1、音频

4.1.1、AGC

4.1.2、AEC

4.1.3、ANS

4.1.4、VAD

4.2、视频

4.2.1、剪辑

4.2.2、编辑

二、三、四、二、三、四、二、三 轨道处理

四、四、四、四、四、四、四、四、四、四、四、四、四

4 2 5 过滤器 美人

5、编码

5.1、音频

5.2、视频

6、推流器

7、播放器

8、白板

9、参考

1、背景

视听方法程序规定:基本视听能力应包括下列组成部分:Thruster, 玩家( 包括当前)、 测试、 收集、 处理、 编码、 存储本条概述了视听平台的基本能力。我们有能力制定替代当前方案的其他方案,并更新标准。有些国家的技术能力障碍很高。考虑到大量人力资源投入以及发展周期的延长,为了适应行动需求,我们可以将其他各方的能力结合起来。

2、检测

2.1.1. 机器业绩评价

what

收集设备品牌、模型、处理器、记录和档案管理等等。 机器可以分为高、中、低等级,以便向服务端报告,评分作为评估机器性能的标志。

why

目前,在有物理机械性能试验场的现场直播室展示VR,该试验场达到设备性能的阈值,以便展示和现场直播,但现有的试验程序并不系统,可被视为一个基本能力沉没。

how

客户报告品牌、模型、CPU、记录和档案管理等机器硬件数据以及应用程序。普通场景、IO密集场景和CPU密集场景是三种应用场景。典型的场景CPU,记忆权比率为50%;IO密集系统运行的大多数情况由CPU在等待IO(硬盘/存储器)时读写。CPU负载并不高，因此,在试验时,内存的比例高于CPU。CPU:内存=40%:60%,例如。因此,即使装置核心的CPU数量很大,主要频率也很高。但是,如果IOPS是较小的,结果得分可能不高。用于IO密集活动的不足。CPU密集情景也是以同样的方式构建的。

who

就Android、IOS、Applets、H5、服务端和QA而言,与设备性能有关的数据客户RD比其他方向RD更熟悉,因此客户级领导,包括RD和PM。

2.2. 两次麦克风和照相机无障碍测试

what

对麦克风和相机可用性的视听抓捕检查。 用户是否提供许可? 麦克风和相机是否在使用? 如果使用哪个程序可以识别? 如果情况如此, 如何合理建议用户终止使用麦克风和相机的程序?

why

在音像资料收集之前,需要这一阶段。记录、拍照、录像、刷脸等等有几种录音和录像设想。它应作为一个单独的组成部分增加。另一方面,有一个麦克风屏幕。这是我第一次 能够确定麦克风能否捕捉到有效的声音麦克风没有用这是进入房间听录音的唯一方法进入链接端视频会议,有些应用程序可以探测麦克风、摄像机和扩音器的状况。

how

客户RD根据平台的特征建立了检测软件,目前正在麦克风探测器的Android一侧在线运行,安装了用于测试的TRTC内部能力的照相机和IOS一侧有待决定。

who

客户RD, 客户学生, 包括RD和PM, 带头指控。

2.3. 网络安全测试

what

网络需要进行网络速度研究,以确定目前的环境是否不足。

why

对于现场广播/会议,在进入会议室之前需要进行网上速度调查。如果互联网环境在到达之前不够充分,则禁止进入住所。如果现场广播/会议期间互联网环境差,可以使用UI提醒来强调音频和视频通话的负面影响。现场直播室目前的网络探测能力需要TRTC。可在视听平台上添加基于网络的环境探测组件。

how

先判断网络类型，这是世界历史上第一次。GPRS 3G网络被确认为不足。还进行了不同形式的速度测量。上/下带宽(kbps)、上/下下降率和网络延迟时间(网络请求的跟踪时间)都是网络速度的衡量标准。为综合上述三项衡量标准计算网络质量,作为网络环境的衡量标准。

who

RD 客户端、 小程序、 H5 服务器

3、采集

三.1. 麦克风(音响)

what

收集音频( pcm) 。

why

由于音频收集网站数量庞大,如大类ASR、Bay培训场、IM语音信息和IM语音识别,显然仅仅收集音频和整合TRTC不是可行的解决办法,因此,有必要从实况媒体中单独收集音频。

how

客户 RD 的构建符合平台的功能, 如音频收集、 分贝计算、 存储、 重新取样、 wav 和 pcm 旋转, Android 一侧的录制组件现已在线, 而IOS 的侧面不应( 不重要 ) 。

who

客户端RD。

三.2. 照相机(录像)

what

录制视频(yuv)。

why

虽然本公司尚未承认不同的录像收藏(请提及),但经济/客户的录像和照片场景显然不是一种可以接受的替代方法,不能用来捕捉音响并整合TRTC,因此,广播中心必须具备单独的录像捕捉能力。

how

客户RD是围绕平台的功能建立的,目前不支持在两端独立获取视频。

who

客户端RD。

三.3. 屏幕录音

what

屏幕被录制, 然后实时上传到服务器, 或者本地保存为视频文件 。

why

仍有许多视频时刻即将到来。经纪人需要一个屏幕来显示房屋的来源,并向用户提供贷款信息。必行已经用到。经纪人/客户的场景必须记录在屏幕上。产研中也需要录屏，研发部正在要求能够复制这一问题的经纪人/用户。必须用磁带识别恢复路径,还必须在屏幕上记录质量保证反复出现的问题。

TRTC为目前的站台配备了视频屏幕能力。TRTC业务过重，如果你只想要把它记录下来 并把它纳入 TRTC, 这不是去的方式。TRTC的筛查计划还处于萌芽阶段在整个配对程序中,传讯屏幕存在若干问题。在Android一侧,一个视频模块迄今已建成。监督办侧侧眉也对视频屏幕软件进行了调查。作为现场直播的起点,应使用录像带。

how

客户端 RD 是根据该平台的属性创建的 。

who

驱动器由客户端 RD 领导。

4、处理

4.1、音频

音频处理链路：

what

在编程之前,音频收藏必须事先处理。AGC 调节音频输出的功率 。为了保持输出信号的响亮 保持恒定ASR/TTS假想有助于提高身份识别的准确性。播放音频场景就不需要经常进行水平调整,以改善用户的经验。因此,在现场直播的核心必须提供AGC能力;AEC能够将音频源信号脱钩。唯一能维持近端信号的方法 就是移除一个不相干遥远的信号这不是唯一会发生在我们身上的事情, 但它是唯一会发生在我们身上的事情。强大的信号将模糊周围频率的微弱信号。因此,当电视转播情景时,AEC的参与有限。实际意义不大，就识别准确性而言,ASR/TTS假设也并非非常有用。因此,AEC目前可能被置之不理。目前大多数麦克风阵列包括减少噪音的能力。今后还有可能在软件一级增加减少噪音的功能。目前不是当务之急，可暂不考虑。空格可识别活动音频框架的存在, 并成功关闭它 。可节省流量，基本需求可以通过使用能源瓦达来满足。算法封装较简单，我们可以从建造能量蒸发组件开始就声学模型而言,模型瓦德需要大量的音频数据培训。我们没有条件，AIT 目前已安装了 vad 插件 。可一起共建。

why

进行音频处理,以提高用户经验,减少流量。

how

agc可参考 webrtc 由中 Agc 组件中的适应数字模块进行包装; vad 也可以指 Webrtc 的能量瓦德部分。如果在稍后阶段需要过滤噪音和静音发音,声学模型可能就地部署。

who

客户端RD。

4.1.1、AGC

自动收益控制的主要影响是不能使用。当输入信号的范围极为多样化时,输出信号范围保持恒定 。当输入信号的强度超过某一阈值时,启动压缩功能，减小放大增益，当输入信号降低到特定水平时,产出就会降低。渐渐恢复默认放大增益 。AGC能够确保收到信号的范围不断发生变化。然而,产出信号范围是固定的。换句话说,输出功率是固定的。这使得用户无法经常调整播放的播放水平, 以及用耳机“走私”耳朵。

在从适应数字算法模块封存时,可参考Webrtc组件 agc。

4.1.2、AEC

消除回声自然更像声音源分离,我们预计从混合的近端信号中将消除不想要的遥远信号,将保留到远端的近端信号,以及在Webrtc中提及的其他选择。 实际用途受到限制,建议被置之不理。

4.1.3、ANS

Webrttc中还有其他选择,但并未告知使用这些选择。

4.1.4、VAD

实时音频治疗的VAD情景至关重要。节省流量，基本需求可以通过使用能源瓦达来满足。算法封装较简单，Webrtc 是另一个资源 。我们可以从建造能量蒸发组件开始对于培训而言,模型 vad 需要大量的音频数据。我们没有条件。AIT 目前已安装了 vad 插件 。可一起共建。

4.2、视频

what

视频剪辑有可删除、替换或添加的部分;视频编辑反向、裁剪、增加照片和添加文本;轨道处理提取音频、视频流和替换/添加音轨;格式化转换音频、视频代码格式和集装箱格式。

why

在实际操作中,没有发现任何视频处理序列(例如,请说明),其优先程度较低。

how

如果需要视频处理能力,可提供三种解决办法:TRTC短视接口、FFmpeg和硬码。

who

RD是人工智能研究与发展中心的缩写。

4.2.1、剪辑

FFmpeg或硬拷贝方案、带有可删除、修改或添加部件(录像、照片)的视频分区。

4.2.2、编辑

翻转、裁剪、图象、文字、FFmpeg和硬拷贝计划

二、三、四、二、三、四、二、三 轨道处理

提取音频和视频流、替换/添加轨道、FFmpeg或硬件方法

四、四、四、四、四、四、四、四、四、四、四、四、四

音频和视频编码格式转换; 集装箱格式转换; FFmpeg 方案

4 2 5 过滤器 美人

美貌是对人类面部的治疗,可以成功地加强面部识别和完善的某些方面,包括白化、皮肤研磨、松动、面部重建(皮肤脸部、大眼睛、鼻涕等)等程序。

过滤器更改图像的颜色, 使图像的很多色调能够与相同的颜色合并 。

不支持 MediaCodec+MediaExtrator+MediaMuxer 应用程序 。它没有得到FFmpeg的支持 。图像处理需要使用第三方,如SDK或OpenCV,而图像拍摄则需要使用 OpenGL。

5、编码

what

音频、视频编码，音频pcm ↔aac、opus、speex、mp3，视频 yuv <->h.264、h.265。

why

高度冗余,压缩率提高,交通消耗减少,带宽压力降低,所有这些都保持了声音和质量。

how

Opus 和 Speex 开源音频编码; FFmpeg软或硬视频编码。

who

客户端RD

5.1、音频

音频代码的首要目标是减少交通流量。降低带宽负担，同时的音频和视频序列可能会增加视频带宽。两种开源方案，我不确定我能完成这个任务经典的瑞士军刀如日中天)，可以纳入取样率、音频频道号码、复杂程度等因素。服务端解码参数必须与编码参数匹配。FFmpeg现在支持以下音频编码标准:AAC, opus, speex, mp3, 等等。

5.2、视频

FFmpeg或硬拷贝技术、由FFmpeg支持的当代视频编码标准包括H.264(AVC)、H.265(HEVC)和其他标准。

6、推流器

以下是从音像摄像到推力的程序:

what

编码、 实时推进; 读取要插入的文件 。

why

没有发现任何实际用途(可疑、指针)。

how

Librtmpp 是在 FFmpeg 中被推动, 或者按照特定的网络协议被推动 。

who

RD RD 客户端服务器服务器

7、播放器

以下是从拉拉到玩的程序:

what

音频视频播放器+音频播放器

why

Xiao Bei培训、空壳中介大厅讲课、音频栏、音频和视频播放场景,以及现场直播站的简单音频和视频播放器都是必不可少的。

how

系统、 ijkplayer 和 FFmpeg 的 API

who

客户端RD。

8、白板

what

提供白板,用于涂鸦(绘图图形、刷刷、文字)、橡胶摩擦、装货照片、装载H5、远程数据同步、白板管理(缩放、翻转、添加、删除)、音像播放、背景管理(添加、删除)、白板内容与视频同步

why

计划将取代白板方法,而白板方法的用意是这样做。目前看来,离开董事会是不可能的。地方白板行动(如涂鸦、加载照片、h5、音频和视频播放以及背景)是可能的。然而,TRTC的录音带和白板同时被捕获。白板替换无法与 TRTC 同步 。也不要求有单独的白板。有关如何发挥白板作用的信息不足,因为白板主要用于在线课堂。它必须与音频和视频同时使用。在极少数情况下,白板仅靠自己使用。没有确定任何单一的白板设想方案(请让我走上正确方向)。

how

view绘制

who

客户端RD

9、参考

https://wiki.lianjia.com/pages/viewpage.action?pageId=857587427

https://wiki.lianjia.com/pages/viewpage.action?pageId=1027962931

https://wiki.lianjia.com/pages/viewpage.action?pageId=972096860

https://wiki.lianjia.com/pages/viewpage.action?pageId=857587427

https://zhuanlan.zhihu.com/p/25074613

https://zhuanlan.zhihu.com/p/86751078

https://github.com/orgs/webrtc/repositories

https://www.speex.org/downloads/

https://www.opus-codec.org/

本文由 在线网速测试 整理编辑，转载请注明出处，原文链接：https://www.wangsu123.cn/news/22188.html。