所在位置:
首页 >
营销资讯 >
行业动态 > 在一对一直播软件开发过程中,需要用到哪些前处理技术(一)
在一对一直播软件开发过程中,需要用到哪些前处理技术(一)
时间:2022-05-18 05:51:01 | 来源:行业动态
时间:2022-05-18 05:51:01 来源:行业动态
在直播中做好对音视频的前处理,是保证用户基本体验的第一步,因为它牵扯到很多关于美颜和声音的优化问题,用户的感官体验是否达标,跟这个环节有很大联系。那么在一对一直播软件开发过程中,一般需要用到哪些前处理技术呢?
关于直播的前处理总共分为两个大项,一是
音频前处理,一是
视频前处理。而今天,小编就来重点来讲一讲,音频前处理中包含的项目。
音频前处理,含有噪声抑制、回波抵消和增益控制三大块。
一、噪声抑制 有时我们在观看直播时,会听到一些电流音,爆音,滋滋声或者嘟嘟声。其实这种情况主要来源于参数配置、网络波动,甚至是代码层面的原因。以参数配置为例,一旦配置不太匹配,就会导致声音听起来非常诡异,比如:采样率是 32000Hz的音频,如果给播放器配置为8000Hz或者44100Hz,就明显会出现音频慢放或者快放的效果。所以需要注意的是,在采集环节,要给系统的API以及第三方的库配置正确的参数,如:采样率、位宽、声道数等等。
二、回波抵消 回声一般出现在同时有音频的采集和播放的场景,比如:连麦互动、混音返听等等,采集到的音频通过扬声器又播放出来了,同时又被采集了进去,从而产生了回声或者啸叫声。如果要抵消这些影响,就需要通过系统的回声消除API,或者采用第三方回声消除库(如:speexdsp,webrtc等)进行处理。
三、增益控制 当有对语音的响度进行调整时,就需要做针对于语音的自动增益算法处理。处理的方式也比较单一,就是对音频采样加上一个增益因子。但需要注意的一点是,由于人的听觉对所有频率的感知不是线性的,是遵循等响度曲线的,导致这样处理后,听起来感觉有的频率加强了,有的频率削弱了,反而导致语音失真放大。
所以,要让整个频段的频率听起来响度增益都是“相同”的,就必须在响度这个尺度下做增益,而不是在频率域,即按照等响度曲线对语音的频率进行加权,不能采用一个固定的增益因子进行加权。
以上,就是在一对一直播软件开发过程中,需要用到的音频前处理技术,关于视频前处理技术,之后会继续更新,欢迎继续关注。