【音视频】3A算法

一、分类 + 知识点

  • 噪声抑制(NS):将噪声和人声分成2个频道处理,实现噪声抑制,人声增强。

  1. 学习链接:http://home.eeworld.com.cn/my/space-uid-238800-blogid-32800.html

  2. 直播间关于噪声的问题:2台手机在同一个直播间,靠近会造成嘈杂声音大。属于近距离通话、录音噪声问题。

  3. 解决办法:2个麦克风,分别收集,修改底层算法(使用的是什么算法)

  4. 常见问题:直播房间里的嘉宾声音小的问题,可能是在降低噪音的同时连带人声也一块衰减了

  • 回声抵消(EC):声学回声、线路回声

  1. 学习链接: https://blog.csdn.net/haima1998/article/details/72676702

  2. 声学回声形成原因:扬声器的声音反馈到麦克风引起,接受者房间的的声音空间反射,形成回声重新从麦克风传入,叠加了新的声音(需要在接受者房间应用回音抵消模块)

  3. 线路回声形成原因:物理电子线路的二四线匹配耦合引起的,由于电路存在不匹配的问题,会有一部分信号被反馈回来,形成回音。

  4. 解决办法:在发送时,把不需要的回音从语音流中去掉。通过声音源,进行参数处理,消除

  5. 常见问题:混合的声音是很难分离,声音源与远端参考信号不完全一样,只是相似度高。通过自适应滤波器进行数学处理。

  • 增益控制(GC):未保持接收机当输出端的电压或功率基本保持不变或者恒定

  1. 学习链接: https://blog.csdn.net/wordwarwordwar/article/details/79539098

  2. 原理:

    1. 当输入信号很弱时,接收机的增益大,自动增益电路不起作用
    2. 当输入信号很强时,自动增益电路控制,使接收机当增益减小
  3. AGC电路(算法)工作原理

    1. 响度增益因子的确定
    2. 把响度增益因子映射到等响度曲线上,确定最终各频率的增益权重。
  4. 新一代引擎:原有的线性滤波器和 NLP 上的优化外,还加入了自研的双讲检测和 Noise Injection,进一步的提升了AEC在更多场景下的效果。

二、硬件回声消除

  1. 区别:走系统的回声消除

  2. 特点

    1. 得支持通话模式

    2. 一般手机都支持,系统在设定了固定的距离,效果最好

    3. 不可升级

三、软件回声消除

  1. 走webRTC的回声消除

  2. 特点

    1. webRTC会处理一个最优的距离

    2. webRTC升级迭代,会优化这个回声

    3. 自研可定制

      "audio": {
      "device_input": 2,
      "aec_mode": -1,
      "agc_mode": -1,
      "anc_mode": -1
      },
  1. 效果:一般软件回声消除效果会比硬件回声消除效果好,但跟根据机型特殊情况

 

四、opensl es

定义:嵌入式跨平台免费的音频处理库。简单说麦克风的采集类型

学习地址:https://blog.csdn.net/ywl5320/article/details/78503768

 
上一篇:使用CDN后如何配置Apache使其记录访客真实IP


下一篇:Google Drive档案存取教学《李宏毅2020机器学习深度学习》