Android智能手机上的音频浅析

手机可以说是现在人日常生活中最离不开的电子设备了。它自诞生以来,从模拟的发展到数字的,从1G发展到目前的4G以及不久将来的5G,从最初的只有唯一的功能(打电话)发展到目前的全功能,从功能机(feature phone)发展到智能机(smart phone),可谓变化巨大。对于手机上的音频来说,刚开始只有语音通信功能,现在不仅语音通信,还可以听音乐、录音、智能语音(语音输入/语音交互)等。智能手机中的音频场景众多,可以说是手机多媒体系统中最复杂的子系统了。今天我们就谈谈Android智能手机上的音频。

先从硬件谈起吧。下图是android智能手机中目前主流的跟音频相关的硬件框图。

Android智能手机上的音频浅析

上图中AP是应用处理器(application processor),现在用的最多的是ARM的处理器,在上面主要运行的是操作系统(OS,例如android)和应用程序。CP是通信处理器(communication processor),也叫基带处理器(baseband processor,BP)或者modem,上面主要处理跟通信相关的,比如手机信号好不好就跟它相关。Audio DSP,顾名思义,就是一个处理音频的DSP。我在刚做手机的时候就很纳闷现在AP处理器频率那么高,音频处理(尤其是语音)CPU load 不高,AP上完全可以处理,为啥还要额外加一个音频DSP处理音频呢,这不是增加了成本吗?随着做的深入,知道了这主要是出于功耗的考虑。功耗是手机上的一个重要指标,也是过认证的必选项,它决定了手机的续航能力。在手机电池技术没有获得突破的现在,要想续航能力强,就得降功耗。音频中的打电话和听音乐是手机上的最主要功能之一,必须在这两种场景下降功耗。怎么降呢?就是加一块专门处理音频的DSP,在打电话和听音乐时让AP在绝大多数时间都出于sleep状态,这样功耗就降下来了。 AP、CP和audio DSP之间通过IPC(inter-processor communication)通信,交互控制消息和音频数据。通常AP、CP和audio DSP(当然还包括其他功能的处理器)集成在一个芯片内,形成一个SOC(system on chip,片上系统)。此外有一个主要用于音频采集和播放的硬件codec芯片,它受AP控制(使能以及选择不同音频路径等,主要是配置寄存器),与audio DSP通过I2S总线交换音频数据。连着硬件codec的是各种外设,有MIC(现在主流的是双MIC方案)、earpiece(听筒)、speaker(扬声器)、有线耳机(有三段式四段式两种,三段式没有MIC功能,四段式有)等。但是蓝牙耳机比较特殊,它是直接通过I2S总线与audio DSP连接的,主要是因为音频的采集和播放在蓝牙芯片里都有了。当用蓝牙耳机听音乐时,音频码流在AP上解码成PCM数据用A2DP协议经过UART直接送给蓝牙耳机播放,而不是经过audio DSP通过IIS总线送给蓝牙耳机播放。

再来看软件。音频相关的软件在三个处理器(AP/CP/audio DSP)上都有,先看AP上的音频软件。本文讲的是Android智能手机上的音频,运行的当然就是Android系统了,Android系统就运行在AP上。Android里有multimedia framework,audio是其中的一部分,AP上audio部分的软件框图如下:

Android智能手机上的音频浅析

Android音频软件分不同的层,主要有kernel/user/Framework/JNI/Java。从底层kernel向上讲吧。Android的核用的是Linux的。Linux上音频相关的子系统叫ALSA,包括kernel space和user space两部分。Kernel space里是音频驱动,user space里主要是提供API给应用程序调用。Android的音频驱动跟Linux是一样的,在user space里对ALSA进行了裁剪形成了tinyalsa。关于这些我在前面的文章( 音频的采集和播放)里简单描述过,有兴趣可以去看看。同时user space里还有音频软件编解码的各种库,包括音乐的(MP3/AAC等)和语音的(AMR-NB/AMR-WB等)。再向上就是Framework,里面模块众多,主要有NuPlayer/stageFright Record/openMAX/AudioFlinger等,网上讲audio Framework的文章太多了,这里就不细讲了。Auido HAL(Hardware Adapter Layer,硬件适配层)也在这一层。Framework上层是JNI(Java Native Interface),提供接口供Java调用,提供的接口主要有MediaRecorder/MediaPlayer/AudioTrack/AudioRecorder。最上层是Java层,也就是各种带有音频功能的APP(调用提供的API)了。

再看audio DSP上的音频软件。下图是audio的软件框图:

Android智能手机上的音频浅析

从上图看出,模块主要有codec(MP3/AAC/AMR/EVS等)、前处理(AGC/ANS/AGC等)、后处理(EQ/AGC/ANS 等)、重采样(SRC)、混音(MIX)、从DMA获取采集到的音频数据(CAPTURE)、将音频数据送给DMA后播放(PLAY)等,当然还有接收和发送给其他处理器的音频数据处理等,AP和CP都要与audio DSP交互语音数据。

最后看CP上的音频软件,它上面处理的就是跟语音通信相关的。2/3G跟4G完全处理完全不一样(2/3G是CS call,会有专用的信道处理语音。4G是一个纯IP的网络,是PS call),会有两套处理机制。我没做过CP上的音频处理(我主要做audio DSP上的音频处理,偶尔做些AP上的音频处理),对2/3G下的语音处理不熟悉,对4G下的语音处理了解。下图是4G下的音频软件处理框图:

Android智能手机上的音频浅析

主要分两大部分,IMS stub,处理IMS(IP Multimedia Subsystem, IP多媒体子系统)中的语音数据相关的(IMS 控制协议相关的在AP中处理)。Audio,对IMS中语音数据的pack/unpack以及与audio DSP的交互等。

智能手机中音频场景众多,有些场景中三个处理器中的音频软件都会涉及,比如打电话,AP上主要是处理一些控制上的逻辑,CP和audio DSP上不仅有控制逻辑,还有语音数据的处理,上行是先从MIC采集到语音经Audio DSP处理后变成码流发给CP,CP处理后经过空口发到网络上,下行是CP从空口拿语音码流,处理后发给audio DSP,audio DSP再解码后发给codec芯片直到外设播放出来。有些场景只涉及部分处理器中的音频软件,比如在播放音乐时CP上的音频软件就不会涉及,在用APP播放音乐时,是音乐从AP上传到audio DSP上,经过相关处理后通过外设播放出来。在下一篇文章中我会详细的描述在各种音频场景中音频数据的流向。

上一篇:背包九讲 && 题目


下一篇:搭建高可用的rabbitmq集群 + Mirror Queue + 使用C#驱动连接