Android OpenSL ES 开发：OpenSL ES利用SoundTouch实现PCM音频的变速和变调

2022-10-24 12:08:49

缘由

OpenSL ES 学习到现在已经知道 OpenSL ES 不仅能播放和录制PCM音频数据，还能改变声音大小、设置左声道或右声道播放、还能变速播放，可谓是播放音频的王者。但是变速有一点不好的就是，虽然播放音频的速度变了，但是相应的音调也随之变了，这样的用户体验就不那么好了。所以就想到了用开源的SoundTouch来实现PCM音频变速和变调，OpenSL ES只是单纯的播放PCM数据就可以了。

实现

1、移植SoundTouch（Android）

下载SoundTouch源码，当前最新是：v2.0.1

在项目jni文件夹中创建include和SoundTouch文件夹，并把下载好的SoundTouch里面的include和SoundTouch的源码拷贝进去就可以了，目录结构如下：

2、用SoundTouch转码PCM源文件

因为SoundTouch默认是float（32bit）格式的数据，这里需要先改成short(16bit）的格式。打开STTypes.h文件，修改如下代码：

再注释掉下面这句，不然编译不通过（for x86模拟器）：

这样SoundTouch里面处理PCM数据就是用的16bit的数据了。

3、SoundTouch使用流程

3.1 添加命名空间，并创建SoundTouch指针变量

using namespace soundtouch;

SoundTouch *soundTouch;

3.2 设置SoundTouch参数

    soundTouch = new SoundTouch();

    soundTouch->setSampleRate();//设置采样率，此处为44100，根据实际情况可变

    soundTouch->setChannels();//声道，此处为立体声

    soundTouch->setPitch();//变调不变速，如0.5、1.0、1.5等

    soundTouch->setTempo();//变速不变调，如0.5、1.0、2.0等

3.3 向SoundTouch中传入获取到的PCM数据，使用：putSamples函数

size = fread(pcm_buffer, ,  * , pcmFile);

soundTouch->putSamples((const SAMPLETYPE *) pcm_buffer, size / );

这里，pcm_buffer是u_int16_t *类型的，也就是说和SoundTouch处理的PCM数据位数是一致的（16bit）,所以可以直接传入SoundTouch中。putSamples的第一个参数就是PCM数据指针，第二个参数是采样点的个数，由于是2声道16bit(2byte)，所以PCM数据的采样点个数为：num = 大小（size）/ (2 * 2)。

3.4 获取SoundTouch输出的PCM数据：使用receiveSamples函数

num = soundTouch->receiveSamples(sd_buffer, size / );

这里，receiveSamples的第一个参数是SoundTouch（变速或变调）处理后的PCM数据存放的内存地址，第二个参数是可能的最大采样个数，可以和putSamples保持一致，其中sd_buffer是SAMPLETYPE * 类型的，记得要提前分配好内存大小，最后返回值就是SoundTouch处理后的PCM里面所包含的采样个数，由于可能有缓存，所以应循环读取receiveSamples，直到返回值为0为止。

3.5 OpenSL ES播放SoundTouch处理后的PCM音频数据

(*pcmBufferQueue)->Enqueue(pcmBufferQueue, sd_buffer, size * );

由于size是采样个数，所以sd_buffer的大小是：size * 2(声道) * 2（16bit==2字节）。

这样，我们听到的声音就是通过SoundTouch转码过后的了，如：变速不变调，变调不变速，变速又变调都可以自己设置。

思维发散

FFmpeg解码得到的PCM数据（uint_8 *）利用SoundTouch转码

这里要处理的就是把uint_8 *(8bit)的数据转换成short(16bit)的数据格式。这里其实就是做bit的位运算，原理如下如：

转换代码如下：

for (int i = ; i < size /  + ; i++)

                {

                    sd_buffer[i] = (pcm_buffer[i * ] | (pcm_buffer[i *  + ] << ));

                }

                soundTouch->putSamples((const SAMPLETYPE *) pcm_buffer, size / );

后续操作和16bit的一样不变。

总结

虽然是简单的移植SoundTouch到Android来播放PCM数据，但是还是让我们了解到了数据在内存中怎么排列的，然后可以怎么操作最小单位的bit来达到我们的要求。

参考资料

OpenSL ES利用SoundTouch实现PCM音频的变速和变调

参考源码

SoundTouch_OpenSL_Android

码农公寓

缘由

实现