Flash中实现语音变声(下)

Flash中实现语音变声(下) 

http://vivimice.blog.163.com/blog/static/16100120111111428742/

工作 2011-02-11 15:41:25 阅读188 评论12    字号: 订阅

上次我们说到了,语音变声的算法,最简单的就是利用FFT将音频信号变换到频域,然后将频谱向高频方向伸展或者向低频方向收缩即可实现。本文主要关注上述算法在Flash(ActionScript 3)中实现的性能评估以及优化方式。
众所周知,AS3是一种编译为ABC字节码然后运行于AVM2上的语言,具备OO的特性。ABC很简洁,AVM2是一种轻量级的虚拟机,AS3书写起来非常的友好,不过执行的效率并不突出,尤其是FFT这种运算密集型的算法(尽管FFT已经将复杂度从O(n^2)简化到了O(nlogn)了)。
首先考虑直接使用纯AS3实现一个(FFT的实现改写自FFT.java),语音数据直接读取44100Hz/16Bit/Mono的声音文件(PCM格式),可以设置的参数包括了帧长度、帧重叠区长度、频谱伸缩系数。
纯AS实现的效率并不理想,按照每帧2048点,帧重叠1024点(重叠率50%),处理时间大概是输入数据长度的10倍以上,也就是说1秒的音频需要大概需要10秒的时间来进行处理,而且占掉整个FlashPlayer的CPU时间,如果要预留时间给图形渲染线程的话,时间要更长。
首先尝试进行代码的优化,例如减少OO的程度,优化循环,减少重复的计算,精度要求不高的地方使用查表法等等,不过这样的优化只提高了5%左右的效率,而且代码的可读性和可维护性急剧下降。
然后我想到了Adobe的Alchemy项目,这是一个利用gcc/lvvm来将C代码编译为ABC字节码的工具链,虽然我之前对其能提高效率深表怀疑——虽然是C代码,不过这和JNI等机制不同,Alchemy会将C代码编译成中间代码,然后在一个AS实现的自动机上运行,都是在AVM2上执行的,而并不是向JNI一样是本地代码(从某种角度上来说,中间代码的效率应该更低,因为它们相当于是在一个运行在AVM2上的自动机里面运行)。不过事实证明我的理解是对的,但是怀疑是不必要的。
首先去Adobe网站上下载了Alchemy工具链(http://labs.adobe.com/technologies/alchemy/),找了台Debian主机装上,编译成SWC代码是没啥问题,不过在控制台里面死活运行不起来,后来发现Adobe没有提供Linux下的ADL,找了个AIR SDK中的ADL过来,也运行不起来,非得要X。我是在Windows下开发,SSH远程到主机编译运行的,实在不理解控制台的ADL为啥非得要X(后来知道了,得发生错误时用X而不是stderr显示错误堆栈……),没办法,又装了个vncserver。
对了,中间发现了若干诡异的问题,参考了http://savagelook.com/blog/actionscript3/adobe-alchemy以后就解决了。
之前写88代码那么多年,C的基础一点都没有丢掉,手到擒来,实现很快就写好了,首先直接利用控制台和ALSA API直接在主机上调试听效果,保险起见,还用Valgrind查了下内存错误。最后参考了下Alchemy的C API,将它编译成SWC,再在Flash工程中引用。
效率相当不错啊,提高得相当的多。再加上由于是语音信号,采样率可以适当降低到11050Hz,这样信息量也减少到了1/4,这样下来,15秒的数据,在我的机器上,只需要3~4秒就可以处理完成,这还利用了Alchemy的异步调用机制,变调的算法是在另外的线程中执行的,不会影响绘图渲染线程的工作。如果是可以独占的话,效率会更高(不过考虑到用户体验,最后没有采用独占的方式)
不过不知道是我代码的问题还是Alchemy工具链目前不稳定的问题,变声的例程在调用若干次以后,Alchemy生成的自动机会自己挂掉,看起来像是内存访问违例。不过由于被编译过了,根本看不出来是哪里的问题。这个问题过了很久都没有解决,查不到端倪。后来只能够将SWC外面再包一层SWF,然后嵌入的调用方里面。调用方每次调用的时候都用Loader重新加载,使用完了以后都unload+gc掉,这样保证每次调用的时候,自动机(包括所有寄存器的状态和内存等等)都会重新生成并且初始化一次(默认情况下,如果直接引用SWC的话,自动机只会在库init的时候自动初始化一次)
其实我之前对于Alchemy的怀疑是有道理的:Alchemy实际上是利用gcc/lvvm将C代码编译为一种中间代码,然后让这部分代码在Alchemy提供的一个自动机上面跑。这个自动机再在AVM2上面运行,不过由于gcc的优化力量(编译的时候使用-O3参数),使得代码的优化空间被充分利用起来,所以效率反而比纯AS3实现的要高。
同样的逻辑,使用Alchemy工具链实现还是使用纯AS3实现,需要考虑下代码的优化空间。如果是运算密集型,并且有充分的优化空间,可以考虑用Alchemy实现,否之还是纯AS实现效率高。
打个比方,要在屏幕上绘制很多的精灵,这个必然是纯AS的效率高(因为Alchemy也是走AS来调用绘图的API的),一个纯粹的累加循环,那也是纯AS的效率要高,因为纯粹的循环语句翻译成ABC也就区区几行指令,要是再在自动机里面运行就得不偿失了。
至此,整个使用Flash来实现语音变声的过程就已经叙述完毕了。这几篇文章主要讨论了语音变声的基本原理、算法实现和Flash中具体实现的技巧和优化方法。文中难免有很多错误,欢迎大家一起指正和探讨!
上一篇:Beats耳机、机械键盘等五重好礼等你来领! ——《我的Java打怪日记》有奖征文比赛


下一篇:阿里云服务器怎样购买申请