手机k歌时人声与伴奏比例,全民k歌人声对齐怎么设置( 三 )

5、混音对齐要义

文章插图

混音对齐延迟再细分成4个场景，录放的首帧延迟，演唱中断偏移，效果去处理延迟和歌手演唱误差。歌手演唱误差很好理解，属于自身唱得就不准。录放首帧延迟是指录音文件第一帧时间与伴奏的时间相比较，如果二者在现实中不一致的话，就会产生播放首帧延迟。效果器处理延迟，是指我们在做信号处理的时候，可能会存在一些算法导致的延迟，此外还有一些计算性能导致的延迟。演唱中断偏移则是由一个特殊的功能导致的，是指我们在用手机APP唱歌的时候，是有可能暂停的，比如来个电话、回个微信或者录了一句不满意反复录播，暂停以后继续切回来。这个时候，如果本身就存在录放延迟的话，那么中断一次就会导致再产生一个新的录放首帧延迟，这个延迟累计起来就会是一个比较严重的问题了。有可能前面还是在可控制范围之内，到后面延迟越来越大，就无可奈何了。

文章插图

那么我们怎么去解决这四类问题呢？分析一下造成首帧延迟的原因，一般设备初始化IO调用的时候会产生延迟，最直接的解决方法就是把音频的录音设备和放音设备相关初始化提前到我们真正开始写文件和开始播放的时候。首帧延迟问题不光存在安卓和IOS里，小程序中的这个问题更严重。如果没有将初始化的时间提前到足够量的话，那么最终混音出来的伴奏和人声的时间差可能达到1~2秒的级别。第二个是减少系统开销，系统开销主要是会造成播放首帧延迟的抖动，形成不稳定的延迟量。而如果是在稳定延迟量的情况下，我们可以通过做一些白名单的方式去解决。现在国产的一些旗舰机，它们的录放首帧延迟基本都是稳定的，甚至有些可以满足30毫秒之内的要求。但也有不少低端机型的延迟量比较大，能够到100~200毫秒。除此之外，现在安卓手机的KTV APP里，都会保留着一个slide bar来进行人肉对齐。

文章插图

效果器延迟的问题就比较好解决，因为混音对齐是后处理，不受计算性能的影响，我们只要保证它不丢帧，因为每一帧的人声都会对应到每一帧内伴奏上面，所以它的混音对齐不管是计算性能好，还是计算性能差，都一定是从第一帧开始对齐，到最后一帧还是对齐的。我们需要考虑的是，算法延迟量是什么样的，如果算法的延迟量是一个比较稳定且理论上可以计算的话，这件事情就比较简单了。我们最终把人声和伴奏混在一起的时候，把延迟量再找回来就好了。还有一些效果器，可能是不稳定的偏移，只能从算法上做优化，比如说刚才我讲的实时反馈的延迟量，也是可以通过这种方式来解决的，我们在湿声和干声上进行单独的处理。还有一些效果器本身就是一个不稳定偏移量，没有办法做一路湿声，那么我们就只能从算法上尽量把它减小。