★ FEATURED ARTICLE 户外演出的手机录像掌声、风噪、扩声串音全在里头。丢进分离工具人声里混着观众的欢呼于是先降一道噪再分离——人声是安静了可达不到干净齿音发闷句尾的气声整段消失像被人用手捂住嘴。两条路都走过一遍结果都不满意最后往往归因成「这类工具也就这样」。问题多半不在工具在顺序。底层原理两个实数增益串起来为什么不可交换设混合信号的 STFT 为 X(t,f)降噪给出的增益 g(t,f)分离模型给出的掩码 M_k(t,f)。两种顺序写出来是先降噪后分离X_k M_k · (g · X)先分离后降噪X_k g · (M_k · X)乘法满足交换律形式上两者完全相等。这是「顺序无所谓」这句话的来源也是它错的地方——相等的只是已经算出来的那两个增益而这两个增益是分别估出来的不是同一个函数。分离模型的输入分布决定了掩码。训练时喂进去的是混合信号谱形符合「多个声源叠加」的统计规律。先降一道噪送进模型的谱已经被压出一个个空洞噪声底被切平模型看到的是一个它没怎么见过的东西掩码开始在边界上抖。降噪增益本身也不是线性的。以谱减为例一种常见写法是g(t,f) max(0, 1 - α · N̂(t,f) / |X(t,f)|)α 取 2过减用来压音乐噪声时在信噪比 0dB 上下的格子g 落到 0.1 附近等于把该格压掉 20dB。而人声的气声、齿音、句尾衰减恰好长期待在这个能量区间——它们不是噪声但在噪声估计里长得像噪声。这一刀下去模型后来再怎么分也没东西可分。取舍一噪声强时先降噪换来的是信噪比还是干净的假象现场录像、街拍、车内录音噪声以稳态为主空调、发动机、人群底噪。这类素材先降一道噪分离模型确实更容易把人声抓住因为信噪比上去了。代价是降噪对低能量人声成分的杀伤最大。气声、唇齿音、尾音这些恰恰是判断「这是不是真人在唱」的关键线索。压掉之后人声轨听上去平不是脏是没有细节。实践里能接受的做法是轻降噪只压稳态段压量控制在 6dB 以内不追求「听起来没噪声」。留一点底噪比留一个光滑的人声更安全。取舍二先分离再降噪噪声被分配进某条轨反过来做噪声不会消失它会被分配。分离模型对每一格都要给出一个归属这格归人声、归鼓、归其他。噪声格没有正确归属模型只能按训练先验硬分——稳态噪声常被分进其他轨或伴奏非稳态的掌声、咳嗽常跟着人声走。分完之后再降噪问题变成局部问题人声轨里那点掌声降噪器会把它当成人声的一部分保下来或者压出一个短促的咝声伴奏轨里的观众声一压就变成周期性的脉冲。更麻烦的是降噪产生的音乐噪声musical noise孤立谱峰被随机放大听起来像水泡。单轨上出现这种声音几乎没有干净的办法修因为它的谱形和人声高度重叠。取舍三两次时频变换的叠加损伤任何一次降噪和任何一次分离都是一次「分析—处理—合成」。两次串联就是两次窗函数、两次重叠相加。瞬态是最先坏的部分。鼓的起音只有几毫秒第一次处理会把它摊到两三帧上第二次再摊一遍打击感就没了。这种损失在单轨上不明显几条轨一起放立刻听出来整体发软没有原曲那股劲。需要手动控制压量时可以先用AI降噪工具把稳态段单独压一遍拿到一个干净底再上传做分离——这样降噪与分离是两步各自可回退比一次性交给预设更容易调。收尾顺序问题的本质是搞清楚每一步在丢什么信息。降噪丢低能量成分分离丢归属不确定的成分两次变换丢瞬态。知道这三笔账记在哪比反复换工具、反复调参数有效得多。工具能把损失压小压不到零。
阅读完成 · 觉得有帮助？
