★ FEATURED ARTICLE 录制屏幕这种事很多人把精力全压在画面编码上音频往往抱着“能出声就行”的心态。但真正做过几轮录屏项目之后你会发现音频链路上最麻烦的往往不是降噪也不是音量均衡而是采样率、声道和样本格式这些“看不见”的参数。这篇是FFmpeg录屏系列的第11篇聚焦一个非常具体的环节用aresample对PCM音频做重采样。我会从原理讲到命令再把我实际录屏时踩过的坑摊开来说。1. 录屏工程里重采样从来不是“可选项”1.1 采样率不一致是录屏音轨的常态录屏和单纯转码一个音频文件不太一样。录屏时至少会拉两路音频一路是系统正在播放的声音比如后台音乐、视频通话、系统提示音另一路是麦克风采集到的声音。这两路的源头参数几乎不可能天然一致。系统声卡驱动常见的输出采样率是48kHz但不少播放器和虚拟音频设备会固定输出44.1kHz。麦克风那边就更乱了USB声卡可能给你44.1kHz板载声卡的麦克风阵列可能是16kHz某些会议耳麦甚至只有8kHz。当这些不同采样率的声音要一起写进同一个MP4或MKV文件时容器只允许音频轨拥有一个采样率AAC编码器也只支持固定的几档采样率8000、11025、16000、22050、24000、32000、44100、48000不重采样根本走不到封装那一步。有人说“我不写任何滤镜ffmpeg也会自动处理”。没错编码器前会偷偷插入一个默认的重采样器把格式兜住但问题是你完全不知道它兜成了什么样可能是单声道可能用了奇怪的低质量插值可能在多路混流时产生了时间漂移。录屏不是一次性的临时操作我要的是稳定可控的输出规格所以必须显式加aresample把每一路PCM都规整到同一个基准上。1.2 重采样到底改了什么采样率、声道和样本格式重采样不是一个单一维度的操作。在FFmpeg的滤镜图里一段PCM音频至少有三个属性会被重采样影响采样率、声道布局、样本格式。采样率很好理解就是每秒钟对声音采样的次数。44100Hz是CD的标准48000Hz是视频工作流里最常见的规格。真正值得理解的是重采样这件事本身它不是在原有样本里“每隔几个抽一个”或者“原地复制”。正确的重采样是先根据已有离散样本重建出一条连续的波形再按新的时间网格重新取点。简单抽点会让高频信息大量丢失产生类似图片直接缩小后的锯齿感。声道布局指mono、stereo、5.1这类排列。把单声道转成双声道不是简单复制一份还要考虑左右声道的映射关系把立体声折叠成单声道时也不是随便扔掉一个声道默认会对左右声道做混音处理这背后的矩阵系数由重采样器控制。样本格式这里特指每一样本的编码方式常见的有s1616位有符号整数、s32、flt32位浮点、dbl64位双精度。录屏设备采到的麦克风数据通常是s16这种整数格式但在滤镜图里做音量调整、混音、滤波时浮点格式能保留更多动态余量不会因为中间计算的舍入误差而让声音发干。一套典型流程是输入s16 → 滤镜内部转为flt处理 → 交给编码器时再转回合适的格式。过早转回整数后面再做处理就又得转一次浮点一来一回损失的全是细节。1.3 什么情况应该显式加aresample不是所有录屏命令都必须手写aresample但下面这几类场景不加它基本等于凭运气做事。第一多路音频混成一路。用amix或amerge之前各路输入最好先各自重采样到完全相同的采样率、声道布局、样本格式。amix内部虽然也会自动做格式适配但它的转换逻辑不透明而且它默认以第一路输入的格式为基准如果你第一路是16kHz语音最后混出来的整体音质会很奇怪。第二输出平台有硬性采样率要求。直播推流到某些服务端时音频规格通常规定为48kHz AAC。录屏存盘虽然没有硬性要求但如果你后期要交给剪辑软件统一处理提前重采样到48kHz能省掉很多麻烦。第三长时间录制出现音画不同步。时钟漂移会让音频样本数相对视频帧数发生偏移这时候在音频链路上加aresample配合async参数可以主动插入或删减样本把漂移拉回来。第四滤镜链里有些滤镜对输入格式有要求。比如loudnorm、atempo这类滤镜在特定采样率下效果更好或者你希望先降采样再处理以减少不必要的计算量。这些情况下aresample就不是可选项而是必需的建链工具。2. aresample的工作原理与参数拆解2.1 滤镜图里的PCM是从哪到哪先理清一个基础概念FFmpeg解码器输出的是AVFrame音频AVFrame里面装的是未压缩的PCM样本数据。如果你不写任何滤镜这个PCM会一路送到编码器前由libswresample库自动完成格式转换。你一旦进入filter_complex滤镜图里流动的就是这些PCM样本。aresample这个滤镜本质上是libswresample库在滤镜图里的一个封装层。它的输入是一段PCM数据比如s16、44100Hz、stereo输出是另一段PCM数据比如flt、48000Hz、stereo。中间发生的变化包括按新采样率重新插值、按新声道布局重新映射、按新样本格式重新量化。在滤镜图里你可以把它理解成“规格转换关卡”数据流走到这个关卡就被强制改成你要求的格式继续往下走。这里有个容易混淆的点很多人以为重采样只发生在滤镜末尾。实际上你可以在滤镜图任意位置插入多个aresample。比如输入源是44.1kHz的麦克风你可以在混音之前单独把它转成48kHz混完音之后如果还需要调整时间基准可以再挂一个带async参数的aresample。多次重采样当然会引入更多插值误差但音频重采样对现代CPU来说开销很小设计得合理的话完全可以多关卡使用。2.2 核心参数逐个过一遍哪些配置值得固定下来aresample的参数不多但每个都有实际用途。下表是我在录屏场景里总结的常用配置参数默认行为作用我的使用建议sample_rate / ar保持输入采样率设置输出采样率录屏统一用48000sample_fmt / af保持输入样本格式设置输出样本格式混音和滤波前用fltchannel_layout / cl保持输入声道布局设置输出声道布局混音前统一stereoasync按输入PTS推进补偿时钟漂移本地录屏用0直播推流用1first_pts从0开始设定输出起始时间戳多机位或多音轨对齐时用resamplerswr选择重采样算法对音乐素材用soxrdither_method默认三角波抖动控制量化噪声整形保持默认即可sample_rate不用说写aresample48000就是最简单的用法。sample_fmt要强调一下我见过有人不管什么情况都写s16理由是“CD都是16bit”。但就像前面说的滤镜链里一旦有音量、压缩、混响这类处理浮点格式能给你更多余量。所以我的习惯是在滤镜链前段就统一转成flt让所有处理在浮点域完成最后交给编码器自行决定量化深度。channel_layout在录屏里最大的用处是统一声道。麦克风可能是mono系统声音可能是stereo混音之前不统一amix会对不上。统一成stereo的另一个好处是如果后期要在视频平台上发布立体声轨道兼容性最好单声道轨道在很多播放器里会被强制放大音量体验很差。async参数我单独说。它解决的是时间漂移问题重采样后样本数会变化如果输入时钟和输出时钟不完全一致长时间录制后音频尾部会与视频脱节。async1会在样本流迟滞时主动插入样本在超前时丢弃样本。但主动插入的样本是前后帧插值出来的听感上偶尔会有一点点“呲啦”声。本地录屏存盘我一般用async0稳定声卡的漂移完全可以接受直播推流为了保持实时性我会用async1。2.3 重采样质量swr、soxr和dither怎么选aresample背后默认用libswresample内部是带通滤波加sinc插值的方案滤波器阶数和窗函数都可以通过参数调整。默认参数下它的质量对于语音、播客、普通录屏已经足够。但如果你录的是音乐、乐器演奏或者后续要拿音频做频谱分析建议换成soxr重采样器写法是aresampleresamplersoxr。soxr是专门做高质量重采样的库它的阻带衰减和通带波纹控制得更好在44.1kHz转48kHz这种非整数倍转换时高频细节保留得更完整。代价是CPU占用比默认swr高一些但对录屏来说音频重采样这点开销和视频编码相比根本不值一提。我做过一个简单验证用1kHz正弦波分别用两种算法重采样到48kHz再拉频谱看soxr的旁瓣明显更低听感上更“干净”。不过绝大多数观众不会在意这种区别所以对普通课程录屏我用默认swr对音乐素材我用soxr。再讲dither。当浮点样本转成16位整数时量化误差会产生一种细微的“数字噪声”。抖动dither就是主动加入极低电平的随机噪声把量化误差打散成更宽频带的微弱噪声让低电平声音听起来更自然。FFmpeg默认会对缩位转换做三角波抖动正常听感下已经足够。你需要记住的是不要在滤镜链中间就做缩位转换保持浮点处理到最后一步否则每一次缩位都会引入一次不必要的噪声整形。3. 把aresample装进录屏命令从分析到落地的完整链路3.1 动手前先用ffprobe把输入音频看透我每次开始一个新的录屏项目前会花半分钟先把所有输入源的声音参数摸清楚。对一个已经存在的文件命令是这样ffprobe -v error -select_streams a:0 \ -show_entries streamsample_rate,channels,channel_layout,sample_fmt \ -of defaultnoprint_wrappers1 input.mp4输出会直接告诉你这段音频的采样率、声道数、声道布局和样本格式。如果是采集设备也可以直接对设备做检测。Windows下类似这样ffprobe -v error -f dshow -i audio麦克风设备名Linux下把-f dshow换成-f pulse -i defaultmacOS下换成-f avfoundation参数结构一样。这一步的意义在于你只有知道源是什么格式才能决定要不要重采样、重采样到什么规格。我遇到太多人直接照抄网上命令输出文件打不开或者没有声音最后发现是设备名写错或者源格式本身就不支持根本不是重采样的问题。3.2 接入filter_complex的三种典型写法第一种单路音频标准化。如果你只是想把一个录制好的文件转成48kHz立体声再重新编码成AAC命令非常短ffmpeg -i input.mp4 \ -af aresample48000:sample_fmtflt:channel_layoutstereo \ -c:v copy -c:a aac -b:a 192k -ar 48000 output.mp4这里-c:v copy保留原视频轨不重编码音频必须重新编码因为重采样后PCM已经变了。-af是简单滤镜链的入口适合单路音频如果后面要混流就要用-filter_complex。第二种录屏双音频源混音这是最典型的录屏场景。下面是一个Linux下的完整示例Windows下把采集设备换成dshow源macOS下换成avfoundation即可ffmpeg \ -video_size 1920x1080 -framerate 30 -f x11grab -i :0.00,0 \ -f pulse -i default \ -f pulse -i default_source \ -filter_complex \ [1:a]aresample48000:sample_fmtflt:channel_layoutstereo[a_sys]; \ [2:a]aresample48000:sample_fmtflt:channel_layoutstereo[a_mic]; \ [a_sys][a_mic]amixinputs2:durationfirst:dropout_transition3[aout] \ -map 0:v -map [aout] \ -c:v libx264 -preset veryfast -crf 23 \ -c:a aac -b:a 192k -ar 48000 \ out.mkv这段命令把系统声音和麦克风各自先重采样成同一规格再进入amix混音。两个aresample各管一路确保混音时输入格式完全一致。durationfirst表示以第一路输入的时长为准录屏场景下系统声音通常和视频时长一致麦克风的沉默尾巴没必要保留。dropout_transition3是混音中某路结束时淡出的时间设成3秒可以有效避免声道切换的爆音。第三种直播推流场景多路输入加背景音乐混音-filter_complex \ [bg]aresample48000:sample_fmtflt,volume0.15[bgv]; \ [mic]aresample48000:sample_fmtflt,volume0.85[micv]; \ [bgv][micv]amixinputs2:durationlongest[aout]背景音乐和麦克风分别重采样、分别调整音量再混音。推流时用durationlongest保证混合轨始终连续不会因为某一路结束而让整个流中断。3.3 验证输出格式、时长和听感一个都不能少跑完命令后不要直接拿去用用ffprobe确认输出音频参数到底对不对ffprobe -v error -select_streams a:0 \ -show_entries streamsample_rate,channels,channel_layout,sample_fmt \ -of defaultnoprint_wrappers1 out.mkv这一步能立刻发现命令写没写对。比如你明明写了channel_layoutstereo输出如果还是mono说明滤镜链里的标号或者参数拼写有问题早发现比事后听出来强得多。然后对一下时长。音画不同步最大的特征是音频时长和视频时长不一致ffprobe -v error -show_entries formatduration \ -of defaultnoprint_wrappers1:nokey1 out.mkv如果音频重采样后时长和视频差得太多优先检查async参数和输入设备的时钟。最后再听一遍。我用一个很土但有效的方法录屏时在画面里放一个在线节拍器敲击的视觉瞬间应该和耳机里听到的点击声基本重合。40毫秒以内的偏差人耳和眼睛都不容易察觉超过100毫秒就非常明显了。不要跟我说理论上的同步精度人感知层面的最终一致才是录屏该追求的。4. 实测踩过的坑从“有声”到“声画精确对齐”4.1 双音源混流时各重各的别让amix自动处理有一回A同学让我帮他看一段录屏画面里他一边操作软件一边讲解但声音明显“发空”像是从很远的地方传来的说话时还能听到自己声音的回声。我用ffprobe一查系统声音那一路是48kHz stereo麦克风那一路是44.1kHz mono他在命令里直接用amix把两路合在一起没有做任何前置重采样。amix内部把44.1kHz的麦克风重采样成了48kHz同时把mono映射成了stereo但两路的起始PTS没对齐麦克风声音晚到了几十毫秒于是人耳把原声和“迟到”的声音同时听到就成了那种空洞的回声感。正确做法就是先各自重采样再混。更讲究一点还要用adelay给某一路加上固定延迟来对齐PTS。麦克风距离嘴巴有物理距离系统声音是直接电信号天生就有一个小的时间差在混音前给麦克风加个50ms左右的延迟往往能让声音更扎实。这个值不是固定的要根据实际设备和房间环境现场试。4.2 async补帧的假象长时间录屏时音频最容易出现的问题就是音画不同步。一个小时的视频到后半段口型明显对不上这种情况很多人第一反应是写aresampleasync1。确实这个参数会在音频时间线落后时插入样本提前时删除样本把音频时间轴拉回视频时间轴附近。但这里有个陷阱async1补进去的样本是前后真实样本的插值不是真实采到的声音。如果音频本身很稳定只是视频时间戳偶尔跳动async1补一下还能接受。但如果源头设备本身时钟就不稳它会在整个录制过程中反复插入和删除样本每次操作都可能在音频里留下一个微小的“噗声”长时间下来反而更明显。我的经验是本地录屏存盘能用async0就不要开async1。靠谱的声卡在几个小时内漂移远远达不到人耳可感知的程度。真正要开async是在直播推流、必须保证音视频流实时性的场景而且开了之后一定要做长时间测试确认没有明显的插值杂音。如果你发现不开async时长时间录屏音画对不上优先查设备驱动和采集缓冲而不是依赖重采样去硬拉。4.3 浮点转整数的削波与响度错觉滤镜链里常见的坏习惯是写aresample48000:sample_fmts16觉得“快点转成CD格式后面就不用处理了”。实际上编码器在编码AAC时自己会做格式转换你手动转成s16纯属多此一举。更麻烦的是后面如果再接一个音量增益或者响度归一化滤镜那个滤镜又要先把s16转回浮点处理处理完再转回去来回折腾浪费精度。还有一种更隐蔽的坑在浮点域里把音量增益调得过高峰值超过0dBFS然后转成s16时就会削波出来的声音像扬声器破了。录屏时麦克风偶尔过载是常事如果我有预感音量可能超标会先挂一个alimiter或者loudnorm保证信号峰值被压住再让它进入编码器。不要让重采样成为削波的帮凶它在规格转换上很老实但架不住上游给它一个已经破了的信号。4.4 滤镜图里被自动插入的重复重采样FFmpeg滤镜图有个隐蔽行为当两个滤镜之间的数据格式不匹配它会自动插入一个重采样器不需要你手动写。这本来是好事但有时会好心办坏事——你明明在某个位置手动写了aresample结果因为声道或样本格式不完全匹配FFmpeg又在旁边悄悄插了一个两个重采样器叠在一起工作。最典型的场景就是amix。你手动把两路输入都重采样成了flt 48k stereo觉得很完美。但如果其中一路的channel_layout实际是stereo另一路是2 channels (FLFR)在FFmpeg内部它们可能被识别成不同的布局描述amix还是会触发一次内部转换。解决办法是用aformat滤镜在关键节点上锁死格式[1:a]aformatsample_fmtsflt:sample_rates48000:channel_layoutsstereo[a0]aformat会强制后续节点认为数据已经是这个格式减少自动重采样器的介入。它和aresample的区别在于aresample主动执行转换aformat只声明格式。两者配合使用能让你对滤镜图里的格式变化心里有数。这个经验很实用写复杂滤镜图的人应该都有过被“幽灵重采样”搞到崩溃的时刻。5. 录屏场景的进阶配置与性能优化5.1 采样率到底选44100还是48000录屏时不假思索地用44100还是48000其实是很多人的固化习惯。我先说结论视频录制、网络发布、直播推流无脑选48000纯音频存档、CD制作、只在本机播放的音乐素材保持44100更合适。为什么视频场景优先48000首先视频工作流里的时间基准是90kHz48kHz和90kHz之间存在整数协调关系容器封装和播放器时间戳换算更顺畅。其次绝大多数流媒体平台和在线视频网站的转码链路默认优化48kHz你交一个44.1kHz的音轨服务器转码时大概率还要再转一次多一次转换就多一次损失。再次AAC编码器在48kHz下有更成熟的码率分配方案相同码率下听感表现更稳定。如果输入源是16kHz的语音麦克风直接重采样到48kHz会把高频本底噪声也一起放大听起来会有“咝咝”声。这时候我会先挂一个highpassf80把低频隆隆声切掉再挂一个lowpassf16000把16kHz以上的剩余噪声滤掉最后再进aresample。这套组合对录屏语音来说非常实用。5.2 低配机器上的重采样开销控制很多人担心加了aresample会让录屏变卡音频重采样确实有开销但和视频编码比几乎可以忽略。48kHz采样率意味着每秒要处理48000个样本点就算用soxr高精度模式在现代CPU上也就是几毫秒的耗时。真正影响性能的不是aresample本身而是你在音频链路上挂了太多重型滤镜。如果机器配置确实很低几个降耗手段很实在。一是用默认的swr重采样不要开soxr语音场景下听不出区别。二是避免“绕圈重采样”比如44.1k先转48k后面又转96k再转回48k每一次转换都在积累损失还白耗CPU。三是用aformat锁格式减少自动重采样器的重复劳动。四是如果做长时间录屏可以考虑把原始PCM单独输出成一个wav文件最后再和视频合成这样就算中间录坏了也不需要整条重录。音频单独处理多一次IO但能换来很大的操作灵活性。5.3 时间同步最终一致比逐帧对齐更重要最后聊一下重采样和音画同步的关系。很多人把音画同步想成“每一帧画面对应每一帧声音”为了这个追求在滤镜图里折腾各种时间戳参数。实际上人耳对音画不同步的容忍窗口大约在正负几十毫秒只要最终音频时长和视频时长一致播放器从头到尾播放时听感就是同步的。重采样改变了样本数也改变了PTS换算关系。只要容器封装正确播放器会按照新的时间基准去调度音频帧。所以你要关注的不是逐帧对应而是最终一致性音频总时长和视频总时长是否一致。如果不一致差几十毫秒以内可以用adelay修偏移差太多就要回去检查源头的采集缓冲和时钟漂移不要在重采样环节硬凑。aresample可以帮你把漂移拉回来但那是最后的手段不是第一选择。在我自己的项目里每次批量录屏前会先把所有输入源的参数快照存下来录完立刻用ffprobe验证一遍格式、时长再做听感检查。重采样本身不是高深技术它真正考验的是你对源数据的掌握程度。把源头摸清了aresample就是一个非常可靠的工具能让你从“录到了声音”进步到“精确控制声音”。希望这篇关于PCM重采样的经验能帮你把录屏音频链路上的坑填上几个。
阅读完成 · 觉得有帮助？
