★ FEATURED ARTICLE 适合人群经常需要整理会议录音、课程音频、视频字幕或者习惯用语音给 AI 下指令但不希望把音频上传到云端的同学。一、背景X 上有中文用户发帖调侃“听说现代人都用口喷指挥 AI 干活了”这反映了一个越来越普遍的习惯说话比打字快越来越多的人先用语音记录想法再交给 AI 整理。语音转文字是这个流程的第一步。OpenAI 开源的Whisper是目前广泛使用的语音识别模型之一支持包括中文在内的多种语言可以在自己的电脑上离线运行。本文介绍如何安装 Whisper把录音转成文本和字幕并给出后续交给 AI 整理的思路。二、准备工作1. Python 环境需要 Python 3.8 或更新版本建议使用较新的版本。2. 安装 ffmpegWhisper 依赖 ffmpeg 读取音频文件# Ubuntu / Debiansudoaptupdatesudoaptinstallffmpeg# macOS使用 Homebrewbrewinstallffmpeg# Windows使用 Chocolatey 或 Scoopchocoinstallffmpeg3. 硬件有 NVIDIA 显卡时速度会快很多只有 CPU 也能运行但建议使用较小的模型。三、操作步骤步骤 1安装 Whisperpipinstall-Uopenai-whisper安装完成后命令行中就可以使用whisper命令。步骤 2了解模型大小Whisper 提供多个尺寸的模型官方说明中包括 tiny、base、small、medium、large 以及 turbo 等。规律是模型越大识别越准确但速度越慢、占用显存越多tiny、base 适合快速测试small、medium 在准确率和速度之间较为平衡turbo 是对大模型的优化版本速度更快。首次使用某个模型时程序会自动下载模型文件需要一些时间和硬盘空间。步骤 3转写第一段音频whisper meeting.mp3--modelsmall--languageChinese--model指定模型--language指定语言。不指定时会自动检测但明确指定通常更稳定。运行完成后当前目录下会生成多个同名文件包括 txt纯文本、srt 和 vtt字幕、tsv、json 等格式。步骤 4只输出需要的格式whisper meeting.mp3--modelsmall--languageChinese--output_formatsrt--output_dir./subs--output_format可以选择 txt、srt、vtt、tsv、json 或 all。做视频字幕选 srt整理文字稿选 txt。步骤 5在 Python 中调用批量处理时用 Python 更方便importwhisper modelwhisper.load_model(small)resultmodel.transcribe(meeting.mp3,languagezh)print(result[text])forseginresult[segments]:print(f{seg[start]:.1f}s -{seg[end]:.1f}s:{seg[text]})segments包含每一句的开始和结束时间可以用来生成自定义格式的时间轴。步骤 6交给 AI 整理原始转写稿通常没有标点或段落口语重复也较多。可以把文本交给 AI 整理提示词示例下面是一段会议录音的转写稿可能存在同音字错误。请 1. 修正明显的错别字不确定的地方用【】标出 2. 按议题分段加上小标题 3. 最后列出会议中提到的待办事项和负责人。 不要添加原文没有的内容。如果内容涉及隐私可以使用本地运行的大模型完成这一步让整个流程都不离开电脑。四、提升识别效果的方法录音质量优先靠近麦克风、减少背景噪音比换大模型更有效提供提示文本Python 调用时可以通过initial_prompt参数提供包含专有名词的提示文本有助于识别人名、术语选择合适的模型专业内容、口音较重时尝试更大的模型长音频分段处理特别长的录音可以先用 ffmpeg 切分便于检查和重试人工校对关键内容数字、人名、专业术语一定要人工核对。五、常见问题 FAQQ1报错找不到 ffmpeg确认 ffmpeg 已安装并加入系统 PATH在终端运行ffmpeg -version能看到版本信息即可。Q2中文输出成了繁体字这是 Whisper 中文识别中较常见的现象。可以在initial_prompt中提供一段简体中文文本作为引导或者识别后使用繁简转换工具处理。Q3转写速度太慢换更小的模型或使用显卡运行。社区还有基于 Whisper 的优化实现例如 faster-whisper在速度和显存占用上做了改进可以按需了解。Q4会出现原文中没有的句子吗在静音或噪声较多的片段Whisper 偶尔会生成重复或无关的文字。重要场合务必人工校对。Q5可以识别多人对话并区分说话人吗Whisper 本身不区分说话人。需要区分时可以了解“说话人分离”speaker diarization相关的开源工具与 Whisper 配合使用。六、实用技巧建立术语表把常用人名、产品名写成提示文本每次转写时复用字幕先校对再使用生成 srt 后用字幕编辑软件检查时间轴和错字批处理脚本用 Python 遍历文件夹批量转写并按日期整理输出保留原始音频转写稿有疑问时可以回听核对注意录音合规录制他人讲话前先征得对方同意。七、总结用 Whisper 本地转写的流程很简单安装 ffmpeg → pip 安装 Whisper → 选择模型 → 命令行或 Python 转写 → 交给 AI 整理。它让“先说出来再让 AI 整理”这种工作方式变得可行而且音频始终留在自己的电脑上。参考资料OpenAI Whisper 开源项目说明文档https://github.com/openai/whisper论文Robust Speech Recognition via Large-Scale Weak SupervisionX 用户 HytidelLegend 关于用语音指挥 AI 的分享
阅读完成 · 觉得有帮助？
