★ FEATURED ARTICLE 人工智能大模型语音音频多模态【免费下载链接】A.X-K2-Raon-Speech-21B-A3B项目地址https://ai.gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B点击查看免费下载KRAFTON AI 开源的A.X-K2-Raon-Speech-21B-A3B是一个约 21.2B 总参数、3.5B 激活参数的英语/韩语双语语音语言模型。它把语音识别STT、语音合成TTS、语音问答SpeechQA / SpokenQA和多轮语音对话统一进同一个多模态模型。本文重点拆解它的6 阶段后训练配方——尤其是把工具调用tool calling分数从 0.54 拉到 0.74 的关键一环。一张表看懂 A.X K2 Raon-Speech 的架构组成在谈训练之前先看它由哪些模块拼成。配置详情见 config.json组件说明文本骨干SK Telecom 的 A.X K2 Light 20B-A3B MoE48 层128 个路由专家、top-8 路由语音编码器自研 AuT 编码器基于 Qwen3-ASR 架构约 317M 参数24 层语音编码器24 kHz 采样率128 维 mel 特征24 层 encoder神经音频编解码器Mimi 风格约 96M 参数32 个量化器、2048 条目码本、24 kHz、12.5 帧/秒Talker基于 Qwen3 的 4 层 talker负责把模型输出转换为语音码上下文窗口最长 131,072 tokens这套架构的设计取舍值得注意语音编码器和编解码器完全由 KRAFTON AI 独立训练而不是复用上游现成组件。官方报告 AuT 编码器只用了约 100 万小时音频对比 Qwen3-ASR AuT 报告的 4000 万小时整体得分却达到了参考模型的 99.2%编解码器仅用约 50 万小时音频综合得分达到 Mimi 的 95.9%。6 阶段后训练配方每一步在解决什么问题该模型的完整后训练流程见 README.md 的 Training 一节官方 checkpointprovenance.json 中标记为stage_6_tts_dpo就是走完全部 6 阶段的最终产物阶段名称做什么、为什么做1语音模块对齐冻结 A.X K2 Light 文本骨干只训练语音编码器、输入/输出适配器等让语音表示讲得通文本语言2联合多模态 SFT文本任务与语音任务混合数据做监督微调保住原有文本能力3文本与跨模态蒸馏用 A.X K2 Light 做教师蒸馏防止多模态化过程中的能力退化4语音条件工具调用微调专门喂工具调用数据工具调用分数 0.543 → 0.7405ParaBridge 式在线自蒸馏模型对自己采样做 on-policy 自蒸馏学会利用情绪、语调等副语言信息6TTS 直接偏好优化DPO针对拉长/重复音节、收尾不完整、识别错误平均 TTS 错误率 3.6% → 3.1%阶段 4工具调用是怎么从 0.54 涨到 0.74 的消融实验见 README.md 的 Post-training ablations 一节以紧邻的前一个 checkpoint为基线做逐阶段对比工具调用微调0.543 → 0.740单项提升约 0.2是全部 6 个阶段中单项收益最大的一步副语言自蒸馏情绪/说话人维度 0.566 → 0.613TTS DPO平均 TTS 错误率 3.6% → 3.1%。关键在于这一步是语音条件的工具调用微调——不是让模型学会文本形式的 function call而是让它听着一段语音指令就能正确发起工具调用这正是语音助手落地比如车载、智能家居语音交互最需要的能力。阶段 6TTS 偏好优化治什么病TTS 阶段的目标非常具体修复生成语音中的三类毛病——音节拉长或重复elongated or repetitive syllables语句收尾不完整incomplete termination生成语音自身识别错误用 DPO 做偏好对齐后平均 TTS 错误率从 3.6% 降到 3.1%。对新手来说可以理解为先用 SFT 让模型会说再用偏好优化教它说得对。训练配方的整体思路先对齐、再保能力、最后精修把 6 个阶段串起来看是一条很典型的由稳到精路线先对齐阶段 1冻结大文本骨干只动语音侧参数成本可控再保能力阶段 2、3混合文本数据 教师蒸馏防止学了说话、忘了思考最后精修阶段 4、5、6针对工具调用、副语言感知、TTS 质量三个短板分别专项优化。这种专项分阶段 逐 checkpoint 消融对比的做法也解释了为什么官方敢给出每个阶段的精确收益数字。效果如何韩语第一、英语第三在 30B 及以下公开语音语言模型中A.X K2 Raon-Speech 的韩语综合分 0.72 排名第一英语综合分 0.75 排名第三评测覆盖 46 个基准、6 大任务域包括 LibriSpeech、KsponSpeech、VoiceBench、API-Bank、FunctionChat-Bench 等分数均归一化到 0–1。排名模型韩语英语英语排名1A.X K2 Raon-Speech0.720.7532Raon-Speech0.700.7913Qwen3-Omni0.650.7824HyperCLOVA X 8B Omni0.600.688模型还具备两项实用能力说话人条件 TTS提供参考音频即可模仿音色基于 ECAPA 说话人嵌入和TTS 续写从一段参考音频自然地继续说下去。怎么跑起来依赖与验证运行依赖见 requirements.txt要求transformers4.57.1speechbrain仅在用到说话人条件 TTS 时需要。BF16 权重约 42.4 GB建议 80 GB 显存的单卡或多卡配置。仓库自带两个端到端验证脚本官方用它们跑了覆盖英/韩 STT、直出 TTS、说话人条件 TTS、续写 TTS、SpeechQA、SpokenQA 的 12 项冒烟矩阵python validate_repo.py python validate_model.py仓库结构验证validate_repo.py模型推理验证validate_model.py推理管线实现modeling_raon.py、modeling_axk1.py分片权重索引model.safetensors.index.json小结A.X K2 Raon-Speech-21B-A3B 的价值不只是又一个语音大模型而在于它把完整的 6 阶段后训练配方和逐阶段消融数据一起公开工具调用微调贡献 0.20、副语言自蒸馏 0.047、TTS DPO 降低 0.5 个百分点错误率。对想复现或改进语音助手后训练流程的开发者来说这份教科书式的消融记录本身就是一份很有参考价值的资料。需要注意该模型采用 CC BY-NC 4.0 协议仅限研究与非商业原型用途。赞分享人工智能大模型语音音频多模态【免费下载链接】A.X-K2-Raon-Speech-21B-A3B项目地址https://ai.gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B点击查看免费下载相关推荐如何快速上手A.X-K2-Raon-Speech-21B-A3B从零加载到生成第一句语音的10分钟入门指南如何快速上手A.X K2 Raon Speech 21B A3B从零加载到生成第一句语音的10分钟入门指南 A.X K2 Raon Speech 21B A3人工智能大模型语音音频多模态A.X-K2-Raon-Speech-21B-A3B 语音识别(STT)实战指南一行代码把韩英双语音频转成文字A.X K2 Raon Speech 21B A3B 语音识别 STT 实战指南一行代码把韩英双语音频转成文字 A.X K2 Raon Speech 21B人工智能大模型语音音频多模态Open-Meteo免注册 Key 的免费天气 API30 秒跑通第一次调用Open Meteo免注册 Key 的免费天气 API30 秒跑通第一次调用 想让 App 里显示本地天气却不想为商业 API 注册账号、等待审核配额O人工智能大模型语音音频多模态上一篇first-contributions 实战指南用 git revert 安全撤销已推送的提交下一篇RIOT 板卡指南openlabs-kw41z-mini-256kib——256KiB ROM 变体的识别、构建与烧录创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
