★ FEATURED ARTICLE 数据集大模型【免费下载链接】Fable-5.1-Max-Reasoning-Filtered-10000x项目地址https://ai.gitcode.com/hf_mirrors/MoreThought/Fable-5.1-Max-Reasoning-Filtered-10000x点击查看免费下载如果你正想用SFT监督微调让小模型学会先思考、再回答那么Fable-5.1-Max-Reasoning-Filtered-10000x是目前值得关注的开源推理蒸馏数据集之一。它包含 1 万条由 Fable 5.1 以最大推理力度max reasoning effort生成的多轮智能体编程轨迹覆盖约 5 亿 token 的逐步思维链CoT并已去重、重度过滤专门用于把大模型的推理能力蒸馏到更小的模型上。本文带你从获取数据到训练要点一次讲透。 一、这套数据集到底是什么30 秒看懂核心价值先给结论这是一份高质量的 SFT 训练数据不是模型权重。它的价值在于——你不需要再自己花大力气出题人工筛选直接拿来就能训。指标数值总条数10,000 条轨迹总 Token 量约500,000,000 tokens数据集总大小1.97 GB平均单条大小197 KB平均 Token 数约50,000 tokens/条许可证Apache-2.0可商用 官方说明见 README.md其中标注了SFT、CoT、distillation、agent、tool-use等标签明确了它的定位把 Fable 5.1 的智能体编码与推理能力蒸馏给更小的 LLM。内容覆盖三大核心场景算法设计、实现与性能优化—— 从写对到写快高级调试与错误处理—— 复现报错、定位根因、修复验证多步逻辑设计与复杂 Prompt 约束遵循—— 长链路任务不掉链子。对新手来说最后一点尤其值钱模型能学会在输出最终答案前先给出清晰的思维链步骤和工具调用这正是推理类模型的灵魂。 二、一键获取数据集clone git lfs 两步搞定仓库里的数据文件较大单文件超过 500 MB采用了Git LFS管理直接 clone 后还需要拉取真实数据。第 1 步克隆仓库git clone https://gitcode.com/hf_mirrors/MoreThought/Fable-5.1-Max-Reasoning-Filtered-10000x cd Fable-5.1-Max-Reasoning-Filtered-10000x第 2 步拉取 LFS 真实数据git lfs install git lfs pull拉取完成后你会得到两个核心训练文件文件角色大小用途建议5k/train.jsonltrain分片5,000 条约 565 MB小规模验证、快速实验10k/train.jsonlfull分片10,000 条约 1.97 GB正式全量 SFT 训练 新手建议先用 5k 分片把整条训练流水线跑通格式解析、显存、评估脚本确认无误后再切换 10k 全量跑正式训练能省下大量跑崩了才发现的调试时间。 三、数据长什么样训练前必须建立的 3 个认知一行一条轨迹JSONL 格式每条记录是一条完整的多轮交互轨迹内含用户指令、模型思考、工具调用与最终回答天然适配多轮 SFT。平均 5 万 tokens/条单条轨迹就很长这意味着你的训练配置必须支持长上下文建议窗口 ≥ 32K~64K否则数据会被截断思考链断裂蒸馏效果大打折扣。重度过滤是它的核心竞争力官方说明中特别强调数据已经过去重和重度过滤heavily filtered剔除了低质量轨迹。你拿到的基本是优等生作业直接模仿即可省去了人工清洗环节。 四、SFT 实操要点如何把推理能力灌给小模型4.1 基座模型怎么选推荐3B ~ 8B 参数级别、支持长上下文的开源基座模型模型本身已具备一定的指令遵循能力蒸馏效果会明显好于完全冷启动。4.2 关键训练参数怎么设结合数据平均 5 万 tokens/条的特点几个要点上下文长度设为 32K 起步条件允许直接拉到 64K学习率SFT 场景用小学习率1e-5 量级避免学新忘旧训练轮数1 ~ 3 个 epoch数据本身质量高多训反而容易过拟合、把输出背死数据格式对齐确认框架的多轮对话模板chat template与你基座模型一致尤其是思考内容与工具调用的字段位置对齐错误是蒸馏最常见的翻车点。4.3 训练策略先 5k 验证再 10k 全量# 第 1 阶段用 5k 分片跑通全流程约 565 MB # 第 2 阶段切换 10k 全量约 1.97 GB做正式 SFT两阶段对照同一条评估管线就能清楚看到数据量翻倍带来的边际收益也方便你决定要不要继续追加训练。✅ 五、效果评估与常见坑看什么指标编码基准跑通用 coding 评测集对比训练前后得分思维链质量抽查模型的中间推理是否分步骤、可解释而不是直接甩答案工具使用观察模型是否能在给出最终答案之前先规划并调用工具——这是本数据集刻意训练的标志性能力。常见坑清单⚠️上下文窗口太短→ 轨迹被截断思考链不完整模型学不会完整推理⚠️模板不对齐→ 多轮角色、思考块位置错位训练时看着在学实际在乱学⚠️epoch 过多→ 小数据高质量场景下过拟合明显输出变得死板重复⚠️忘记git lfs pull→ 拿到的是几百字节的指针文件而非真实数据。 六、写在最后Fable-5.1-Max-Reasoning-Filtered-10000x的定位非常清晰一份免清洗的推理蒸馏数据。1 万条多轮智能体轨迹、5 亿 tokens 思维链、Apache-2.0 许可配合5k 验证 10k 全量的两阶段打法新手也能比较平滑地走通小模型 SFT 的完整流程。如果你的目标就是让小模型学会深度推理、清晰思考与规范地调用工具这套数据值得直接上手一试。赞分享数据集大模型【免费下载链接】Fable-5.1-Max-Reasoning-Filtered-10000x项目地址https://ai.gitcode.com/hf_mirrors/MoreThought/Fable-5.1-Max-Reasoning-Filtered-10000x点击查看免费下载相关推荐如何把Fable 5.1的编程能力蒸馏进小模型Fable-5.1-Max-Reasoning-Filtered-1000x实战指南如何把Fable 5.1的编程能力蒸馏进小模型Fable 5.1 Max Reasoning Filtered 1000x实战指南 Fable 5.1 MaxSFT微调实战教程Fable-5.1-Max-Reasoning-Filtered-1000x如何显著提升模型编程与推理能力SFT微调实战教程Fable 5.1 Max Reasoning Filtered 1000x如何显著提升模型编程与推理能力 想让自家的小模型学会边想边写代揭秘Fable-5.1-Max-Reasoning-Filtered-10000x5亿tokens的CoT推理数据集为何被称为蒸馏小模型的第一选择揭秘Fable 5.1 Max Reasoning Filtered 10000x5亿tokens的CoT推理数据集为何被称为蒸馏小模型的第一选择 Fabl数据集大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
