★ FEATURED ARTICLE 大模型人工智能AI Agent多模态模型量化【免费下载链接】Agents-A1-FP8项目地址https://ai.gitcode.com/InternScience/Agents-A1-FP8点击查看免费下载Agents-A1 是 InternScience 推出的 35B-A3B MoE 架构 Agent 模型本仓库 Agents-A1-FP8 提供其 FP8 动态量化版本单张 GPU 即可承载 262K 长上下文原生支持工具调用与图文多模态输入并兼容 vLLM、SGLang 等主流推理框架。本文给出一份从 Demo 验证到生产环境上线的完整部署优化清单帮助新手快速搭建稳定、低成本的 Agent 服务。一、Agents-A1 35B Agent 模型简介单卡跑通 262K 长上下文Agents-A1 是一款面向 Agent 场景训练的混合专家Mixture-of-Experts模型总参数 35B、每 token 仅激活约 3B推理成本显著低于同能力的稠密大模型。它同时具备以下企业级 Agent 核心能力长程搜索在 BrowseComp、GAIA、Seal-0 等基准上取得同级最佳乃至总体 SOTA 成绩工具调用Tool Calling原生支持 function calling可无缝对接 API、代码解释器、搜索引擎指令遵循IFEval 94.8、IFBench 80.6能精确执行多约束复杂指令科学推理HiPhO、FrontierScience 等科研基准达到总体 SOTA而本仓库 Agents-A1-FP8 的价值在于FP8 量化让 35B 模型在单张 80GB 显存 GPU 上即可部署同时保留 262144 token 的超长上下文Apache 2.0 开源协议也让企业商用更安心。二、部署前必看Agents-A1-FP8 仓库文件清单在动手部署前先花 2 分钟了解仓库里的关键文件后续排查问题时会反复用到文件作用config.json模型架构qwen3_5_moe与 FP8 量化配置含忽略量化清单recipe.yaml量化配方FP8_DYNAMIC方案仅量化Linear层generation_config.json生成默认参数eos_token、缓存开关chat_template.jinja对话模板内置图片/视频占位符渲染逻辑tokenizer.json / tokenizer_config.json分词器定义model_max_length为 262144preprocessor_config.json / video_preprocessor_config.json图像与视频预处理参数Qwen3VLProcessormodel.safetensorsFP8 量化后的完整模型权重README.md官方基准成绩、vLLM / SGLang 部署命令与推荐采样参数三、FP8 量化方案解析显存占用为何能减半理解量化配置才能判断生产环境该怎么调。查看 config.json 中的quantization_config可知Agents-A1-FP8 采用FP8 动态量化8 位浮点权重体积约为 BF16 的一半权重按 channel 静态量化为 FP8激活值按 token 动态量化为 FP8忽略清单ignore视觉编码器、lm_head、门控gate、嵌入层、共享专家、线性注意力层等敏感模块均保留高精度这一策略在显存与效果之间取得了平衡35B 权重 FP8 化后约 35GB一张 80GB 卡即可容纳权重 KV Cache 262K 上下文。recipe.yaml 中标注的scheme: FP8_DYNAMIC即对应这套方案。四、最快启动方法vLLM 与 SGLang 两条部署路线两条路线最终都会生成 OpenAI 兼容 APIhttp://localhost:8000/v1可无缝接入现有应用代码。4.1 vLLM 路线推荐生产环境uv pip install vllm --torch-backendauto vllm serve InternScience/Agents-A1-FP8 \ --kv-cache-dtype fp8 \ --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder4.2 SGLang 路线uv pip install sglang python -m sglang.launch_server \ --model-path InternScience/Agents-A1-FP8 \ --port 8000 \ --tp-size 1 \ --mem-fraction-static 0.8 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder启动后用一个简单请求验证服务可用curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:InternScience/Agents-A1-FP8,messages:[{role:user,content:用一句话介绍你自己}]}五、生产环境部署优化清单8 个关键调优项以下为从 Demo 走向生产环境时必须逐项核对的优化清单✅启用 FP8 KV CachevLLM 加--kv-cache-dtype fp8长上下文场景显存占用接近减半直接提升并发上限✅纯文本业务跳过视觉塔加--language-model-only省去视觉编码器占用的显存✅按需设定上下文长度--max-model-len 262144是能力上限而非默认值业务若只需 32K请调小以换取更高吞吐✅显存比例微调SGLang 用--mem-fraction-static 0.8OOM 时下调至 0.7✅采样参数照抄官方推荐来自 README.md参数推荐值作用temperature0.85保持回答多样性与稳定性top_p0.95核采样截断top_k20限制候选词范围presence_penalty1.1抑制长对话中的重复表达repetition_penalty1.0保持默认✅正确挂载解析器--reasoning-parser qwen3保证思维链正确切分工具调用需--tool-call-parser qwen3_codervLLM 还要加--enable-auto-tool-choice✅多卡水平扩展显存不够时将--tensor-parallel-size/--tp-size扩至 2 或 4吞吐不足时叠加多副本 负载均衡✅监控与守护把 GPU 显存、首 token 延迟TTFT、tokens/s 接入监控告警服务进程用 systemd / 容器编排守护六、上线前验证三步确认 Agent 能力可用建议用以下三步做冒烟测试全部通过再放量基础对话调用/v1/chat/completions确认流式输出与finish_reason正常工具调用在请求中传入tools字段确认模型返回结构化 function call JSON解析依赖第四步的 tool parser长上下文压测发送超长文档或多轮对话验证 100K token 下无 OOM、无质量劣化如需更严格的回归评估官方已开源统一的 Agent 评测框架覆盖工具使用与多步推理详见 README.md 的 Agent Capability Evaluation 一节可在同一协议下对比不同模型。七、常见问题排查OOM、视觉输入与工具调用现象可能原因解决方案启动即 OOM上下文开满 262K调小max-model-lenSGLang 降低mem-fraction-staticvLLM 加--kv-cache-dtype fp8图像请求报错使用了 text-only 模式去掉--language-model-only恢复视觉塔工具调用无 JSON 输出未启用工具解析vLLM 加--enable-auto-tool-choice --tool-call-parser qwen3_coderSGLang 加--tool-call-parser qwen3_coder回答重复、质量波动采样参数未对齐按第五节官方推荐值设置 5 项采样参数显存资源紧张单卡承载 35B 偏重多卡 TP 扩展或关注官方已发布的 4B 轻量版模型写在最后Agents-A1-FP8 用 FP8 动态量化 MoE 架构的组合把35B 级 Agent 模型 262K 长上下文 原生工具调用装进了单张 GPU是成本敏感型企业落地 Agent 服务的务实选择。按本文清单完成配置与验证后你就能在几小时内把 Demo 升级为可承接生产流量的 Agent 服务。赞分享大模型人工智能AI Agent多模态模型量化【免费下载链接】Agents-A1-FP8项目地址https://ai.gitcode.com/InternScience/Agents-A1-FP8点击查看免费下载相关推荐企业级WebDAV服务器完整部署指南从零搭建到生产环境企业级WebDAV服务器完整部署指南从零搭建到生产环境 WebDAVWeb分布式创作和版本控制是一种基于HTTP的文件管理协议允许用户通过网络远程管理文后端Klaxon版本演进分析从2.0到5.0的重大更新与迁移指南 Klaxon版本演进分析从2.0到5.0的重大更新与迁移指南 Klaxon作为Kotlin生态中备受青睐的JSON解析库历经多次版本迭代从2.0到5开发工具终极CodeGeeX2企业级部署实战从环境搭建到生产部署全指南终极CodeGeeX2企业级部署实战从环境搭建到生产部署全指南 CodeGeeX2作为一款功能强大的多语言代码生成模型为企业级应用提供了高效的代码辅助解决方人工智能大模型代码模型本地部署模型评测上一篇告别格式枷锁qmcdump让加密音乐重获自由下一篇飞书文档企业级数据迁移与备份解决方案从安全导出到增量同步的完整实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
