★ FEATURED ARTICLE 【免费下载链接】Qwen3-235B-A22B-quantized.w8a8项目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/Qwen3-235B-A22B-quantized.w8a8点击查看免费下载如果你下载过 Qwen3-235B-A22B-quantized.w8a8面对 48 个 safetensors 分片和一堆配置文件难免会问这些文件分别是什么分片里到底装了哪些权重本文带你逐一看懂这份 235B 参数、INT8W8A8量化 MoE 大模型的文件结构以及它为什么适合用 vLLM / vLLM-Ascend 在 NPU 上部署。模型速览235B 总参数只激活 22B打开 config.json 就能确认它的身份关键参数值含义architecturesQwen3MoeForCausalLMQwen3 MoE 因果语言模型num_hidden_layers94共 94 层 Transformernum_experts128每层有 128 个专家num_experts_per_tok8每个 token 只激活 8 个专家hidden_size4096隐藏层维度max_position_embeddings40960最大上下文 40Kquantization_configcompressed-tensorsINT8W8A8 量化所谓A22B就是指虽然总参数量约 235B但每个 token 推理时只激活约 22B 参数注意力 路由选中的 8 个专家因此速度接近小模型能力却接近大模型。文件清单一眼看懂每个文件的作用 整个仓库其实就三类文件模型权重、配置、分词器。文件数量作用model-0000X-of-00048.safetensors48模型权重分片正文重点model.safetensors.index.json1权重名 → 分片 的索引映射config.json1模型结构与量化配置generation_config.json1生成参数temperature0.6、top_k20、top_p0.95 等tokenizer.json / vocab.json / merges.txt3词表与 BPE 合并规则tokenizer_config.json / special_tokens_map.json / added_tokens.json3分词器行为与特殊 tokenchat_template.jinja1对话模板支持 system/user/assistant 多轮格式recipe.yaml1量化配方INT8 方案、作用对象README.md1模型卡片与量化说明其中分词器相关文件中vocab_size为 151936chat_template.jinja 定义了模型的多轮对话格式调用时会自动套用。48个safetensors分片里装了什么单个 safetensors 文件不宜过大通常按约 5GB 切分。235B 的 INT8 权重总体积约 235GB 出头于是被均匀切成 48 片、每片平均约 5GB。每一片里装的都是完整的层内组件而不是被拦腰截断的张量。按模型结构拆分48 片合起来正好覆盖词嵌入层model.embed_tokens151936 × 4096保持 bf16未量化94 层主干每层包含注意力q_proj / k_proj / v_proj / o_projINT8 量化路由门控mlp.gate保持 bf16 不量化负责为 token 挑选 8 个专家128 个专家每个专家含gate_proj / up_proj / down_proj三个矩阵全部 INT8 量化——这是权重的大头占了绝大部分体积两个 LayerNorminput_layernorm / post_attention_layernorm最终归一化model.norm输出头lm_head保持 bf16 未量化 记住一个口诀注意力和专家矩阵是 INT8省显存路由、嵌入和输出头是 bf16保精度。想查某个权重在哪片看索引文件model.safetensors.index.json 是一张总目录左边是权重张量名右边是它所在的 safetensors 分片。加载框架正是靠它并行读取 48 个分片、把张量拼回完整模型这也是大模型必须分片的核心原因——支持多卡并行加载避免单文件数百 GB 无法管理。W8A8量化显存减半的关键config.json 中的quantization_config与 recipe.yaml 记录了量化细节方案compressed-tensors格式的 INT8版本 0.12.2即W8A8—— 权重 8-bit、激活值 8-bit量化目标所有Linear线性层策略为 channel 维对称量化排除项lm_head和每一层的mlp.gate路由层对精度敏感保持原精度对比未量化的 BF16 版本约 470GB 显存W8A8 版本把权重压到约一半约 235GB显存占用近乎减半同时 8-bit 计算还能显著提速是 NPU 等场景下部署超大 MoE 模型的常用方案。量化所用的依赖与脚本思路可参考 README.md。部署前检查清单 ✅用 vLLM / vLLM-Ascend 加载前按这份清单核对即可分片是否齐全确认 48 个model-XXXXX-of-00048.safetensors文件都存在且大小正常每片约 5GB而非几百字节的占位文件索引与配置model.safetensors.index.json、config.json 完整可读分词器五件套tokenizer.json、tokenizer_config.json、special_tokens_map.json、added_tokens.json、chat_template.jinja 齐全否则对话格式会错乱显存估算INT8 权重约 235GB KV Cache多卡部署时按每片分片可分配到不同设备小结48 个分片 全部权重的均分装94 层的注意力、128×94 个专家矩阵、嵌入与输出头W8A8让 235B 模型显存占用减半是它名字里quantized.w8a8的含义理解 config.json model.safetensors.index.json 两个文件基本就掌握了这份模型的全部结构信息掌握了这套文件结构你下载任何分片式 HuggingFace 风格模型时都能一眼看懂每个文件的角色了。赞分享【免费下载链接】Qwen3-235B-A22B-quantized.w8a8项目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/Qwen3-235B-A22B-quantized.w8a8点击查看免费下载相关推荐Qwen3-235B-A22B-W4A8权重文件解码读懂30个safetensors分片与量化索引文件Qwen3 235B A22B W4A8权重文件解码读懂30个safetensors分片与量化索引文件 Qwen3 235B A22B W4A8 是 QwenQwen3-8B-W4A8 模型文件结构全解析safetensors 分片与 index.json 到底长什么样Qwen3 8B W4A8 模型文件结构全解析safetensors 分片与 index.json 到底长什么样 Qwen3 8B W4A8 是 vllm10分钟看懂DeepSeek-V4-Flash-0731-w8a8文件结构75个safetensors分片与quarot文件大揭秘10分钟看懂DeepSeek V4 Flash 0731 w8a8文件结构75个safetensors分片与quarot文件大揭秘 正在下载 DeepSeek上一篇Multiavatar打造多元文化的头像生成器下一篇Python-Roadmap终极指南从零开始成为Python开发者的完整路径创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
