★ FEATURED ARTICLE 【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4点击查看免费下载 本文以mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4为例——这是 NVIDIA Nemotron 3.5 Lightning约 31B 总参数、每 token 激活约 3B经mxfp4 4-bit 量化后转换为 MLX 格式的开源模型权重仓库。我们将逐层拆解它的4 个 safetensors 分片、565 个 tensor以及起目录索引作用的weight_map带你快速掌握大模型权重文件的通用结构。一、仓库文件清单一个 MLX 模型长什么样下载完成后仓库顶层共有 10 个文件可分为三类类别文件作用权重数据model-00001~00004-of-00004.safetensors4 个分片存放全部模型参数共约 15.6 GiB索引与配置model.safetensors.index.json、config.json、generation_config.json分片索引、模型超参数、生成默认参数文本处理tokenizer.json、tokenizer_config.json、chat_template.jinja分词器与对话模板 一句话理解.safetensors是数据仓库index.json是书架标签config.json是使用说明书。二、为什么要拆成 4 个 safetensors 分片单文件权重超过 10 GiB 会带来两个问题下载失败后难以续传、部分工具受单文件大小限制。因此模型被切分为 4 个分片每个分片内部都是自包含的 safetensors 格式带自己的 header 与 dtype 信息加载时按索引合并。本仓库的分片大小与内容分布非常均衡前 3 片每片承载 18 个 Transformer 层第 4 片收尾分片文件张量数覆盖的层号备注model-00001-of-00004.safetensors186第 0–17 层额外包含词嵌入embeddingsmodel-00002-of-00004.safetensors183第 18–33 层纯层权重model-00003-of-00004.safetensors183第 35–51 层纯层权重model-00004-of-00004.safetensors13第 51 层收尾最终归一化 lm_head 关键数据来自 model.safetensors.index.json 的metadata字段total_size:16,788,805,760 字节 ≈ 15.64 GiBtotal_parameters:31,577,935,872约 31.6B 参数565 个 tensor 与 15.6 GiB 体量正是 mxfp4 量化4-bit 权重 每 32 元素一组缩放因子压缩后的结果相比 BF16 原版体积缩减约 4 倍。三、weight_map 详解565 个 tensor 的地址簿打开 model.safetensors.index.json核心结构是一张weight_map字典键 tensor 全名值 所在分片文件名。{ metadata: { total_size: 16788805760, total_parameters: 31577935872 }, weight_map: { backbone.embeddings.scales: model-00001-of-00004.safetensors, backbone.layers.0.mixer.A_log: model-00001-of-00004.safetensors, ... } }加载器如 mlx-lm的实际工作流程是先读index.json得到 565 条tensor → 分片映射按需打开对应的.safetensors分片safetensors 支持零拷贝内存映射不用整包读入按 tensor 名逐块加载到内存。 这也解释了为什么分片 1 有 186 个张量而分片 4 只有 13 个第 1 片顺带装下了词嵌入第 4 片只装下最后一层和输出头。四、tensor 命名规律看懂 565 个名字的语法565 个 tensor 中563 个属于backbone主干网络2 个属于lm_head输出头。命名遵循统一模板backbone.layers.【层号】.mixer.【模块】.【参数】本模型共52 层见 config.json 的num_hidden_layers每层按mamba / moe / attention三种 mixer 交替排布配置见 config.json 的layers_block_type对应三类命名模式1️⃣ Mamba 层23 层backbone.layers.0.mixer.A_log / D / conv1d.* / in_proj.* / out_proj.* / dt_bias / norm.weightMamba状态空间模型的专属参数A_log、D是 SSM 核心conv1d是短卷积。2️⃣ MoE 层23 层backbone.layers.1.mixer.gate.* # 路由器选专家 backbone.layers.1.mixer.shared_experts.* # 共享专家1 个 backbone.layers.1.mixer.switch_mlp.fc1/fc2.* # 路由专家128 个中激活 6 个专家路由规模由 config.json 定义n_routed_experts: 128、num_experts_per_tok: 6这就是A3B激活约 3B的由来。3️⃣ Attention 层6 层backbone.layers.12.mixer.q_proj / k_proj / v_proj / o_proj标准的 QKV 输出投影每 5 层出现一次作为 Mamba 层的补充注意力。 重点.scales是什么几乎每个weight都配有一个同名.scales张量如in_proj.weightin_proj.scales这正是mxfp4 量化的标志权重以 4-bit 存储.scales保存每 32 个元素一组的浮点缩放因子用于反量化。参数在 config.json 中声明quantization: { group_size: 32, bits: 4, mode: mxfp4 }没有.scales的张量如各层norm.weight、Mamba 的A_log/D说明它们保持高精度未量化——这些小组分对数值稳定性敏感量化收益低。五、首尾两端embeddings 与 lm_head张量位置说明backbone.embeddings.weight/.scales分片 1词嵌入表131,072 词表config.json 的vocab_size× 2688 维backbone.norm_f.weight分片 4主干最终 LayerNormlm_head.weight/.scales分片 4输出投影头与词表对齐tie_word_embeddings为 false二者独立注意lm_head也带.scales说明输出头同样经过 mxfp4 量化。六、动手验证3 步自检清单想确认自己下载的权重是否完整按下面三步即可数文件4 个model-*-of-00004.safetensors 1 个index.json缺一不可对总量index.json中total_size应为16788805760字节约 15.64 GiB核张量数weight_map条目数应为565分片分布 186 / 183 / 183 / 13。 加载入口可参考仓库 README.md安装mlx-lm后用load()一行载入上述索引解析与分片加载全部自动完成。七、常见问题FAQQ1为什么不直接给一个大文件超过 10 GiB 的单文件在断点续传、网盘分片上传和部分加载器中都不友好切分是 Hugging Face / MLX 生态的通用做法。Q2.scales张量加载后还能去掉吗它们是反量化的必要数据推理时按需使用mlx-lm 支持在运行中保持 4-bit 权重或按需反量化到更高精度。Q3565 个 tensor 和 31.6B 参数是怎么对应的MoE 模型层少、专家多52 层、563 个主干张量就容纳了 31.6B 参数单个switch_mlp.fc1/fc2张量背后是 128 个专家的巨大权重矩阵。Q4换其他模型时这套方法还适用吗适用。任何带index.json的 safetensors 权重PyTorch、MLX 生态皆然都遵循metadata weight_map → 分片文件的同一套结构读懂本文即可通用。✅小结4 个分片负责存565 个 tensor 是内容weight_map是目录。掌握这份图解你再看任何大型开源模型仓库都能在 1 分钟内定位任意一层、任意一个参数。赞分享【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4点击查看免费下载相关推荐如何5分钟在Mac上跑起来NVIDIA Nemotron 3.5 Lightning 30B A3B MLX版快速上手教程如何5分钟在Mac上跑起来NVIDIA Nemotron 3.5 Lightning 30B A3B MLX版快速上手教程 mlx community/NVIDSpark 生态路线图NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16 与 mlx-dspark 社区的未来走向DSpark 生态路线图NVIDIA Nemotron 3.5 Lightning 30B A3B DSpark bf16 与 mlx dspark 社区的未DeepSeek-V3.2-4layers文件清单完全解读6个safetensors分片与22.9GB权重分布图DeepSeek V3.2 4layers文件清单完全解读6个safetensors分片与22.9GB权重分布图 DeepSeek V3.2 4layers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
