MXFP4 量化

MXFP4 量化核心机制将matmul和反量化融进一条硬件指令中。每32个4-bit数据共享一个E8M0的scale。Scale张量的形状由数据张量的形状和块大小决定。例如对于一个形状为 [M, K] 的数据矩阵其Scale张量的形状为 [M, ceil(K/32)]。1、scale与data捆绑存储2、scale专用加载路径厂商架构 / 系列代表产品型号支持时间支持类型关键细节NVIDIABlackwell (SM100)B100, B200, GB2002024年发布原生硬件支持MXFP4 原始吞吐量可达 MXFP8 的2 倍NVIDIABlackwell (SM120/121)RTX PRO 6000, DGX Spark (GB10)2025年原生硬件支持消费级/工作站版本MXFP4 MoE 可原生运行AMDCDNA4 (gfx950)MI355X, MI350X2025年6月12日原生硬件支持MXFP4 峰值算力10.1 PFLOPSdenseAMDCDNA3 (gfx942)MI300X, MI325X2023年硬件发布软件模拟无原生 MXFP4 MMA 指令需通过 int4-SiTU 或反量化到 FP8 路径变通华为昇腾 950PRAtlas 350 加速卡2026年Q12026年3月21日发布原生硬件支持MXFP4 算力2 PFLOPSFP8/MXFP8 为 1 PFLOPS华为昇腾 950DT昇腾 950DT 超节点2026年Q4原生硬件支持MXFP4 张量浮点峰值算力相比上一代 BF16提升 4 倍IntelCrescent Island数据中心 GPU (PCIe AIC)未正式发布规划中原生硬件支持规划设计覆盖 FP4/MXFP4 到 FP64最高 480GB LPDDR5xAWSTrainium3 (NeuronCore-v4)EC2 Trn3 UltraServers2025年12月2日原生硬件支持单芯片 MXFP8/MXFP4 算力315 TFLOPS支持结构化稀疏和微缩放NVIDIAHopper (SM90)H100, H2002022年硬件发布软件模拟无原生 FP4 Tensor CoreMXFP4 权重需回退到 Marlin W4A16 或重编码为 block-FP8QualcommAdreno X1 / X2X-Elite 等2025-2026年软件适配软件模拟通过 OpenCL 内核加载 MXFP4 MoE 权重非硬件原生AppleM 系列 (M1–M5)Mac Studio / MacBook2025-2026年软件适配软件模拟通过 MLX 框架支持 MXFP4 权重加载和推理