KV Cache、SSD和IO Die的数据通路

作者方宜万强 贺巍MEXT面向内存优化。它把flash引入内存层级通过访问行为预测将一部分温冷数据放到固态存储中并在后续访问前提前搬回近端内存。AMD在公告中把这件事放在数据中心内存优化、总拥有成本和AI部署效率的框架下。这条新闻可以放到AI推理的数据通路里看。推理上下文在变长。多轮对话、Agent、RAG、代码助手、企业知识库问答会持续拉长输入和会话状态。上下文拉长以后KV Cache、Prefix Cache、会话上下文、检索上下文都会增长。HBM要留给正在参与计算的热数据。DRAM或CXL Memory承担活跃工作集。历史上下文、共享prefix、长会话旧KV、本地RAG上下文会进入SSD等固态设备。问题随之出现。一、SSD进入AI内存层级后访问路径发生变化XPU再次访问这些落到SSD的上下文数据时不能只按传统块存储路径处理。传统存储路径里SSD看到的是LBA、队列和读写命令。模型、层、head、sequence range、session、prefix、访问期限、是否允许预取、是否允许降级存放这些计算侧信息在进入普通存储路径前已经丢掉。SSD控制器可以把NAND管好。它可以做并行、纠错、磨损均衡、FTL和队列调度。它很难知道这批数据后面会按哪个layer读哪个sequence range先用哪个prefix会被多个请求复用哪个读请求会影响decode阶段的等待时间。SSD保持自己的物理边界。它有介质延迟有访问粒度有队列模型有写放大和寿命约束。工程上要解决的不是让SSD变成DRAM。工程上要解决的是在数据进入普通块存储路径之前把计算侧访问整理成更适合SSD的访问形态。XPU侧的访问通常是细碎的、随机的、带同步等待关系的。SSD侧更适合大块、连续、多队列、高并发、可提前调度的访问。两边的访问模型不一致中间需要一个桥接点。二、UB IO Die正好在计算侧和存储侧之间在UB开放互联体系里UB IO Die处在这个位置。第三方XPU通过UB IO Die接入UB互联域。SSD、存储控制器、CXL Memory、远端存储资源也可以通过UB IO Die进入统一数据通路。UB IO Die一端接近XPU的Load、Store、Prefetch、Evict等访问语义另一端接近SSD/NVMe队列、DMA、缓存、链路和返回路径。这个位置决定了它不只是接口适配芯片。它可以成为XPU访问固态存储资源时的语义桥梁。UB IO Die向上承接XPU的数据访问意图向下组织SSD等固态设备的访问形态。它把“通”的能力放在计算和存储之间让第三方XPU、第三方SSD、第三方存储控制器能够在同一条数据通路里协同工作。三、UB IO Die能给SSD访问带来什么增量第一保留KV Cache的对象信息。XPU侧访问的不是普通文件块。它访问的是某个模型、某个session、某个layer、某个head、某段sequence对应的上下文对象。UB IO Die可以把这些访问整理成对象级访问维护对象位置关系。对象可以在HBM、DRAM、CXL Memory、SSD、远端存储之间移动。XPU看到统一的访问入口不需要直接关心对象当前在哪一层。第二在写入阶段为后续读取做准备。KV Cache生成时的数据顺序未必等于后续读取顺序。按照生成顺序直接落到SSD后续可能变成大量小块随机读。UB IO Die可以在Store阶段把多个小对象聚合成更适合SSD的数据块。后续Load时系统可以用更大的粒度、更连续的方式读取。SSD的带宽和队列能力才能被更充分利用。第三在读取阶段提前调度。XPU后续要访问某段历史上下文访问时点通常不是完全不可知。模型执行到哪个阶段、下一层需要什么、decode阶段什么时候需要返回系统可以提供一定的访问期限信息。UB IO Die可以结合XPU近端内存压力、SSD队列状态、UB链路状态和对象位置在真正Load发生前先做预取或搬移。数据提前到达近端缓存或近端内存XPU等待时间下降。第四把返回路径重新组织成XPU更容易使用的形式。SSD返回的是存储完成。XPU需要的是近端可访问的数据。UB IO Die可以通过DMA、缓存填充、地址映射和完成通知把SSD侧完成结果重新组织到XPU更容易使用的位置。这样SSD参与的是AI数据通路不只是后端容量设备。四、SSD的评价标准也会变化SSD承接KV Cache和上下文数据以后评价标准会发生变化。过去看SSD更多看容量、顺序带宽、随机IOPS和可靠性。AI推理场景下还要看它能不能稳定承接上下文数据能不能配合多队列和高并发读能不能控制P99延迟能不能和XPU、IO Die、CXL Memory、DMA路径一起工作。企业级SSD的固件、队列调度、读写优先级、低延迟一致性、写放大控制、介质寿命管理会进入AI服务器的数据路径讨论。SSD不再只是容量盘。它会成为AI内存层级中的冷/温数据承载层。五、UB IO Die的位置价值UB IO Die在这里承担的是“通”的角色。它连接第三方XPU也连接SSD、CXL Memory、网络和远端存储。它不是简单把一个接口翻译成另一个接口。它要把计算侧的数据语义和存储侧的访问形态接起来。AMD收购MEXT说明AI服务器的内存优化已经进入系统路径问题。软件预测是一条路径。硬件桥接、协议语义和数据通路优化也是一条路径。在UB生态里第三方XPU、第三方SSD、第三方存储控制器都需要一个稳定的接入点。UB IO Die处在这个接入点上可以把SSD等固态设备纳入AI内存层级让更长上下文、更大KV Cache和更多并发会话有更清晰的数据通路。后续AI服务器不会只看XPU峰值算力。数据能不能在正确的时间到达正确的位置会直接影响推理吞吐、首token延迟、尾延迟和系统成本。长上下文推理继续发展SSD会更靠近计算。IO Die会成为XPU和固态存储之间的重要桥梁。UB生态需要这样的桥梁也需要围绕这个桥梁建立可扩展、可管理、可演进的数据通路。