首页 / 资讯中心 / 文章详情

PyTorch 版本升级导致大模型推理数值漂移的排查与容器化锁定

PyTorch 版本升级导致大模型推理数值漂移的排查与容器化锁定 ★ FEATURED ARTICLE
一个 3.8B 参数的多模态定位模型(Qwen2 架构 + 视觉编码器)在多个环境里都能成功加载,但只有在特定版本组合下才能输出正确结果:torch 2.7.0 + transformers 4.57.1 正常检测出目标框,torch 2.10 起在 cuDNN 符号加载处崩溃,torch 2.13 配合 transformers 5.x 则输出空字符串或乱码 token。权重经逐张量比对完全一致,视觉特征的余弦相似度接近 1.0,但首个 token 的 logit 从 24.44 掉到了 1.49。问题现象跨环境的表现差异:环境torchtransformers加载推理pytorch272.7.0+cu1284.57.1成功正常pytorch2102.10.0+cu1284.57.1成功cudnnGetVersion崩溃pytorch2132.13.0+cu1325.14.1成功输出空串
阅读完成 · 觉得有帮助?
咨询建站