遇到的情况A6000 A800 跑出来的效果不同同环境、同数据集、同代码、同cuda排除了系统环境编码、NCCL环境、Ray分布式环境、版本不对齐等问题关注服务器本身A800属于Hopper系列GPU默认启用vLLMv1有新内核A6000属于Ampere不启用fallback到v0内核最终export VLLM_USE_V10解决之前在H20的卡Hopper系列也work可能是因为Hopper架构比A800更新使用了v1
阅读完成 · 觉得有帮助?