★ FEATURED ARTICLE 【免费下载链接】vLLM-2080Ti-DefinitiveThe definitive vLLM runtime for dual RTX 2080 Ti 22GB NVLink, delivering Qwen 27B local inference with maximum 200 tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )项目地址https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive点击查看免费下载vLLM-2080Ti-Definitive 是一个面向双 RTX 2080 Ti 22GB NVLink 及 Tesla T10 多卡环境的 vLLM 推理运行时可将 Qwen 27B 级别的模型跑在本地消费级硬件上单请求解码稳定在 200 tok/s。这篇文章带你搞懂它的多卡分工机制TPTensor Parallel 张量并行、PPPipeline Parallel 流水线并行如何组合部署以及在没有 NVLink 的纯 PCIe 机器上All-Reduce 通信是怎么被加速的。一、为什么需要多卡显存是第一道门槛以 Qwen3.8-27B 为例FP8 权重加 262K 上下文的 KV Cache单张 22GB 显卡根本装不下。多卡方案的核心问题只有一个每张卡负责什么、卡之间传什么。vLLM 里有两个经典的分工维度方式分工逻辑通信开销适用场景TP 张量并行每张卡持有每一层的部分权重前向计算后每层都要做一次 All-Reduce 同步高每层都通信卡间带宽高NVLink / PCIe P2P 好PP 流水线并行每张卡持有一部分层一个 stage数据像流水线一样逐级传递低只在 stage 边界传激活值卡间带宽有限、跨 NUMA 节点两者可以混合比如 4 卡机器上TP2 x PP2。本项目的启动器 launcher.sh 同时支持 TP、PP 与混合 TP/PP 三种拓扑并内置了对验证过的拓扑推荐。二、一键配置Launcher 如何决定多卡分工项目用交互式launcher.sh管理服务。进入主菜单后第 3 项就是GPU/TP/PP配置底部还会实时显示Parallel layout: TP2 x PP1这样的并行布局摘要选择GPU/TP/PP后launcher 会读取nvidia-smi的拓扑矩阵调用 tools/recommend_gpu_topology.py 按链路质量打分NVLink 记 50 分PCIe 的 PIX/PXB/PHB/NODE/SYS 分别记 40/30/20/10/0 分P2P 直通再加 100 分为每个 TP rank 组挑选带宽最优的 GPU 组合。几个关键校验规则见 launcher.shTP_SIZE与PP_SIZE必须都是正整数选中的 GPU 数量必须等于 TP_SIZE × PP_SIZE否则直接报错。自动化部署时可以用非交互模式完整说明见 docs/non-interactive-launch.zh-CN.md./launcher.sh \ --model-dir /mnt/models/Qwen3.8-27B-FP8 \ --profile 2x2080Ti/qwen27b/w8a16/mtp4-fp8kv-1x262K-text-only.env \ --gpu-devices 1,5 \ --tp-size 2 \ --pp-size 1 \ --print-config先加--print-config预览最终生效的路线参数确认无误后去掉即可启动。已验证的拓扑布局如下硬件并行布局卡间互联参考性能4K/128 解码2x RTX 2080 Ti 22GBTP2NVLinkNV2220.84 tok/sNVFP44x Tesla T10 16GBTP4PCIe PIX同 NUMA191.89 tok/sFP8详细数据可查 profiles/2x2080Ti/README.zh-CN.md 与 profiles/4xT10/README.zh-CN.md。三、TP2 到底在每张卡上做了什么在TP2下Qwen 27B 的每个 Transformer 层被切成两半两张 2080 Ti 各算一半的注意力头和 MLP然后每层结束时必须做一次 All-Reduce把两个分片的输出加起来得到完整结果。也就是说TP2 跑一层要通信一次跑 48 层就要通信几十次——通信延迟直接决定解码速度。这正是 2080 Ti 平台的难点双 2080 Ti NVLinkNVLink 带宽高All-Reduce 开销小是项目的黄金拓扑。纯 PCIe 机器如 Tesla T10没有 NVLinkAll-Reduce 只能走 PCIe。标准 NCCL 在小张量hidden state 通常只有几 MB 甚至更小上延迟偏高直接拖慢 decode。4xT10 之所以选TP4 而不是 TP2 x PP2就是因为四张卡恰好位于同一 NUMA 节点、卡间为 PCIe PIX 直连PCIe All-Reduce 的带宽足够撑住 TP4 的每层通信。四、PCIe All-Reduce 全解多级后端自动择优vLLM 没有只押注 NCCL 一条路。核心调度逻辑在 vllm/distributed/device_communicators/cuda_communicator.py 的CudaCommunicator.all_reduce中约 L327-L405按优先级依次尝试多个后端哪个条件满足走哪个优先级后端实现文件说明1NCCL Symmetric Memorypynccl.py满足对称内存条件时的高通量路径2QuickAllReducequick_all_reduce.py量化加速INT8/INT4 等当前面向 ROCm MI3003FlashInfer PCIe IPC All-Reduceflashinfer_pcie_ipc_all_reduce.py专为纯 PCIe 单机的小规模 TP设计支持 world size 2/4/84FlashInfer All-Reduceflashinfer_all_reduce.py通用 FlashInfer 路径5Custom All-Reducecustom_all_reduce.py基于 CUDA IPC 共享内存的低延迟实现初始化前会做 P2P 可达性检查_can_p2p6PyNcclpynccl.pyNCCL 兜底7torch.distributed—最终兜底对 PCIe 平台最重要的是第 3、5 项FlashInfer PCIe IPC All-Reduceflashinfer_pcie_ipc_all_reduce.py通过环境开关VLLM_ALLREDUCE_USE_FLASHINFER_PCIE_IPC显式启用要求所有 TP rank 在同一台机器内并为 CUDA Graph 捕获时的具体 batch 尺寸做调优把小张量 All-Reduce 的往返延迟压到最低。Custom All-Reduce则通过 CUDA IPC 在卡间直接映射显存缓冲跳过 NCCL 的控制开销初始化时gpu_p2p_access_check会验证 P2P 能力若平台不支持可设VLLM_SKIP_P2P_CHECK信任驱动报告。进程组与 rank 划分的底层逻辑在 vllm/distributed/parallel_state.pyvLLM 会创建tp、pp等独立进程组custom all-reduce 等快速后端只允许挂在tp组上PP 组走常规 NCCL 通信——分工清晰互不干扰。五、分工进阶Prefill 与 Decode 也可以拆开除了 TP/PP 的空间维度分工vLLM 还支持把计算阶段拆开Prefill处理长提示词算力密集和 Decode逐 token 生成带宽密集由不同角色承担Prefill 算完把 KV Cache 交给 Decode 端复用跳过重复计算这套机制的连接器实现位于 vllm/distributed/kv_transfer/是多卡集群部署时的进阶玩法。本项目日常单机场景默认不启用但了解它有助于理解分工的完整图景。六、上手步骤从零启动一个 TP2 服务# 1. 获取代码 git clone https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive cd vLLM-2080Ti-Definitive # 2. 构建需要 CUDA 13.0 / PyTorch 2.13 环境 ./build.sh # 3. 以 TP2 启动 Qwen3.8-27B FP8 服务 MODEL_DIR/path/to/Qwen3.8-27B-FP8 \ PROFILE2x2080Ti/qwen27b/w8a16/mtp4-fp8kv-1x262K-text-only.env \ MODEfast GPU_DEVICES1,5 TP_SIZE2 \ NON_INTERACTIVE1 ./launcher.shlauncher 会依次完成选择 GPU 与 TP/PP 拓扑 → 应用 profile 路线参数 → 启动服务 → 健康检查与冒烟测试。若启动失败先用./launcher.sh --print-config核对配置再对照 profiles/README.zh-CN.md 检查 profile 字段GPU_UTIL、KV_CACHE_DTYPE、MAX_MODEL_LEN等是否与你的硬件匹配。七、验证通信效率用 Profile 看清时间花在哪部署完成后建议用 Nsight Systems 抓一次 kernel 统计确认通信没有被计算掩盖或反过来拖累计算。仓库内置的 profiler 工具链在 tools/profiler/可将 nsys 结果导出为 CSV 查看各 kernel 的总耗时重点关注all_reduce类 kernel 的耗时占比在 NVLink 拓扑上它应占很小比例若在 PCIe 机器上占比异常升高优先确认是否启用了上面第四节中的 PCIe IPC / Custom All-Reduce 快速路径。总结TP 切层、PP 切段TP2 让双 2080 Ti 各算半个模型、每层 All-Reduce 同步PP 则把层切成 stage 逐级传递通信更省但需要更多卡。launcher 统一管理拓扑TP_SIZE×PP_SIZE必须等于 GPU 数recommend_gpu_topology.py按 NVLink/PCIe 链路质量自动挑选最优 rank 组合。PCIe 平台的胜负手在 All-Reduce多级后端Symm Mem → Quick → FlashInfer PCIe IPC → Custom → NCCL按条件自动择优让纯 PCIe 的 4xT10 也能跑到 190 tok/s。先--print-config再启动用 profile 数据验证这是复现 200 tok/s 的两把钥匙。掌握这套分工方法后无论手头是 NVLink 双卡还是 PCIe 四卡都能找到带宽与延迟都最优的并行布局。赞分享【免费下载链接】vLLM-2080Ti-DefinitiveThe definitive vLLM runtime for dual RTX 2080 Ti 22GB NVLink, delivering Qwen 27B local inference with maximum 200 tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )项目地址https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive点击查看免费下载相关推荐vLLM-Omni分布式推理指南TP/PP/DP并行策略详解vLLM Omni分布式推理指南TP/PP/DP并行策略详解 vLLM Omni是一个专为全模态模型设计的高效推理框架支持文本、图像、音频和视频等多种模态的人工智能大模型模型推理服务多模态语音音频媒体生成本地部署TensorRT-LLM 多 GPU 与多节点推理部署完全指南TP/PP/EP 并行策略实战TensorRT LLM 多 GPU 与多节点推理部署完全指南TP/PP/EP 并行策略实战 导读 本文以 AI Research SKILLs 仓库中 TeAI 技能人工智能大模型深度学习GLM-4.5 vLLM部署多GPU并行推理GLM 4.5 vLLM部署多GPU并行推理 概述 GLM 4.5作为智谱AI推出的3550亿参数大语言模型在智能体应用场景中展现出卓越性能。然而如此庞大基础模型大模型人工智能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
