★ FEATURED ARTICLE 【免费下载链接】tiny-vllmBuild your own high performance LLM inference engine in C and CUDA - a smaller version of vLLM项目地址https://gitcode.com/gh_mirrors/ti/tiny-vllm点击查看免费下载tiny-vllm 是一个用C 和 CUDA从零构建的高性能LLM 推理引擎可以理解为小号版 vLLM。它既是一份完整可运行的推理服务器源码也是一门带你亲手实现引擎的课程。本文面向想再进一步的开发者先看清它现在能做到什么再给出一份可直接照做的下一步优化清单帮你把这套 Llama 1B 专用引擎逐步升级为能跑多种模型的架构无关推理服务器。1. 现在它已经能做什么tiny-vllm 的核心能力已相当完整且全部计算跑在 GPU 的 CUDA 内核上能力说明加载真实模型从 Safetensors 读取 Llama 3.2 1B Instruct 权重完整前向同时支持 prefill预填充与 decode解码全 CUDA 计算Embedding、RMSNorm、RoPE、Softmax、SiLU 等均为手写内核KV cache分页式PagedKV 缓存默认 2GB连续批处理基于槽位slot 队列的 continuous batching在线 SoftmaxPagedAttention 内核内做 online softmaxGQA4 个 Query 头共享 1 个 K/V 头AMD GPU通过-DUSE_HIPON编译到 ROCm/HIP想快速验证它跑得对不对跑 test.sh 构建并运行再用 full_test.sh 送入一段固定 prompt输出会与 reference.txt 里的参考结果对齐——例如最终解码出Paris。2. 当前引擎架构一条从 Token 到 Token 的链路理解下一步优化什么之前先看清现有数据流。整条前向链路在 src/main.cpp 中组织每个可并行步骤都在 src/kernels.cu 里以 CUDA 内核实现分词文本 → token 序列由 python/tokenizer.py 完成Embedding 查表每个 token 取出长度 2048 的向量16 层 Transformer每层依次做 RMSNorm → Q/K/V 投影 → RoPE → 注意力causal mask softmax→ O 投影 → 残差 → RMSNorm → MLPgate / up / SiLU / down最终归一化 线性输出得到词表大小的 logitsargmax取最高分 token继续 decode其中最吃算力的部分是矩阵乘法Q/K/V/O 投影、注意力、MLP全部走cublasGemmEx。这里有个关键细节cuBLAS 期望column-major而 LLM 权重是row-major存储的tiny-vllm 用转置技巧避免真正搬数据这一技巧贯穿所有投影与注意力计算是读懂 src/main.cpp 里那一大串cublasGemmEx调用的前提。3. 从Llama 1B 专用到架构无关差在哪目前引擎是为 Llama 3.2 1B 量身定制的——层数、嵌入维度、KV 维度等都被硬编码成常量见 src/main.cpp 的一组constexprN_LAYERS 16 EMBEDDING_LENGTH 2048 HIDDEN_DIM 8192 KV_DIM 512 NUM_Q_HEADS 32 VOCAB_SIZE 128256README 里其实点明了这个岔路口要么一开始就追求架构无关能跑任意模型前提是实现它用到的所有算子要么先专注单一模型、之后再泛化。作者选择了后者。所以进阶的第一站就是——把这套硬编码结构改成由模型自身驱动。4. 下一步优化清单照做即可下面 7 项按投入产出比排序每一项都能在现有代码里找到对应 TODO。4.1 参数化硬编码常量 ⚡把MAX_PROMPT_LEN、BATCH_SIZE、MAX_SEQ_LEN、MAX_NEW_TOKENS、BLOCK_SIZE以及模型路径model.safetensors从常量改成命令行参数。代码里已留了 TODO如 src/main.cpp 的BATCH_SIZE、src/main.cpp 的模型路径。这一步成本最低、收益最直接。4.2 构建真正的模型无关加载器当前loadWeights只认 Llama 的张量名。进阶做法解析 Safetensors header动态读取每个张量的shape与dtype再依据一份架构描述决定算子顺序。做到这一步引擎才能加载 Qwen、Mistral 等其他模型——即真正意义上的架构无关推理服务器。4.3 把 argmax 搬到 GPU 现在每生成一个 token都要把整块 logitsBATCH_SIZE × 128256拷回 CPU 再遍历取最大值见 src/main.cpp 的 decode 循环这是每个 decode 步都发生的GPU→CPU 同步。代码里已标注 move argmax to GPU。写一个 GPU argmax 内核、只把最终 token id 传回 CPU可显著降低单步延迟。4.4 用融合内核替代 K/V 逐块拷贝decode 阶段把新的 K/V 分散写入 Paged KV cache目前是靠循环里的cudaMemcpy逐个 token 搬运见 src/main.cpp。把它改成一个fused scatter 内核一次内核调用完成所有 slot 的写入能减少启动与访存开销。4.5 统一 prefill 与 decode 的 Softmax 策略decode 已在 PagedAttention 内用 online softmax见 src/kernels.cu 的内核而 prefill 仍走causalMask → 分块 softmax。可参考 FlashAttention 思路让 prefill 也走单趟 online softmax减少中间 attention 分数矩阵的显存占用。4.6 接入流式 tokenizer 与真实服务端目前 prompt 是硬编码在main里的 token 序列。进阶是从标准输入或网络接收文本实时调用 tokenizer 分词并送入队列配合 continuous batching 的槽位回收才是一个真正的服务。4.7 更大 batch 量化 增量同步batchBATCH_SIZE2明显偏小扩大它并配合 buffer reuse 才能压满 GPU。量化引入 INT8 / FP8 权重与激活量化是跑更大模型、提吞吐的标准手段。block table 同步目前每次全量cudaMemcpy整张 block table见 src/main.cpp 的 TODO改成只同步变化的部分即可。5. 如何验证优化效果项目自带一套测试与性能分析脚本改动后可直接对比test.sh构建并运行full_test.sh跑一段固定 prompt 做回归比对check.sh用compute-sanitizer查访存/越界错误ncu.shncu做内核级性能分析nsys.shnsys做整程 timeline 分析优化 CUDA 内核时先check.sh保证正确再ncu.sh/nsys.sh看瓶颈是最稳的节奏。6. 快速上手克隆与构建git clone https://gitcode.com/gh_mirrors/ti/tiny-vllm cd tiny-vllm ./test.sh # 构建并运行NVIDIA GPU 默认走 CUDA想跑在AMD GPU上编译时加-DUSE_HIPON并指定架构即可见 CMakeLists.txtcmake -B build -DUSE_HIPON -DCMAKE_HIP_ARCHITECTURESgfx1100 -DCMAKE_PREFIX_PATH/opt/rocm -G Ninja cmake --build build注意需要本地有一份model.safetensorsLlama 3.2 1B。唯一的外部依赖是一个单头文件 include/json.hpp。7. 一句话路线图参数化常量 → 模型无关加载 → argmax 上 GPU → 融合 KV 写入 → 统一 online softmax → 流式服务 → 量化与大 batch。沿着这条路线走下来你会得到一个能跑多种模型、延迟更低的架构无关 LLM 推理服务器。每一步都小、都可验证、都有现成 TODO 兜底——这正是 tiny-vllm 作为学习 实战项目的价值所在。赞分享【免费下载链接】tiny-vllmBuild your own high performance LLM inference engine in C and CUDA - a smaller version of vLLM项目地址https://gitcode.com/gh_mirrors/ti/tiny-vllm点击查看免费下载相关推荐FunASR vLLM 推理引擎实战指南从安装、双阶段架构到离线/流式服务部署FunASR vLLM 推理引擎实战指南从安装、双阶段架构到离线/流式服务部署 导读 本文以 FunASR 官方 vLLM 推理引擎指南为主线系统讲解如何将语音音频人工智能大模型模型推理服务本地部署iOS架构演进路线图从单体应用到微服务架构的终极转型指南iOS架构演进路线图从单体应用到微服务架构的终极转型指南 iOS应用开发在过去十年中经历了巨大的变革从简单的MVC模式发展到今天复杂多样的架构体系。本文将为教程文档移动开发从JVM到微服务toBeBetterJavaer架构师进阶之路从JVM到微服务toBeBetterJavaer架构师进阶之路 一、架构师能力图谱 架构师需具备从底层JVM到顶层微服务的全栈技术视野。本指南基于 toBeB文档教程知识库后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
