租的 GPU 跑大模型很慢？3 个常见原因排查（多半不是卡的问题）

具体 token/s 因模型、量化、上下文长度和硬件而异本文给量级判断速度以你自己实测为准。很多人租了张 4090 跑 7B结果推理速度才个位数 token/s第一反应是这卡是不是被商家坑了。但大概率不是卡的问题——80% 是加载方式和参数没配对。3 个原因逐个查。原因 1直接用 transformers 原生加载最常见上来就AutoModelForCausalLM.from_pretrained()把模型 load 起来跑。这种写法是给开发调试用的不是给生产推理用的——没有连续批处理、没有高效注意力速度自然慢。解决办法换成专门的推理引擎比如 vLLM 或 TGI。它们针对吞吐做了优化同样一张卡、同一个模型吞吐往往能翻好几倍数倍量级具体看负载。vLLM 启动大概长这样python -m vllm.entrypoints.openai.api_server \ --model /path/to/your-model \ --served-model-name your-model \ --port 8000换上去之后先和原生加载对比一下吞吐差距通常很明显。原因 2没开量化显存被权重占满第二个原因FP16 加载7B 权重就占约 14G24G 的卡剩下的显存不多了没法开 batch只能一个一个请求跑——单条看着还行并发一上来吞吐就崩。解决办法开量化INT8 / AWQ。量化省下来的显存腾出来给连续批处理用能同时处理更多请求整体吞吐反而更高。vLLM 里量化模型大概这样指定--quantization awq原因 3batch 参数没调用了默认值第三个已经上了 vLLM但全用默认参数。vLLM 默认值偏保守你可以根据显存和模型大小调大--max-num-seqs最多同时处理多少个序列--max-model-len最大上下文长度按你实际需要设别开太大白占显存。调大max-num-seqs让它并发更多请求吞吐通常还能再上一个台阶。当然这些值要在显存够用的前提下调别调到又 OOM。你的慢是哪种现象大概率原因先做什么用 transformers 直接 load没换推理引擎换 vLLM / TGI显存几乎占满没量化开不了 batch开 INT8 / AWQ已上 vLLM 但仍一般默认 batch 参数调 max-num-seqs这三项都调完速度还是上不去才需要怀疑是不是真该换卡了。你租的什么卡、跑什么模型、现在大概多少 token/s评论区报一下我帮你看是配置没调对还是真的该升卡了。