AI芯片指标全解读：从TOPS、带宽到功耗，看懂选型关键

1. 先搭好认知框架AI芯片指标到底在回答什么问题这两年只要一聊AI算力总有人拿着参数表问我一堆“阿拉伯数字”怎么看。比如某款推理芯片标称200 TOPS另一款标称45 TFLOPSFP16还有的干脆用“等效算力”“总算力”这种模糊表述让人摸不着头脑。说实话我刚入行那会儿也被这些口径绕晕过后来自己做过几轮选型和实测才慢慢理清楚所有指标本质上都在回答四个问题——芯片一秒钟能算多少次、计算过程中数据能不能喂得够快、算完这些数要烧多少电、以及这个平台能不能把这些纸面数字真正落到你的业务上。这四个问题分别对应算力指标、存储与互联指标、能效指标、还有生态与实测表现。很多人买卡只看第一个也就是算力数字结果要么买到“理论王者、实际拉胯”的芯片要么买了颗大炮打蚊子成本翻了几倍业务收益一点没涨。这篇文章我会掰开揉碎讲清楚这些指标的真正含义包括它们怎么计算、怎么换算、厂商宣传里常见的水分、以及我从实际项目里攒下来的选型清单和踩坑经验。不管你是做AI基础设施的工程师、带算法团队的技术Leader还是给公司选型采购的负责人看完之后至少不会再被参数表上的数字唬住。对刚入门的同学来说这也是一份可以直接“抄作业”的指标速查手册。先说一个被我反复强调的观点AI芯片指标没有哪一个能单独决定成败真正重要的是组合起来看并且一定要结合你的业务负载去看。下面我一个个拆解。2. 算力指标的三组关键口径TOPS、TFLOPS和稀疏算力2.1 TOPS和TFLOPS到底是什么怎么换算很多参数表上最醒目的位置写着XX TOPS这是整数算力单位是“每秒万亿次操作”。而TFLOPS是浮点算力单位是“每秒万亿次浮点运算”。两者不是同一个东西但存在一个常见换算关系在AI芯片通常对比的精度下1 TFLOPSFP16约等于2 TOPSINT8因为一次FP16乘加运算内部通常会被拆成两次INT8运算来处理实际上芯片内部会做FP16运算这个换算只是业界用来快速对比的粗略口径。实际操作中怎么用这个关系举个现场选型的例子。某次我们做边缘端视频结构化项目候选芯片A标称32 TOPSINT8芯片B标称12 TFLOPSFP16。按公式算B的INT8算力大约在24 TOPS左右反而比A低。但项目实际负载里有大量ResNet-50、YOLOv5这类以INT8量化为主的模型A直接支持硬件INT8加速B虽然FP16更强但INT8算力略低最终我们选了A因为脱敏后的视频流走INT8量化吞吐量就是关键指标。再来补充精度方面的基础认知。现在的AI芯片基本都支持多种数值精度常见的有FP32、FP16、BF16、INT8、FP8。FP32精度高但慢常用于传统科学计算FP16在AI训练里用得很多BF16同样16位但动态范围比FP16大大模型训练几乎都离不开它INT8和FP8则主要用在推理场景精度损耗可控但速度翻倍。如果一张卡同时标了FP16算力和INT8算力你在做推理项目时一定要优先看INT8因为这才是你大概率实际用到的规格。2.2 稀疏算力数学上的“减半”现实里的“腰斩再腰斩”厂商参数表上那些特别吓人的数字比如几百TOPS的稀疏算力背后通常有一句话没写明白这是利用了稀疏性的理论值。稀疏算力的逻辑是神经网络里大量权重是0如果跳过这些0的计算理论上计算量可以减少50%所以很多芯片会把稀疏算力标成稠密算力的两倍。但现实是你部署的模型稀疏度往往达不到2:1。模型剪枝和结构化稀疏本身就有技术门槛通用芯片对非结构化稀疏的支持也很有限。就算你的模型确实稀疏了如果稀疏模式不匹配硬件加速器要求的pattern实际加速效果远低于理论值。我见过一个团队采购了主打稀疏加速的芯片标称稀疏算力高达400 TOPS结果他们训练的大模型稀疏率只有1:1.2跑起来连250 TOPS的稠密算力都摸不到。所以选型时一律把稀疏算力当“锦上添花”而不是“雪中送炭”。除非你的团队有精力专门做模型剪枝和硬件适配优化否则把稀疏算力数字砍一半再对比都不过分。2.3 为啥算力指标不能只看峰值还要看“持续算力”峰值算力其实就是“一秒钟能爆发的极限”但芯片跑起来之后供电、散热、频率调整都会介入。很多移动端或者边缘芯片标注的TOPS是在最高频率下测得的只能维持几秒钟。一旦遇到持续负载芯片发热后触发降频性能可能只剩标称值的60%到70%。这里我建议你关注一个词持续算力Sustained Performance。正规厂商会在白皮书里给出持续推理性能或者你可以自己跑一轮5到10分钟的压测脚本记录吞吐量曲线。我记得我们之前测某款国产推理卡时前两分钟帧率能到120 FPS五分钟后就掉到80 FPS原因是供电模块过热降流了。如果不做持续压测只看晨鸟性能上production后绝对要出问题。所以结论很简单峰值算力决定“能不能做到”持续算力决定“能不能一直做到”。正规选型流程里后者权重应该更高。3. 存储带宽和互联指标AI性能真正的隐形天花板3.1 内存带宽不够算力再强也是“端着金碗要饭”哪怕你手里的芯片每秒能算1000万亿次如果数据从显存搬到计算单元的速度跟不上计算单元就只能空转等待。这种现象学术上叫“内存墙”几乎所有AI负载都受它影响。你去看英伟达的数据A100 80GB版的内存带宽超过2TB/sH100提升到3.35TB/s为什么这些卡卖这么贵很大一部分成本就花在了HBM高带宽存储上。怎么判断你的负载到底吃不吃带宽最简单的方法是估算“计算访存比”。比如一个矩阵乘操作每做一次浮点运算需要搬几个字节的数据。如果算力是10 TFLOPS但带宽只有100GB/s那个算力基本发挥不出来。业内有个粗鲁但管用的经验推理芯片每提供1 TOPS的INT8算力至少需要配套10GB/s以上的有效内存带宽否则大概率喂不饱。这不是什么官方标准是我做过的几个项目归纳出来的经验值但用来初筛参数表非常有效。3.2 显存容量决定你能跑多大的模型、多大批次AI芯片选型只看算力和带宽还不够显存容量往往才是真正卡脖子的地方。以LLM推理为例模型权重要放在显存里KV Cache也要占显存。我们算一笔账7B参数的模型用FP16存权重大约需要14GB显存一个并发请求的KV Cache又占几百MB到几GB不等具体取决于序列长度。如果一张卡只有16GB显存卡着极限也许能跑但batch size只能开很小吞吐量惨不忍睹。如果目标是高吞吐比如线上API服务显存越大意味着你可以一次喂更多请求让算力保持饱和。这也是为什么H100在80GB显存之上还有H200这种141GB版本为的就是让大模型推理场景能开更大的batch把带宽和算力用满。算力可以因为利用率打折但显存不够那是物理限制用什么优化手段都绕不过去。3.3 多卡互联指标集群场景里“木桶效应”最明显单卡性能再强当你需要训练千亿参数大模型或者做大规模分布式推理时就得把多张卡连起来。这时候互联总线就成了新的瓶颈。常见互联方案有PCIe、NVLink以及跨节点的IB或RoCE网络。考察这些指标时不要只看带宽数字还要看拓扑结构。同样8张卡如果是全互联拓扑点对点通信快如闪电如果是单向环形拓扑数据传一圈要绕路延迟成倍涨。比如英伟达在DGX/HGX里用NVLink把8卡全连接带宽达到900GB/s量级这就是为什么“单机8卡”成了很多大模型训练的基本配置。从实践经验来说预算有限时我建议优先把单机多卡的互联配置拉满而不是买一堆便宜的小卡用PCIe凑合着组集群。因为分布式训练中通信等待时间占比太高光有算力喂不上数据训练效率会一直卡在50%利用率上下这个坑我踩过不止一次。4. 能效指标TDP、每瓦性能与部署成本的隐藏博弈4.1 TDP不是“实际功耗”而是“散热设计上限”TDP热设计功耗经常被新手当成“实际功耗”其实它代表的是散热系统需要能带走的热量上限实际功耗往往落在TDP的80%到120%之间。为什么这个指标这么重要因为它直接决定了服务器电源、散热片、机柜温控怎么设计。我们之前在一个智算中心项目里估算过同样提供500 TFLOPS算力两张高TDP卡可能需要3U空间和强劲液冷而一颗低TDP的边缘芯片只需要一个小风扇整个TCO差了一个数量级。AI芯片标称的功耗很奇怪因为它的功耗和你跑的负载强相关。跑大模型训练矩阵乘单元全部激活功耗接近TDP上限跑轻量推理很多单元闲置功耗可能只有TDP的一半。所以算功耗预算时不能只拿TDP值做匀速风扇设计要预留足够的余量。4.2 每瓦性能TFLOPS/W才是边缘和移动场景的真命天子每瓦性能就是把算力除以功耗比如一颗芯片是2 TFLOPSFP16功耗是5W那每瓦性能就是0.4 TFLOPS/W。这个指标在手机SoC、机器人、无人机、边缘盒子这类设备上是决定性指标因为设备电池就那么大散热空间有限。同样是跑YOLOv5有的芯片跑得很快但功耗飙到20W装到四旋翼无人机上飞五分钟就过热保护了另一颗算力低一些但功耗只有8W反而能持续工作。云端场景对能效没那么敏感但也不是无所谓。智算中心里电费是长期运营成本大头同性能下每瓦性能更高的芯片一年省下的电费可能就能覆盖芯片差价。我建议选型时做一个三年TCO测算功耗差10W一万台服务器一年就是将近900万度电的差异按10W×10000台×24小时×365天计算在电价高企的地区这个数字非常可观。4.3 能效比数据的“作弊”套路低功耗低精度组合拳看参数表上的每瓦性能时要留个心眼有些厂商喜欢用最低精度、最低频率的数据来算能效比比如用INT4计算算力除以某个限制频率下的功耗。这种数据看起来漂亮但和实际业务差很远。一切能效和性能对比必须在相同精度、相同负载、相同环境温度下才有意义。从我的经验看最靠谱的做法不是对比“标称每瓦性能”而是自己拿真实模型跑到稳定温度后记录整卡功耗和FPS算出“实际每帧功耗”。纸面每瓦性能只用来初筛最终决策数据一定来自你自己的工作负载。5. 学会拆穿宣传话术厂商指标里最常见的三个水分来源5.1 水分一稀疏算力打着稀疏旗号翻倍标价前文详细讲过稀疏算力的数学逻辑了这里单独拎出来是因为它是目前参数表上最普遍的“注水”方式。很多厂商已经默认把稀疏算力印在宣传册封面而把稠密算力藏在说明页小字里反差极大。你在对比两颗芯片时一定要先确认两边标的是不是同一个口径。如果A厂商写“400 TOPS稀疏”B厂商写“200 TOPS稠密”请把两者拉回同一个维度也就是都用稠密算力对比。5.2 水分二混合精度算力跟你业务没半点关系另一种常见操作是把所有精度算力合并宣传比如“该芯片支持FP16/INT8/INT4计算总算力达到XX”。这个“总算力”怎么来的往往是把各精度算力简单相加。问题是你不可能同时用两种精度跑同一个模型。就比如一颗芯片FP16算力是20 TFLOPSINT8算力是40 TOPS它宣传“总AI算力60”但你实际用的时候只能用其中一个。这叫噱头不叫指标。正确做法是看单一精度的连续算力尤其是你真正准备用的那个精度。5.3 水分三理论峰值与真实吞吐量的鸿沟理论峰值来自芯片内部乘加单元全速运行的极限测试而真实业务负载可能因为算子调度、数据搬运、同步开销等各种原因达不到那个值。行业里把实际吞吐量和理论峰值的比例称为“利用率”不同负载利用率差异巨大。ResNet-50这种经典CV模型GPU上利用率可以做到60%以上但很多图神经网络、稀疏场景模型利用率可能只有20%跑LLM推理时如果没有把batch开大做连续性优化利用率也常常在30%以下。正因如此选型评估单上最该有的不是参数表截图而是一张真实benchmark表格。比如MLPerf的训练和推理测试结果虽然不能完美代表你的业务但至少是同一个标准下的公平对比。预算充足的话更应该直接租几台测试机把自己的模型放上去跑48小时看真实吞吐量、延迟和稳定性这比任何参数表都值钱。6. 实操案例用一个7B模型推理需求反推芯片规格6.1 第一步算清楚显存需求这个案例是我最近给客户做的一个AI推理服务器配置目标是在线部署一个7B参数模型FP16权重最大输入序列长度2048。模型权重显存7B参数 × 2字节FP16≈ 14GBKV Cache估算假设每Token的KV Cache占用约0.5MB不同模型结构有差异并发32个请求、平均输出序列长度1024大约额外占 32 × 1024 × 0.5MB ≈ 16GB激活值和其他overhead预留约4GB合计显存需求 ≈ 34GB。所以单张24GB显存的卡肯定不行至少得48GB稳妥起见上80GB。这一轮就把大量24GB游戏卡直接淘汰了。6.2 第二步用目标吞吐量倒推算力需求假设线上QPS目标是50每个请求平均生成200个Token那每秒需要生成的Token数是50 × 200 10000 Token/s。7B模型推理在主流加速卡上每生成一个Token大约需要 2 × 参数量7B× 浮点运算系数 的FLOPs简化估算为单Token大约14 GFLOPs。那么每秒需要的有效算力就是 10000 × 14 GFLOPs 140 TFLOPSFP16。注意这是“有效算力”不是“芯片标称算力”。按50%利用率折算芯片至少需要提供280 TFLOPS左右的FP16算力。一台8卡服务器单卡FP16算力至少要35 TFLOPS实际上很多主流数据中心级卡都超过这个数所以瓶颈往往不是算力而是显存容量和带宽。6.3 第三步校验带宽是否匹配推理时每个Token生成需要把所有权重从显存读取一遍所以带宽需求约等于“每秒生成的Token数 × 权重大小”。用上面的数据10000 Token/s × 14GB权重 140GB/s。这还只是单请求连续读取的下限如果服务器要支持多个请求并行带宽需求还会成倍往上走。所以H系列卡能做到3TB/s以上带宽就是为这种高并发推理准备的。这套“从业务倒推选型”的思路比盯着参数表上的数字大海捞针靠谱得多。你可以把这个方法套用到其他规模的模型上简化版公式就是三步先算显存容量再算算力需求最后校验收发带宽。三者任何一个不满足都得重新选。7. 常见误区与实战排查这些年选型踩过的坑全记录7.1 误区一只看TOPS不看内存带宽和容量这是新手最容易犯的错误。TOPS是“每秒能算多少次”但如果每次计算都要等数据从显存慢慢搬过来算力就是空转。我的经验是凡是要做端侧实时推理的视频检测、语音识别内存带宽权重甚至要大于算力权重。很多边缘芯片标称几十TOPS带宽只有十几GB/s跑个1080P多路视频解码加推理就直接卡死。7.2 误区二拿训练卡去跑推理利用率低到心疼训练卡和推理卡的侧重点完全不同。训练卡更看重强大的算力和高速互联因为训练要反复迭代、大量同步推理卡则强调低延迟、低功耗和批量处理能力。比如用A100跑一个很小的文本分类模型由于启动开销和PCIe传输延迟实际QPS可能还不如一颗中等规格的推理芯片。服务器选型不应该是“越贵越好”而应该是“恰如其分”。7.3 误区三忽略环境温度对芯片性能的影响芯片性能受温度影响非常大。数据中心机房温度控制不到位或者边缘设备夏天暴晒芯片很快就会触发温度保护主频大幅下调。我们做过一次测试同一颗芯片在25度和40度环境温度下持续推理性能差距超过25%。这一点在车载、户外边缘、无人机场景尤其关键建议采购前要求厂商提供“高温环境下的持续性能曲线”或者至少在数据手册里找到TJMax结温上限并评估降频策略。7.4 误区四拿厂商SDK性能报告当“圣旨”每个AI芯片厂商都会提供自家深度学习框架和性能测试脚本跑出来的数字通常都很漂亮。但一旦你要接入自己的自定义算子、复杂的预处理pipeline、或者需要与现有框架深度集成性能很可能打折扣。真实项目里我们常发现同样的模型厂商SDK跑出200 FPS换成自己的部署框架只剩130 FPS差距惊人。这不能全怪厂商毕竟优化深度不同但参考时必须心里有数。7.5 实战排查部署后性能不达标的排查顺序如果你拿到一款新芯片跑真实模型发现性能远低于预期按下面的顺序排查能省不少时间确认精度是否正确匹配。模型如果是FP16训练出来的你硬转成INT8推理虽然速度快了但精度掉了重训代价更大。确认算子是否全部走加速单元。有些芯片只对特定类别的算子做硬件加速其他算子会退化到CPU模式性能骤降。建议跑一下性能分析工具看算子级别耗时。确认内存访问模式是否连续。很多AI负载性能差不是算力不够而是大量随机访问显存导致cache miss严重优化数据布局往往比优化计算更有效。确认是否存在热降频或者功耗墙限制。用硬件日志查看GPU/加速卡实时的频率和温度曲线排除物理因素。确认互联带宽是否成为瓶颈。多卡协同跑一个模型时如果通信占比过高就要考虑拓扑优化或增加batch size减少通信频率。这五步走完90%的性能问题都能定位到具体环节不至于盲目优化代码白费力气。7.6 经验清单一张表快速过一遍参数最后分享一张我选型时常用的速查表思路适用于大多数AI推理场景检查项关键指标经验参考值算力INT8稠密TOPS推理/ FP16 TFLOPS训练和业务负载计算需求对比利用率为50%左右带宽HBM或LPDDR带宽每1 TOPS INT8至少配10GB/s以上容量显存大小必须覆盖权重、KV Cache和batch余量功耗TDP和实测功耗确认供电散热方案有10%-20%余量互联PCIe版本、NVLink带宽、网络带宽多卡场景重点看拓扑不是只看带宽数字生态框架支持、算子覆盖率、部署工具链实际部署验证不轻信SDK报告这几年的选型做下来我最大的体会是AI芯片指标再花哨最后都要回到你真实的业务负载里去验证。参数表只能帮你筛掉明显不合适的选项不能帮你直接选出正确答案。如果你能掌握“从业务需求倒推芯片规格”这套方法再配合一轮实机验证基本就不会在关键决策上翻车。另外一个额外建议不管最后选了什么芯片一定要为未来半年的增长预留20%到30%算力余量。否则业务量一上来临时扩容的代价往往比当初一步到位贵得多。这些经验都是真金白银换来的希望能帮你在看指标、选芯片这条路上少走点弯路。