主流深度学习模型类别调研：从CNN到Transformer与扩散模型

1. 课题拆解与调研路径设定先说说我接到这个调研任务时的第一反应。项目标题叫“主流深度学习模型类别调研报告上”关键词里反复出现“深度学习”“模型”还有一大串关联热搜词像CNN识别恶意软件、LLM是否属于深度学习、低显存运行模型、模型中毒攻击……这些词虽然零散但拼在一起其实勾勒出了一个很清晰的轮廓这不是一篇“深度学习入门科普”而是一次对“模型家族图谱”的体系化梳理而且特别关注了这些模型在真实场景里的落地问题。我把这次调研的边界先划清楚。既然是“上篇”我优先处理五大类卷积神经网络CNN、循环神经网络RNN/LSTM、基于注意力机制的Transformer、生成对抗网络GAN与扩散模型以及图神经网络GNN与TCN这类时序建模变体。至于那些更细分的子领域比如多模态模型、轻量化模型、强化学习模型我准备放到“下篇”展开。调研路径上我不打算仅依赖教科书式的定义。深度学习现在最大的特点是迭代快很多概念从论文到工业落地用不了几个月。所以我给自己定的调研框架是五个问题这类模型解决什么结构的问题核心机制是什么典型代表有哪些适用场景和局限性分别在哪以及最近一年里它有没有出现变体或翻红迹象带着这五个问题去看每个模型类别都能聊出不少实质内容。整个过程走下来我自己比较满意的部分是我没有把模型类别当成孤立的知识点来罗列而是刻意用“任务类型-数据结构-模型选择”这条主线把它们串起来。比如遇到图像数据你为什么优先想到CNN而不该想到RNN遇到序列文本为什么Transformer成了主流而LSTM逐渐退居二线遇到不规则图结构GNN又凭什么成为首选。这些“为什么”才是调研报告真正有价值的沉淀。2. 卷积神经网络CNN从图像霸权到跨域渗透2.1 CNN的核心机制和设计哲学CNN之所以能成为深度学习第一个真正的“统治级”模型根本原因在于它深刻贴合了图像数据的结构特性。图像有三个天然属性局部性相邻像素相关性强、平移不变性猫挪个位置还是猫、层次性边缘-纹理-部件-物体。CNN用自己的三大组件分别回应了这三个属性卷积核做局部感知权值共享保证平移不变逐层堆叠形成从低级到高级的特征抽象。我做过一个粗浅但很直观的类比卷积核就像是滑动窗口在图上“扫”一遍每个窗口内的像素通过一组权值做加权求和产生一个特征值。如果有32个卷积核就相当于用32种不同的“滤镜”同时扫描这幅图每个滤镜负责提取一种特定模式比如横边、竖边、颜色渐变。你不需要提前告诉模型“什么是猫的耳朵”它会自己从数据里学出这些特征。这跟传统图像处理里靠SIFT、HOG手工设计特征提取器完全不同是“特征工程自动化”的革命性变化。实际训练中CNN的网络结构通常遵循“卷积-激活-池化”三件套的循环。卷积层负责特征提取ReLU负责引入非线性池化负责降采样缩小特征图尺寸。一个经验准则是网络越深、channel越多表达能力越强但过拟合风险和计算开销也会同步上升。ResNet之所以引入残差连接就是为了让网络可以做深同时让梯度可以“抄近路”回传避免深层网络退化。2.2 代表模型演进脉络与选型参考CNN的发展史其实是一部“网络越来越深、设计越来越精细”的历史。我做了一张选型对照表按时间线和适用场景整理模型突破点常用场景参数量级备注LeNet-5首个大规模应用的CNN手写数字识别约6万学习用经典AlexNetReLUDropoutGPU训练ImageNet分类6000万深度学习引爆点VGG小卷积核堆叠特征提取主干1.38亿结构规整、显存压力大GoogLeNetInception多尺度并采移动端初版约500万计算效率高ResNet残差学习通用视觉基座2500万起工业界最常用MobileNet深度可分离卷积移动端/边缘设备400万级低资源场景首选EfficientNet复合缩放高精度需求场景500万-6600万需要较多训练资源我实际项目里最常用的是ResNet50或ResNet18做迁移学习底座。因为ImageNet预训练权重成熟上位任务适配快。如果设备显存只有4-6GB我会优先考虑MobileNetV3或EfficientNet-B0效果差不了太多但训练速度和推理延迟差距非常大。有一个容易被忽视的点卷积核大小的选择。3x3是VGG验证过的黄金选择因为它堆叠两层等价于一个5x5的感受野但参数量更少、非线性更强。5x5或7x7通常只在第一层用用来快速扩大初始感受野。我的经验是不要一上来就在所有层用大卷积核收益不大代价不小。2.3 容易踩的坑CNN不是只能处理图像CNN最初是为了图像设计的但它本质上可以处理任何具有“局部相关性”和“网格结构”的多维数据。热搜词里有个“cnn识别恶意软件”这个我专门验证过把恶意软件的二进制字节流转换成二维灰度图再送入CNN做分类很多研究论文确实报告了95%以上的准确率。为什么会有效因为恶意软件代码中存在局部模式操作码序列、固定结构片段CNN的卷积核可以自动提取这些局部特征不需要人工去设计恶意特征签名。类似地CNN还被用于音频分类把音频转为语谱图、传感器信号识别、股票K线形态识别。所以别把CNN绑定在“图片”这两个字上它可以是一个通用的网格数据特征提取器。不过这里有个坑如果原始数据是一维时间序列直接用一维卷积Conv1D往往比先转二维图像再用Conv2D更高效、更保真。TCN时间卷积网络的核心思想就是用因果卷积膨胀卷积做序列建模效果在不少任务上可以和LSTM打平甚至超过而且可以并行训练。TCN不属于“主流大类”但在序列建模的替代方案里它是我重点推荐关注的一个方向。3. 循环神经网络RNN/LSTM昔日序列之王与现役定位3.1 序列建模的本质问题如果说CNN是为“空间”而生的那RNN就是为“时间”而生的。序列数据的特点是顺序敏感、长度不定、存在长期依赖。比如“我喜欢深度学习和我不喜欢深度学习”这两句话单词都一样顺序不同语义截然相反再比如预测股票明天的涨跌可能需要回看过去30天的走势而不是只盯最近一天。传统全连接网络面对这类问题很无力因为它假设所有输入特征独立同分布序列里的先后关系被彻底打平了。RNN的解决思路是引入“隐状态”这个概念每一步处理一个输入同时把上一步的“记忆”也一起更新。你可以把它理解成一个带内部存储的循环处理单元处理到第t个词时它脑子里装着前t-1个词的全部“总结”。问题也随之而来长距离依赖的梯度传播极其困难。误差反传时连乘因子会使梯度指数级缩小或爆炸这就是著名的“梯度消失/爆炸”。实践中你会发现普通RNN最多记住十几步之前的信息再远的就彻底没脾气了。3.2 LSTM的门控机制与GRU的折中LSTM长短期记忆网络通过引入三个门控单元来治理梯度问题遗忘门决定“哪些旧信息该扔掉”输入门决定“哪些新信息该写入”输出门决定“哪些信息该暴露给下一个时刻”。这个机制让信息可以“绕开”多次非线性变换直接在记忆细胞里传递梯度因此能流动得更远。GRU则是LSTM的简化版把三个门合并成两个重置门和更新门参数量更少、训练更快在数据量不大时效果与LSTM相当甚至更好。我自己的经验是做小规模序列任务GRU是性价比之王做机器翻译这种长序列复杂任务LSTM或双向LSTM仍是更稳妥的选择。但必须诚实地说这两者在当前大规模语言模型面前已不是最优解。有一个细节值得记录双向RNN。正向RNN只利用过去信息反向RNN只利用未来信息双向拼接后模型在t时刻的隐状态同时包含“之前的上下文”和“之后的上下文”。这在NLP很多任务里是标配。但要注意双向模型对在线实时推理不友好因为你需要等全序列输入完才能开始处理中间位置的输出。3.3 现在的实际定位与取舍建议我在调研中看到热搜词里还有“深度强化学习算法”顺带说一句深度强化学习中常用LSTM做策略网络的序列部分比如部分可观测环境下的决策这时LSTM的记忆能力仍然不可替代。另外语音识别中的声学模型虽然已被Transformer大面积替代但流式场景里因为延迟限制LSTM类模型依然有一席之地。给你一个当前选型的实用参考序列长度在100以内数据量几万条训练资源有限GRU足够需要双向上下文且序列中等长度BiLSTM需要严格在线逐帧输出LSTM或GRU长序列、大规模预训练场景直接转向Transformer别折腾RNN了工业界的多数NLP新项目如果从零开发优先Transformer变体。另外有个容易踩的坑是“填充与Mask”。用RNN处理变长序列时需要pad到相同长度但一定要用Mask机制让模型忽略填充位的loss计算和隐状态更新否则模型会被大量无效输入污染。4. Transformer与LLM从爆炸到重构深度学习版图4.1 自注意力机制到底解决了什么2017年Transformer横空出世它最核心的“自注意力”机制在解决RNN的痛点时做到了三个关键突破一是完全并行化不用像RNN那样逐时间步递推训练速度大幅提升二是全局感知每个token可以直接关注序列内任意距离的token不再受限于梯度衰减三是长距离建模能力获得跨越式提升。自注意力的基本操作理解起来不难把每个token映射成三组向量Query、Key、Value。用Query去“问”所有Key得到一个注意力权重分布然后用这个权重去加权求和Value。写成语义层面的描述就是对“猫”这个词模型会根据上下文自动计算它和“追”“老鼠”之间的关联强度从而判断“猫”在这里是施动者而非受动者。我听人用一个很形象的比喻注意力机制像做小组讨论每个人token先听听别人在说什么然后根据问题和自己的相关性调整自己在最终结论里的发言权重。这个机制比循环递推更接近人类阅读时“反复回看”的认知习惯。Transformer架构本身是Encoder-Decoder结构但实际应用中已经演化出三个分支Encoder-only如BERT擅长理解任务Decoder-only如GPT系列擅长生成任务Encoder-Decoder如T5、BART擅长序列到序列的翻译和摘要。而最近的LLM浪潮基本被Decoder-only路线主导。所以回答热搜词里那个常见疑问“LLM是否属于深度学习”——当然属于。LLM本质上就是“深度神经网络海量数据大规模算力”的产物只是它在架构上进化成了自注意力的大规模堆叠体。4.2 主流Transformer变体的配置参数我用一张表把常见模型的基座参数整理了一遍做架构选型和资源评估时可以对照参考模型参数量层数隐藏维度注意力头数训练数据规模BERT-base1.1亿1276812约16GB文本BERT-large3.4亿24102416约16GB文本GPT-215亿48160025WebTextGPT-31750亿961228896约3000亿tokenLLaMA-7B70亿324096321万亿tokenLLaMA-70B700亿808192641.4万亿token这里面有一个很值得思考的细节BERT做理解任务时参数量1亿多就能在很多任务上达到很高准确率而GPT系列动辄千亿参数核心差异在于任务范式。BERT只需要“填空”式预训练而GPT要“从零续写”整个token序列后者必须用海量参数和超大语料来压缩更多的世界知识。如果你是自己做实验我的建议是不要盲目从500亿参数级开始。先用DeBERTa或BERT-base在目标任务上验证pipeline把数据和评估指标跑通再做模型升级。热搜词里出现了“deberta模型结构图”这里补充一句DeBERTa的改进点在于解耦注意力它让内容向量和位置向量分开计算注意力并引入绝对位置编码的补充信息在SuperGLUE上曾经一度超过人类基准如果做NLU任务它是BERT系里很值得尝试的升级版。4.3 显存不够该怎么跑热搜词里有一条“低显存运行模型”这个问题太现实了。很多读者手里只有8GB或16GB显存的消费级显卡想跑几十亿参数模型不解决显存问题就寸步难行。我梳理了四种常规手段一是混合精度训练FP16/BF16。Tensor Core在FP16下能大幅加速计算同时显存占用直接减半。但要注意Loss Scaling防止小梯度被下溢吞掉另外某些层如BatchNorm可能仍然需要FP32精度。二是梯度累积。如果较大的batch放不下一张卡那就把一个大batch拆成多个小batch计算完每个micro-batch的梯度后先存起来不立刻更新权重攒够一定数量后再统一做一次梯度更新。这能模拟出大批量的训练行为代价是训练时间变长。三是梯度检查点Gradient Checkpointing。在正向传播时只保存少量关键激活值反向传播时用到哪一层再重新计算哪一层的激活值。这相当于“用计算换内存”通常可以把激活显存降低60%以上。四是参数高效微调PEFT比如LoRA。冻结原模型权重只训练一小部分增量低秩矩阵可训练参数量能从百亿降到几百万效果在多数任务上接近全量微调。这套方案目前已经是个人玩家和中小团队的基本操作。还有一个容易被忽略的经验优化器状态也吃显存。AdamW需要为每个参数保存两倍额外显存有时候换用AdamW的8bit版本或者用Lion优化器能省下可观的存储开销。不要只盯着模型权重把优化器也纳入预算。5. 生成模型从GAN到扩散模型的范式更迭5.1 GAN的核心博弈思想生成对抗网络GAN的设计堪称深度学习史上最有“创意”的结构之一。它让两个网络相互博弈生成器努力制造“足以乱真”的假样本判别器努力分辨“真样本还是假样本”。训练过程就像造假币的工匠和验钞员不断赛跑双方能力同步提升直到生成器造出的东西让验钞员彻底犯难。理论上这个对抗框架非常优美但落地时问题不少。最典型的是训练不稳定生成器和判别器的能力一旦失衡loss就容易震荡甚至崩溃。新手训练GAN常见的表现是loss曲线一直在抖生成图像从清晰变模糊再变扭曲没有一个收敛方向。还有一个词汇经常出现——“模式坍塌”也就是生成器只学会生成少数几个固定样本多样性完全丧失它找到了一个“一劳永逸骗过判别器”的捷径。我的实操建议是如果要做图像生成现在不是非GAN不可但如果你研究的是风格迁移、图像翻译、超分辨率这类“成对/非成对数据映射”问题pix2pix和CycleGAN仍然有很强的竞争力。GAN也没有消失它还在以各种混合形态活着比如用GAN做数据增强来改善小样本分类任务效果立竿见影。5.2 扩散模型凭什么翻盘扩散模型Diffusion Model的崛起是近两年最精彩的技术更迭之一。我个人的理解它和GAN走了两条完全相反的路线GAN是“一步到位从隐空间映射到图像”扩散模型则是“把生成过程拆分成几百步的去噪过程”。训练阶段扩散模型先把真实图像逐步加噪直到变成纯高斯噪声模型学习的是如何预测加入的噪声从而学会“从噪声还原图像”。生成阶段则从一个纯噪声向量出发让模型一步步去掉噪声最终还原出清晰图像。这个思路朴实到让人怀疑但它有两个至关重要的优势一是训练过程不依赖对抗博弈稳定性和可复现性显著提升二是生成分布覆盖度好模式坍塌问题大幅减轻。Stable Diffusion可能是读者最熟悉的扩散模型。它把扩散过程搬到潜在空间Latent Space而不是像素空间用预训练的自编码器把大尺寸图像压缩成小尺寸潜在特征再在这个紧凑空间里做扩散和去噪。正是这个“潜在空间”的聪明设计让个人电脑跑图像生成成为可能。热搜词里的“照片修复模型”现在多数方案也是基于扩散模型——给它一张受损老照片它能根据上下文重新“推理”出缺失的纹理和结构效果远超传统插值算法。5.3 生成模型领域的关键选择指标我在做技术选型时常用几个关键指标来比较GAN与扩散模型指标GAN扩散模型生成速度单张快1次前向慢需多步采样训练稳定性差对抗易崩好回归目标明确样本多样性有模式坍塌风险较好理论解释性较弱强对应变分推断/分数匹配硬件需求中等较高代表应用风格迁移、超分辨率、图像翻译文生图、图像编辑、视频生成如果你追求推理速度GAN仍然有优势如果你追求质量和多样性扩散模型几乎全面胜出。近期工业界一个明显的趋势是扩散模型加速采样例如LCMLatent Consistency Model、Turbo系列等生成步数从原本的50-100步压到4-8步让扩散模型在速度上也逐步追平GAN。还要提一个方向扩散模型也被用于音频生成和蛋白质结构预测它的价值不在图像一个领域。如果后续调研扩展“多模态生成”扩散模型会是绕不开的核心引擎。6. 图神经网络GNN与特殊变体的综合治理6.1 图数据的结构假设与GNN的聚合范式GNN处理的是一类被传统深度学习长期忽略的数据——图结构数据比如社交网络用户为节点、关注关系为边、分子结构原子为节点、化学键为边、知识图谱实体和关系构成有向图。CNN能处理网格RNN能处理序列但它们都不能直接处理“任意拓扑、变长邻居数量”的图。GNN的核心思想是“消息传递”每个节点的表示由它自身特征和邻居节点特征通过聚合函数共同更新。聚合函数常见的有求平均、求和、取最大值也可以学习一个带权重的聚合器。经过多轮消息传递后每个节点的向量表示就包含了“以它为中心的多跳邻居信息”。你可以理解成每个节点定期开家庭会议商量合并彼此的信息几轮会议后全村人都知道了彼此的大致底细。实际使用中GCN图卷积网络和GAT图注意力网络是两个最主流的代表。GCN按拓扑结构做频域卷积GAT引入注意力权重让“哪些邻居更重要”成为可学习的参数。如果图很大比如上亿节点扩展性问题就尤为突出GraphSAGE采用“固定采样邻居”的方式控制计算量是工业级大图的主流方案。6.2 特殊变体TCN与时间图模型TCN时间卷积网络我在前面已经提到它用因果卷积只依赖过去和膨胀卷积扩大感受野来建模序列优势是训练可并行、感受野可精确控制不用像RNN一样逐步递推。很多项目中TCN被用作LSTM的轻量替代品。这里有一个对比可以给读者借鉴TCN和LSTM的取舍。TCN的优势是计算效率高、梯度路径短、不容易梯度消失适合离线批量训练与推理不利之处是标准TCN对在线流式数据的适应性弱于RNN每一步要看到固定长度的历史窗口。如果你做的是离线时间序列预测、传感器波形分类TCN值得优先考虑如果是严格在线逐帧预测如实时语音识别解码可能还是RNN或状态空间模型更合适。图上加时间建模是另一个重要方向时空图神经网络。比如交通流量预测每个路口的传感器是一个节点路网结构是边每个时间片有一组特征快照。这个问题要同时捕捉空间关联哪个路口影响哪个路口和时间演化高峰期和深夜的模式不同。常见的做法是GCNGRU/LSTM的组合模块交替建模这也是城市计算领域的标准方案之一。6.3 模型中毒攻击一个必须正视的安全维度热搜词里有“模型中毒攻击”这个点在过去几年的模型调研里越来越被重视。模型中毒攻击Poisoning Attack指的是攻击者在训练数据中投放精心构造的恶意样本使模型在正常样本上表现良好但在特定触发器存在时输出攻击者预设的错误结果。最经典的案例是后门攻击给一批训练图片加上一个极小的水印比如右下角几像素的白色方块模型学习后凡是带水印的图片都被识别成攻击者的目标类而正常图片不受影响。这种攻击的隐蔽性和危害性都很高因为模型在常规测试集上的准确率几乎不受影响。防御中毒攻击有几个实操手段数据清洗与异常检测检查样本是否被patch污染、训练时限制模型对特定区域特征的过拟合如梯度裁剪、差分隐私噪声、以及模型输出监测对触发器输入的有效响应做实时校验。如果你在做一个安全敏感场景的深度学习系统模型中毒攻击测试应该属于上线前的例行检查项而不是“锦上添花”。7. 答疑与排查把调研中常见的坑提前说清楚7.1 热搜词里那些问题我整理了一份速查调研过程中我把散落在各个搜索词里的问题做了一次归拢这些可能是很多朋友真正卡住的地方问题一句话解答“深度学习里的parameter应该不是mb吧”参数个数是数值如11MMB是存储单位两者换算要看精度FP32下1参数约4字节“深度学习所需要的编程语言”Python是绝对主流PyTorch/TensorFlow/JAX都有Python接口C用于部署推理加速Rust/Julia属小众尝试“深度学习环境配置”核心三件套CUDA驱动、Python解释器、深度学习框架建议用Conda建独立环境避免冲突“ollama下载模型国内镜像”配置OLLAMA_HOST和镜像源或用ModelScope下载后再导入本地模型库“低显存运行模型”优先顺序混合精度 → 梯度检查点 → PEFT(LoRA) → 量化4bit/8bit“模型中毒攻击”训练集注入恶意样本触发后门防御核心在数据清洗和输出验证“lightgbm回归模型”LightGBM属于梯度提升树不是深度学习模型但表格数据任务中常作为强基线“embedding模型排行”MTEB榜单是参考标准通用场景从bge-m3、e5-mistral等模型里选按业务语言和维度需求权衡“深度学习云平台”按需租GPU比自购划算AutoDL、Colab、Kaggle、LambdaLabs是常见选择这里面有一个方法论值得多说一句当你遇到一个和模型选择相关的“要不要”“能不能”“哪一个最好”的问题时正确姿势不是直接搜结论而是先定义清楚你的数据形态、任务类型、资源约束、延迟要求然后再对照模型特性做取舍。搜索引擎给你的是别人的默认解而你需要的往往是一个定制解。7.2 实操中的环境配置与复现心得这次调研里我重新走了一遍环境配置流程把最稳的做法整理出来。先说顺序先装驱动再装CUDA然后建Python虚拟环境最后装框架。很多人一上来就pip install torch结果torch自带的CUDA runtime和系统驱动不匹配跑起来报各种版本错误。正确姿势是先让nvidia-smi看到你的GPU确认驱动支持的CUDA版本上限再选择对应版本的PyTorch。我自己比较推荐用Conda管理环境因为深度学习依赖版本冲突太频繁了。举个真实例子A项目需要Python 3.8PyTorch 1.13B项目需要Python 3.10PyTorch 2.1如果共用一个环境pip解依赖分分钟报错。Conda隔离环境后两个项目互不干扰切换就是一条命令的事。另外requirements.txt或environment.yml一定要锁版本号不要用这种范围写法否则半年后复现时框架API变动会让你抓狂。7.3 模型部署时的显存计算与batch调优最后分享一个每次做部署都会用到的估算方法。推理时显存占用约等于模型权重大小 激活值 优化器状态如果继续训练 框架预留。以FP16精度、70亿参数模型为例权重本身占14GB激活值一般按batch大小线性增长经验上batch1时可能再占1-2GB。所以单卡24GB显存跑7B模型FP16推理勉强可以但要微调LoRA微调也够全量微调则必须上多卡或换更大显存。Batch size调优有个小技巧先设batch1跑通然后观察显存余量逐步翻倍增大直到显存占用稳定在85%左右就不再加了。这个“暴力试探法”虽然不优雅但比任何估算公式都可靠。记得留一点余量给CUDA kernel launch和临时tensor分配跑满到99%容易在某个特殊batch时报OOM。另外开启torch.backends.cudnn.benchmark True可以在输入尺寸不变时获得一定加速但如果输入尺寸动态变化反而会增加延迟需要按场景决定。8. 最后一轮模型选择的决策框架8.1 把问题反过来先定任务形态再谈模型调研做到这个阶段我最大的收获不是记住了多少模型名单而是建立了一套反复可用的“反推式”选型逻辑。给定任何新项目我可以先问自己四个问题数据是什么结构图像/视频网格优先看CNN文本/语音序列优先看Transformer表格数据先用GBDT类模型对拍图数据直接上GNN。任务要的是判别还是生成分类、回归、抽取是判别任务文本续写、图像创作、语音合成是生成任务。判别任务用BERT系或说CNN/RNN剪裁版生成任务优先考虑Decoder-only Transformer或扩散模型。资源和延迟约束是什么有GPU和没GPU完全是两个世界推理延迟要求毫秒级还是秒级也会改变选型方向。数据量有多大几百条小样本先考虑迁移学习、预训练特征提取百万级大数据才值得考虑从头训练。这四个问题把模型选型从“背答案”变成了“做推理”。我在内部培训和复盘时特别喜欢这套框架因为它比列出“某某模型排行榜”要扎实得多换一个数据集、换一个域这个框架依然能指导落地。8.2 上下篇衔接与下一步调研预告这个上篇覆盖了CNN、RNN/LSTM、Transformer/LLM、生成模型GAN扩散、图模型与时序变体GNN/TCN以及安全维度中毒攻击。这些大类已经涵盖了当前工业界90%以上的主流任务。但还有几个方向我留到了“下篇”继续展开一是多模态模型。CLIP、LLaVA、Qwen-VL这类模型统一了文本和视觉的表征空间直接在推理时接受图文混合输入这正在重塑搜索、推荐和AIGC的产品形态。二是轻量化与端侧部署。模型蒸馏、量化PTQ/QAT、剪枝、神经架构搜索NAS构成了“模型瘦身”的完整工具箱低显存设备的落地必须依赖这套技术。三是从深度学习到强化学习过渡。策略梯度、PPO、DQN以及LLM与RLHF的结合这些内容模型类别上属于另一个维度但和当前主流LLM对齐技术密不可分。8.3 我的几条实际调研心得最后说几句实操层面的体感这些话不太会出现在正式的报告里但对做事的人很管用。第一不要迷信“新模型一定更好”。调研过程中我反复比对发现很多任务的SOTA差距只有1-2个点但新模型的工程复杂度、显存占用、推理延迟可能是旧方案的数倍。在没有极致精度要求的场景下ResNet LSTM这种“老家伙”组合仍然是很可靠的基线。技术选型是工程决策不是学术竞赛。第二模型类别之间的边界正在快速融合。CNN开始被Transformer替换Transformer也越来越多地吸收卷积的归纳偏置比如Swin Transformer的窗口注意力扩散模型里也开始引入对抗损失。如果你把类别当成僵死的标签很容易错失一些混合思路带来的收益。理解机制比记住名字更重要。第三复现大于阅读。调研报告写得再好如果你不亲手跑通一个ResNet的分类、fine-tune一个BERT、生成一张扩散模型图片、在图上训练一个GNN那些抽象概念就只是名词而已。我在这次调研中花了不少时间做跑代码的验证很多写在文档里的结论只有自己亲手踩过坑才真正变成你自己的判断力。后面如果继续做下篇我计划用同样的结构和决策框架把多模态、轻量化、强化学习补全让这份调研成为一套相对完整的“模型选型手册”。也希望这半份报告能让你在选型的十字路口少一些犹豫、多一些底气。