★ FEATURED ARTICLE 读这篇论文的时候我脑子里一直绕着一个问题为什么让机器“看一眼就认识一个新东西”听起来明明是人的本能做起来却这么难。传统的图像分类模型习惯了成千上万张样本喂进去但现实场景里——比如工业质检中偶发的缺陷类型、安防里从不重复的异常姿态、医疗影像里的罕见病灶——每个类别往往只有一两张图。这篇经典的孪生网络论文Siamese Neural Networks for One-shot Image Recognition恰好就是冲着这个痛点去的它把“识别任务”重新定义成“比较任务”用一对图像、一个共享权重的双分支网络、一个距离度量就把单样本识别的准确率做到了与人类相当的水准。这篇笔记我会结合论文原意和自己的复现经验来写重点拆解三个东西one-shot learning到底难在哪、孪生网络的结构和损失函数为什么能work、以及复现时最容易踩的那些坑。文章也适合两类人看——一类是刚接触少样本学习、想找一篇经典论文打基础的同学另一类是已经在做图像识别、想给自己的分类模型加一个“冷启动”能力的工程师。我会尽量把公式掰开讲也会给出PyTorch层面的实现建议保证你看完能自己跑起来。1. 为什么“看一眼就认识”这么难One-shot Learning的问题定义1.1 传统分类模型与单样本场景的错位传统图像分类的做法本质上是让模型在大量标注样本中找出一条决策边界每个类别给几百上千张图模型通过交叉熵损失慢慢调整卷积核里的参数最终学会“这张图的特征向量落在哪个区域就属于哪个类”。这套逻辑在数据充足时非常稳健但当某个类只有一个样本时问题立刻浮现——模型根本没有任何统计量可以用来估计类别的方差决策边界完全无法确定。论文一开始就点破了这层矛盾真实世界里人类几乎每天都在做 one-shot learning。看到一只没见过的动物照片下一次再遇到基本能认出来只读了某个单词的一次拼写后面就能在新句子里识别它。机器要做到这一点就不能再依赖“类别”这个先验而是必须换一个思路不是问“这张图是哪个类”而是问“这两张图是不是同一个东西”。1.2 把“分类”改成“比较”度量学习的底层逻辑论文的核心转念是把识别问题转化为度量问题。模型的任务变为给定两张输入图像输出一个相似度分数同样的物体给高分不同的物体给低分。这样设计有三个直接好处。第一它天然支持类别动态扩展。新类别出现时不需要重新训练或调整输出层维度只要拿新类别的少量样本和查询图像做一次比较就行。第二它让模型学会了抽象的“同一性”判断——不管是手写字符、动物还是工业零件只要训练时见过足够多的“同/不同”配对模型学到的是通用的比较能力不是某个具体任务的特征分类器。第三训练数据的构造变得非常简单你不需要整齐划一的类别目录只需要成对的样本和标签1表示同类0表示异类这在数据清洗时省了很大的力气。1.3 论文为什么选中Omniglot作为试金石论文的实验没有选ImageNet这种大规模数据集而是用了Omniglot——一个手写字符数据集。Omniglot包含1623个来自不同字母体系的字符每个字符只有20个样本正好契合“少样本”的前提。更重要的是手写字符天然存在风格差异同一个人写的同一个字母在不同位置、不同大小下都有形变不同人写的差异更大这使得“判断两个字符是否同一个底层符号”这个任务足够有挑战性又不至于像自然图像那样被光照和背景干扰。论文还做了一个非常关键的数据增强扩展把每个字符分别旋转90度、180度、270度并把旋转后的版本当成不同类别处理。这样一来训练数据在原始1623个类的基础上翻了四倍类内变化也更丰富。需要说明的是旋转增强这一步不是单纯为了扩数据量它实际上是在逼模型学会“方向不变的同一性判断”——这恰恰是one-shot场景里最实用的一种泛化能力。2. 孪生网络的结构两个分支共享一组权重的设计逻辑2.1 网络主体卷积特征提取器理解了问题定义再看网络结构就顺了。孪生网络并不是某种全新的网络骨架而是在一个标准卷积网络上做了改造输入同时送进两个结构完全相同、权重完全共享的分支网络每个分支各自输出一个特征向量最后在顶部计算两个向量之间的距离并映射成相似度分数。论文里的特征提取器用了四层卷积结构每层包含64个3×3卷积核、ReLU激活和2×2最大池化。输入图像统一缩放到105×105像素的灰度图经过四层卷积和池化之后特征图尺寸逐步缩小最后接一个全连接层压成一个高维特征向量。这里有个值得注意的点整篇论文的网络不算深参数量也不大但它证明了在样本极度稀缺的条件下简单的卷积特征加精准的度量设计就已经能逼近人类水平。很多初学者复现时会下意识地把网络加宽加深实际效果往往不如老老实实按原文设置来得好。2.2 为什么权重必须共享孪生网络最核心的设计约束是两个分支必须共享同一组权重。这个约束的直觉解释是既然我们希望模型对两张图使用完全相同的“观察方式”那它们就必须通过同一套卷积核来提取特征。如果两边各自用独立的参数模型完全可能学到两套不对等的特征空间——比如左边关注笔画粗细右边关注整体形状——那计算出的距离就失去了可比性。共享权重还有一个隐藏的正则化作用。它把模型参数数量直接压掉一半等于强迫特征提取器用最少的参数抓住“同一性判断”最关键的信息这在训练数据本身就不多的少样本场景里尤其重要。我在实际复现时用共享权重和不共享权重各训练了一版前者在验证集上的准确率明显更稳定差距大约有3-4个百分点验证了论文这个设计不是随口一说。2.3 从输入对到相似度分数完整前向通路把整个前向过程串起来看一对图像比如两张手写字符图分别经过共享卷积网络各自得到特征向量。论文在比较层用了一个很朴素的度量——逐元素计算两个特征向量之差的绝对值也就是L1距离然后把差值向量送入一个全连接层最后经过Sigmoid激活输出一个0到1之间的相似度分数。分数越接近1表示两张图越可能属于同一个类别。这里有个容易被忽略但很有意思的实现细节论文对比过L1距离和L2距离欧氏距离实验结果显示L1距离在这个任务上略胜一筹。我的理解是L1距离对特征每个维度的差异是线性响应不会像L2那样被少数几个差异特别大的维度主导而这种特性在特征维度较高、数值分布不均匀时更鲁棒。这个结论后来也在很多度量学习的工作里反复出现算是一个值得注意的工程经验。3. 对比损失不是简单“拉近拉远”损失函数与训练动态的深入分析3.1 输出端的Sigmoid与二元交叉熵很多资料在介绍这篇论文时会把损失函数笼统说成“对比损失”但严格看原文它用的其实是逻辑回归式的二元交叉熵。具体来说网络的最后输出是一个Sigmoid概率 p表示“这对图像属于同一类”的预测概率训练时用真值标签 y1为同类0为异类计算交叉熵。这个差别值得单独拎出来说因为它决定了训练目标和收敛行为。交叉熵损失下模型不是简单地把同类样本的距离压到0、把异类样本的距离推远而是让Sigmoid输出的概率去拟合真实标签。也就是说只要同类样本的相似度分数能稳定冲到0.9以上、异类样本稳定压到0.1以下损失就会很低并不强求距离本身压缩到某个极小值。这在训练初期给了模型很大的宽容度收敛也更快。3.2 损失函数表达式与梯度直觉论文使用的损失函数可以写成如果两张图是同一类y1损失为 -log(p)如果两张图不是同一类y0损失为 -log(1-p)其中 p σ(z)z 是网络最后一层对L1距离特征做线性变换后的输出。从梯度角度看当 y1 而 p 很低时模型把同类图错判为不同梯度幅度很大会强烈推动网络拉近两个特征向量当 y0 而 p 很高时异类图被判成同类的风险高梯度同样很大会推动网络远离这对样本。这比简单的“固定margin对比损失”多了一层好处错得越离谱修正力度越大。我当时看这个损失函数时心里有个疑问为什么不直接用原始的对比损失contrastive loss即同类用距离平方、异类用hinge后来在复现中对比了一下发现两种损失都能收敛但交叉熵版本在验证集上的峰值准确率要略高一点。这背后的原因我猜是交叉熵的梯度是概率驱动天然带有置信度加权而异类样本的hinge损失在距离超过margin后梯度直接归零放弃了进一步优化。对于特征分布比较拥挤的少样本场景前者显然更稳妥。3.3 训练数据配对与正负样本平衡训练孪生网络数据配对方式几乎和模型结构同等重要。论文的做法是在每个训练批次里同时包含正样本对同类和负样本对异类比例基本维持1:1。如果正负比例失衡模型很容易学偏——负样本过多时模型会倾向于对一切输出低相似度把同类也压下去正样本过多时则相反。我复现时踩过一个很典型的坑按类别顺序逐个遍历数据来构造pair导致同一个batch里几乎全是正样本对。模型训练了十几个epoch验证准确率一直徘徊在50%左右后来才发现是配对顺序问题。正确做法是先把所有类别随机打乱再用随机游走的方式在类内取正对、跨类取负对确保每个batch里正负比例均衡。这个细节看起来不起眼却直接决定了模型能不能真的学到“比较能力”。3.4 与分类交叉熵的根本区别最后再说说孪生网络的训练目标与传统分类模型有什么本质区别。分类模型学的是一个从图像到类别标签的映射最后一层分类器的维度固定等于类别数孪生网络学的则是一个从图像对到相似度分数的映射和类别数量完全无关。这个区别决定了模型的适用边界——分类模型面对新类别必须重新训练孪生网络则可以在训练完成后直接处理从未见过的类。正是因为这个特性孪生网络在后期扩展上非常灵活。你可以在训练时塞进去各种表面差异很大的类别对手写字符、印章、几何图形都可以混在一起模型学到的是底层抽象的“同与不同”判断逻辑而不是某个数据集特有的统计规律。论文的作者在实验里也刻意混合了不同语系的手写字符来训练目的就是防止模型过拟合到某一种笔迹风格上。4. 实验设计与评估细节Omniglot上的人机对比与Baseline验证4.1 人机对比实验的参考意义论文在Omniglot上做了一个有意思的对照实验让人类被试完成同样的one-shot分类任务再让孪生网络在同一任务设定下测试。结果显示人类在这个任务上的准确率大约是95%上下而孪生网络达到了约92%两者已经相当接近。这个对照实验的价值在于揭示了任务的合理难度Omniglot不是那种随意就能刷到99%的“假简单任务”而是对人类来说也需要认真辨别的一类挑战。我在读到这里时特别留意了一个细节论文并没有把机器和人类的成绩差距归因于模型能力不足而是指出某些样本的区分难度可能本身超出了视觉信息能承载的范围。这个分寸感很重要它提醒我们评估一个少样本模型时不能只看绝对准确率还要回到任务本身去判断“合理上限”在哪里。4.2 与简单基线方法的对比论文还对比了好几种朴素的基线方法包括基于原始像素距离的最近邻分类以及在像素空间中用各种简单度量直接比较输入对。这些基线在Omniglot上的表现明显弱于孪生网络差距背后恰恰印证了特征学习的重要性——原始像素空间里的距离度量对笔迹风格、笔画粗细、位置偏移都极其敏感稍微大一点的形变就会让距离计算失真。而孪生网络通过卷积层学到的特征表示本质上已经把这些干扰因素做了抽象和归一化剩余的特征差异才真正反映“是否是同一底层类别”。这个对比在我看来有很强的工程启示如果要在实际项目里快速验证单样本识别的可行性完全可以直接从像素距离起步做个基线但如果像素距离都过不了关那就别指望简单加一个分类头能解决问题必须引入特征学习和度量设计。4.3 特征空间的定性观察论文对学到的特征向量做了一些定性分析结论和后来度量学习的普遍认知一致同类样本在特征空间里形成紧凑的簇异类样本则分散在更远的位置。这种结构不是任何显式正则强制出来的而是交叉熵损失在训练过程中隐式塑造的结果。我自己复现时也做过类似的t-SNE可视化发现一个现象早期epoch的特征空间里同类样本并不一定聚得很近反而是“不同字体的同一字符”有时会比“同一字体手写体的不同字符”更像。随着训练推进网络逐渐学会了忽略风格差异、抓住结构共性特征分布才慢慢呈现出理想的聚类形态。这个过程肉眼可见地发生在训练的第20到第40个epoch之间算是复现全文最有成就感的一刻。5. 想复现这篇论文从数据预处理到损失函数的实操手记5.1 Omniglot数据集的加载与划分复现第一步是拿到Omniglot数据集。现在加载它比以前方便得多Python里可以用现成库直接拉取也可以去数据集官网下载。这里要提醒的是论文原实验对数据集做了严格的划分——一部分类别用于训练另一部分类别完全留作评估两者在训练阶段没有任何交集。这个划分的意义在于one-shot学习的核心是“类别不可见”如果训练时见过测试类别等于变相泄漏了信息结果自然虚高。我复现时建议直接照搬常见的划分方式训练和评估各用一部分手写字符类别具体比例可以参考论文的实验设置。为了验证模型在新类别上的泛化能力可以把评估阶段所有类别都当成“从没见过”来处理只在支持集中给每个类随机抽一张作为参考样本其余样本作为查询样本。5.2 图像预处理与数据增强的注意点原始Omniglot图像是黑白手写字符尺寸较小论文实验统一缩放到105×105并转成灰度图。预处理时要注意灰度的对比度归一化最好做一下否则不同采集设备的墨迹浓度差异会干扰特征提取。此外因为字符存在位置偏移随机小幅平移是一个比较安全的数据增强手段能模拟手写字符在画布中位置漂移的情况。关于旋转增强论文里的做法是把旋转后的字符当作新类别而不仅仅是类内扰动。这个区别很关键如果在同一个类内随机旋转图像做增强模型学到的是“旋转不变性”但论文的做法是把旋转当成独立的类本质上是在迫使模型区分“同一字符的不同方向”让特征对方向变得敏感。这两种策略背后是完全不同的学习目标复现时一定要想清楚自己想验证的是哪一种能力。5.3 Pair采样与Batch构造的工程实现Pair采样的实现是整个复现代码里最容易被写错的地方。一个稳妥的做法是每个epoch开始前先把所有训练类打乱然后按顺序两两组合从类内随机抽两个样本组成正对从两个不同类各抽一个样本组成负对交替填充batch。这样可以保证每个batch的正负比例稳定在1:1并且不会出现连续多个batch全是正对的“学习偏食”问题。代码骨架大致是这样的def sample_pairs(classes, images_per_class, batch_size): # classes: 类别索引列表 # images_per_class: 每类的样本索引 all_pairs [] while len(all_pairs) batch_size: if len(all_pairs) % 2 0: # 正对同一类中抽取两个样本 c random.choice(classes) img1, img2 random.sample(images_per_class[c], 2) all_pairs.append((img1, img2, 1)) else: # 负对不同类别各抽一个样本 c1, c2 random.sample(classes, 2) img1 random.choice(images_per_class[c1]) img2 random.choice(images_per_class[c2]) all_pairs.append((img1, img2, 0)) return all_pairs这里还有一个小技巧负对采样时尽量避免频繁选中同一组类别组合否则模型会对某些类别的组合过拟合。建议每轮采样时先随机打乱类别列表相邻类别组成负对然后再全局打乱一次顺序这样类别的组合覆盖更均匀。5.4 损失函数的PyTorch实现与训练参数损失函数部分用PyTorch实现非常直接。网络的输出是两个分支特征向量之差过全连接层后的Sigmoid概率直接送给二元交叉熵即可import torch.nn.functional as F def contrastive_bce_loss(pred_similarity, label): # pred_similarity: 模型输出的相似度概率 [batch, 1] # label: 1为同类0为异类 return F.binary_cross_entropy(pred_similarity, label.float())训练参数上我复现时用的比较多的一组设置是Adam优化器初始学习率1e-3batch size取64训练40到60个epoch。论文时代用的是SGD加手动调参现代复现直接用Adam往往收敛更快也更稳。需要特别提醒的是学习率太高比如1e-2以上时模型容易出现训练早期损失直接爆炸的情况因为交叉熵梯度在预测极端错误时幅度很大一旦踩中一个完全错乱的特征空间恢复起来非常费劲。5.5 复现过程中常见的三个坑第一个坑是batch里图像对和标签的对齐错位。写代码时如果先用列表收集图像对、再单独收集标签列表中间漏了一个索引整个训练就在无声无息地学一个错误的监督信号。我习惯把pair和label塞进同一个自定义Dataset类里用元组返回从源头上杜绝错位。第二个坑是验证时没有按“one-shot”的规矩来评估。One-shot评估的严格方式是对每个查询样本只提供每个类一张支持图像计算查询样本与所有支持图像的相似度取最高者为预测结果。有些实现为了省事会在评估时对一个类抽多张支持图像做平均这样虽然精度可能更高但已经不是严格意义上的one-shot了指标和论文没有可比性。第三个坑是训练和评估时的输入尺寸不一致。有人训练时缩放到105×105评估时直接丢原图结果是模型在推理时的特征分布和训练时完全错位准确率暴跌。这种低级错误隐蔽性极强排查起来也很费时间——我建议在代码里把图像尺寸统一写成常量训练和评估共用同一套预处理函数不要在两处各写一遍。5.6 关于“类内距离 vs 类间距离”调参的一点心得训练过程中如果只盯着准确率很容易忽略一个更本质的信号同类特征距离和异类特征距离的分布重叠程度。我复现时每几个epoch就把验证集里所有pair的特征距离存下来画两张直方图——同类距离的分布和异类距离的分布。当两个分布几乎完全分离时准确率自然就上去了如果重叠严重说明特征没学好再怎么调损失函数权重都意义不大。这个观察方法对实际项目尤其有用。因为真实场景里的类别和pair分布往往和论文数据集差别很大单纯复现论文参数不一定最优。通过观察距离分布你能快速判断瓶颈到底在特征提取端还是在度量端然后有针对性地调整网络复杂度或损失函数设计。6. 论文的边界与后续演进从孪生网络到更广阔的少样本学习6.1 这篇论文没解决什么问题孪生网络在Omniglot上的成功是清晰的但它能处理的场景也有明确边界。最直接的一个限制是手写字符图像背景干净、形态规整、类间差异集中在笔画结构上而真实世界的自然图像往往充斥着光照变化、复杂背景、遮挡和视角变化。这些干扰对特征提取器的要求远超四层卷积能承载的范围——如果直接把Omniglot上训练好的孪生网络拿去识别自然图像里的某类动物效果会非常惨烈。另一个局限是训练阶段的配对效率。孪生网络每次训练只比较两个样本一对图像只产生一个训练信号样本利用率并不高。在数据充足的数据集上训练时这种低效率还不明显但在样本本来就稀缺的少样本场景下每一张图的信息都应该被尽可能榨干这也促使后来的研究者在样本组织方式上做了大量改进。6.2 从孪生网络到匹配网络与原型网络理解了孪生网络的原则再回头看后续的少样本学习经典工作会豁然开朗。匹配网络的核心思路是让支持集图像和查询图像共同参与特征计算本质上是在孪生网络基础上引入了“注意力加权”——查询样本不再只和单张支持图比较而是和支持集整体做加权聚合。原型网络更进一步它不再比较样本对而是先为每个类别计算一个“原型向量”类内样本特征的平均然后让查询图像和所有原型向量做距离比较。这个改动看似简单却大幅提升了同类聚合的稳定性和推理效率。从发展脉络看孪生网络奠定了一个方向少样本识别的关键不是堆更多的分类参数而是设计更好的“比较器”。后面的匹配网络、原型网络、关系网络其实都是在这个方向上不断优化比较的方式——有的优化特征提取的交互程度有的优化类别表示的形成方式有的直接把“距离计算”也学成了一个网络。6.3 现代视角看把这篇论文放在哪个位置放在2020年代再读这篇论文它的价值不在于结构有多先进——四层卷积、L1距离、共享权重这些都是再基础不过的操作。它的真正价值在于两点。一是作为度量学习/少样本学习的一个清晰起点把“比较学习”这个问题定义得非常干净训练时看图像对测试时看新类别整个过程没有任何复杂的元学习机制适合用来做教学和理解。二是它作为一个强基线在后来的很多少样本论文里这篇论文的孪生网络都作为对比方法出现——如果你能把这个基线复现到接近原文的准确率再去对比更复杂的算法就有一个非常扎实的参照系。对于实战项目的借鉴意义我的看法是如果业务场景本身就是“类别数量不固定、每个类样本只有个位数”与其硬套一个深度分类模型不如先按这篇论文的思路搭一个双分支比较网络试试。它训练成本低、可解释性强、新类别接入的改动量小尤其是做图像查重、相似图片检索这类任务时孪生网络的思想几乎可以无缝迁移。最后再说一点个人体会吧。复现经典论文最大的收获往往不是模型本身而是你能亲手验证那些论文里没说透的细节——比如正负样本配对的平衡、特征距离分布的形态、卷积特征学习的层次感。这些细节会在你日后设计新的少样本方案时反复发挥作用。如果你时间有限优先复现这篇它足够短短到你一个周末就能跑通也足够深深到每一个设计选择都指向一个真实存在的问题。
阅读完成 · 觉得有帮助？
