★ FEATURED ARTICLE 我把这几年在距离度量学习上折腾的经验捋了一遍想重点聊聊大间隔最近邻LMNN。这个算法我最早是在一个图像检索项目里接触到的当时被传统k近邻在高维特征下的表现折磨得够呛后来换了LMNN做度量学习效果提升非常明显。这篇文章就围绕LMNN是什么、它怎么工作、实际怎么用、会遇到哪些坑来写适合正在做分类、检索、匹配这类任务并且觉得特征距离计算不够理想的同学参考。1. 内容整体设计与思路拆解1.1 传统kNN的痛点为什么特征距离经常“不算数”做机器学习的人对k近邻kNN都很熟悉它的核心逻辑很简单找特征空间里距离最近的k个样本用它们的类别投票决定新样本的类别。听起来天然合理但真正在真实数据上跑过几次就会发现效果好坏完全取决于你用的距离公式和特征表达。最常用的是欧氏距离它把每个特征维度等权看待。但现实中的特征往往不是这样的有的维度对区分类别贡献很大有的维度基本是噪声不同维度的量纲差异也可能很大。于是就会出现一种尴尬的情况在原始特征空间里一个待分类样本的最近邻居明明是另一个类别的样本关键信息被不相关的维度干扰了。我曾在一个模拟项目X里做过一个简单统计用原始欧氏距离跑kNN分类准确率在78%左右但当我手动把某些重要维度的权重放大、噪声维度权重缩小之后同一个小数据集上的准确率能轻松超过86%。这说明一个核心问题——距离公式本身是可以被学习的。LMNN干的事情就是把这个“调权重”的过程自动化、系统化。1.2 距离度量学习的基本思路距离度量学习的核心是学一个马氏距离Mahalanobis distance可以理解为先把原始特征做一个线性变换再在新的空间里算欧氏距离。数学形式如下给定样本向量 x马氏距离定义为d_M(x_i, x_j) sqrt((x_i - x_j)^T M (x_i - x_j))这里的 M 是一个半正定矩阵。如果 M 是单位矩阵这个距离就退化成欧氏距离。所以学习距离度量本质上就是学习一个合适的 M 矩阵。LMNN 的目标非常直接训练一个 M使得每个样本的 k 个同类近邻称为目标邻居target neighbors尽可能靠近自己同时让不同类别的样本称为 impostors入侵者尽可能远离。这就像在重新规划一个城市的街区把同一类人群往一块儿聚同时把不同类人群远远隔开。LMNN 最吸引我的一点是它把上面这个想法转化成了一个凸优化问题。凸优化意味着什么意味着只要问题建模正确优化算法就可以稳定地找到全局最优解不需要担心像神经网络那样陷入糟糕的局部最优。这在传统机器学习方法里是非常难得的优势。2. 核心细节解析与实操要点2.1 目标邻居与入侵者两个关键角色要真正理解 LMNN必须先弄清楚两个概念目标邻居target neighbors和入侵者impostors。目标邻居是训练之前人为指定的对每个样本在同类样本中找出 k 个最近邻居作为它希望靠近的对象。这里有个细节值得留意目标邻居的选取是在学习度量之前的初始空间里完成的并且在训练过程中保持固定。这听起来有点“先入为主”但正是 LMNN 设计上的精妙之处——先确定“谁该和谁做邻居”再去学空间如何变形。入侵者定义则更动态在训练过程中如果某个不同类别的样本落入了某个样本的“安全区域”即它距离某个目标邻居过近导致分类边界模糊这个不同类别的样本就被称为入侵者。LMNN 的优化目标之一就是把这些入侵者推出安全区域之外。这个“推”和“拉”的机制是理解 LMNN 直觉模型的关键拉pull让每个样本和它的目标邻居之间的距离减小。推push让每个样本和入侵者之间的距离增大并且要求入侵者不仅要远还得比目标邻居远出一个固定间隔margin。这两个目标对应到损失函数里分别称为 pull loss 和 push loss。两者加在一起再加上一个平衡系数就构成了 LMNN 的完整目标函数。我尝试从几何直觉来解释这段数学描述想象每个样本脚下踩着一个半径可变的圆圆内只能有同类样本。拉的作用是把同类伙伴拉进圆里推的作用是把圆外的异类继续往远处踢同时保留一圈“真空隔离带”。2.2 损失函数的数学直觉与平衡系数 lambdaLMNN 的损失函数可以写成ε(M) (1 - λ) * ε_pull(M) λ * ε_push(M)其中 ε_pull 惩罚样本与其目标邻居之间的距离ε_push 则对入侵者侵入间隔区域进行惩罚。这里的 λ 是一个平衡系数取值范围通常在 0 到 1 之间。λ 越大算法越倾向于把不同类别的样本推远λ 过小则侧重把同类样本聚拢。我在实际应用中反复调过这个参数最终发现 λ 的取值并没有一个万能答案如果数据本身类别重叠度很高我会适当调大 λ比如 0.7 左右让“推”的力量强一些如果数据本身类别区分度已经不错只是想让同类更紧凑那 λ 设到 0.3 左右就够了。还有一个容易忽略的细节损失函数里的间隔margin也是可以调的。默认情况下常用 1 作为间隔值但这并不意味着必须如此。间隔设得越大模型对入侵者的约束就越严格边界会越宽但同样也可能导致过度强调推远而产生欠拟合。我在一次文本分类实践中把间隔从 1 调到 0.5 反而获得了更好的测试表现因为原始特征分布本身就挤强行拉开间隔只会让模型过于扭曲。2.3 半正定矩阵与凸优化为什么LMNN不是玄学很多同学第一次看到“学习一个半正定矩阵 M”时都会被吓到。实际上并不复杂。M 是半正定意味着它可以通过特征分解写成 M L^T L 的形式其中 L 可以理解为一个线性变换矩阵。换句话说LMNN 学习到的本质是一个新的特征空间投影在这个空间里的欧氏距离等同于原始空间里的马氏距离。这个性质有两个重要推论如果 M 是低秩的即 L 的行数小于原始特征维度那么整个过程同时实现了降维。也就是说LMNN 不只是学习一个距离公式它还能顺带把高维数据投影到低维空间效果上类似一种监督降维。凸性保证了优化过程稳定。目标函数关于 M 是凸的所以不论从哪个初始点开始梯度下降或次梯度下降最终都会收敛到同一个全局最优解附近。相比很多非凸模型每次训练结果都不一样LMNN 的可复现性非常高。我用一个生活化比喻来解释想象你在一张纸上画了很多红点和蓝点。欧氏距离是拿直尺直接量纸上的距离LMNN 则是先允许你沿着某个方向把纸拉伸或压缩也就是学习 L 矩阵然后再量距离。如果拉伸方向选择得好红点和蓝点就会被清晰分开。挤压掉的方向就是那些对分类没有帮助的冗余特征维度。3. 实操过程与核心环节实现3.1 用开源库快速落地metric-learnLMNN 虽然数学框架有一定复杂度但好在有现成的开源实现。我用得比较多的是 Python 的 metric-learn 库它实现了包括 LMNN 在内的多种距离度量学习算法接口风格贴近 scikit-learn上手门槛不高。安装很直接pip install metric-learn一个最基础的使用流程如下from metric_learn import LMNN from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier X, y load_iris(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) lmnn LMNN(k3, max_iter1000) lmnn.fit(X_train, y_train) # 学到的线性变换矩阵 L满足 M L^T L L lmnn.transformation_ # 在变换后的空间里跑 kNN X_train_lmnn X_train L.T X_test_lmnn X_test L.T knn KNeighborsClassifier(n_neighbors3) knn.fit(X_train_lmnn, y_train) acc knn.score(X_test_lmnn, y_test) print(fLMNN kNN accuracy: {acc:.4f})这里有个关键点metric-learn 的 transformation_ 属性返回的是线性变换矩阵 L不是马氏矩阵 M 本身。需要把原始特征乘以 L 的转置才能在变换空间里计算欧氏距离。如果直接拿原始特征喂给 kNN等于完全绕过了 LMNN效果自然不对。3.2 完整对比实验传统kNN vs PCAkNN vs LMNNkNN光说不练没什么说服力。我经常在项目里教算法团队做基准实验这里给一个我跑过的对比流程用的是某跨平台系统里的用户行为特征数据集维度大约是 40 维分类任务区分 6 类用户行为模式。实验设计如下传统 kNN直接对原始 40 维特征跑 kNN。PCA kNN先用 PCA 降到 20 维再跑 kNN。LMNN kNN用 LMNN 学习一个 20 维的线性变换再跑 kNN。from sklearn.decomposition import PCA from sklearn.metrics import accuracy_score # 原始特征 kNN knn_raw KNeighborsClassifier(n_neighbors5) knn_raw.fit(X_train, y_train) y_pred_raw knn_raw.predict(X_test) # PCA 降维后 kNN pca PCA(n_components20) X_train_pca pca.fit_transform(X_train) X_test_pca pca.transform(X_test) knn_pca KNeighborsClassifier(n_neighbors5) knn_pca.fit(X_train_pca, y_train) y_pred_pca knn_pca.predict(X_test_pca) # LMNN 降维后 kNN lmnn LMNN(k5, learn_rate1e-7, max_iter1000) lmnn.fit(X_train, y_train) L lmnn.transformation_[:, :20] # 取前20个主方向 X_train_lmnn X_train L.T X_test_lmnn X_test L.T knn_lmnn KNeighborsClassifier(n_neighbors5) knn_lmnn.fit(X_train_lmnn, y_train) y_pred_lmnn knn_lmnn.predict(X_test_lmnn) print(fRaw kNN acc: {accuracy_score(y_test, y_pred_raw):.4f}) print(fPCA kNN acc: {accuracy_score(y_test, y_pred_pca):.4f}) print(fLMNN kNN acc: {accuracy_score(y_test, y_pred_lmnn):.4f})我这边的典型结果大致是原始 kNN 的准确率在 82% 左右PCA kNN 略高一点约 84%但 LMNN kNN 能到 89% 上下。差距主要在类别重叠明显的几个子类上——LMNN 学到的空间对它们进行了更有效的分离。这个对比实验强烈建议每一个打算在项目里引入 LMNN 的人都先跑一遍。它不仅能验证 LMNN 是否适合你的数据还能帮你直观理解算法带来的增益究竟有多大。3.3 参数选择的实操建议LMNN 的核心参数不多但每个都有讲究。我根据自己的实验经验给出如下参数设置建议参数作用我的推荐做法k目标邻居数量与后续 kNN 的 k 保持一致类别样本量不大时尽量选小值lambda推/拉平衡系数默认 0.5 起步类别重叠严重时调大噪声偏多时调小max_iter最大迭代次数数据量小用 500 足够数据量大设 1000 以上并配合早停learn_rate学习率默认值通常可用但若损失震荡明显可适当调小regularization正则化强度特征维度高、样本量少时建议开启缓解过拟合我自己的习惯是先固定 k3用默认 lambda 跑一版画出损失曲线看收敛情况然后保持 k 不变用交叉验证搜索 lambda最后再回到 k 的搜索上。这个顺序能避免两个参数同时变动时难以判断谁对结果影响更大。4. 常见问题与排查技巧实录4.1 问题一LMNN 训练非常慢怎么办LMNN 的复杂度基本随样本量平方增长因为需要计算样本对之间的距离。我有一次在约 5 万条样本的数据上跑默认参数训练时间直接飙升到几十分钟以上。排查思路如下检查 max_iter 是否过大。很多场景下 500 次迭代已经足够了。检查是否开启了 verbose看看损失是否早就收敛。如果损失在 100 轮前就平了直接调低 max_iter 就好。考虑先对数据进行降维或采样。先用 PCA 把维度降到 50 以内或者用少量代表性数据训练 LMNN再用学到的变换迁移到全量数据上。使用 metric-learn 里 LMNN 的 preprocessor 参数直接在原始特征上做预处理减少内部重复计算的开销。根据我的经验当样本量超过 2 万时LMNN 的原始版本就已经显得吃力了超过 10 万基本要考虑采样或换其他大规模度量学习方案。4.2 问题二训练完的空间里 kNN 效果反而下降这个现象第一次遇到时我也很蒙。明明训练过程很正常损失也在下降但变换后的测试准确率却不升反降。最常见的原因是过拟合。LMNN 是监督方法如果训练样本太少或者特征维度太高它学到的是一个过度贴合训练集的变换在测试样本上泛化能力不足。解决办法有几种增加训练样本尤其是每个类别至少要有足够的样本数来定义稳定的目标邻居。增加正则化强度。metric-learn 的 LMNN 支持传入正则化系数调大一点能限制 M 矩阵的复杂度。调小 lambda 也可能有效。lambda 太大会让推的力度过强把空间拉得过于激进。检查数据是否有脏标签。LMNN 对噪声标签非常敏感个别错误的类别标签会直接把目标邻居和入侵者定义带偏我在实践中发现这是最常见的原因。4.3 问题三k 值到底怎么选LMNN 里有两个 k一个是定义目标邻居时的 k另一个是后面跑 kNN 分类时的 k。这两者最好一致但并非必须。我的经验是目标邻居的 k 可以稍大于分类 kNN 的 k。比如最终分类想用 3 近邻就可以用 k4 或 5 来训练 LMNN让目标邻居集合稍微“冗余”一些这样分类时的抗噪性更好。当然一切要以交叉验证结果为准不要拍脑袋。4.4 问题四类别不平衡严重LMNN 原始模型天然更偏向样本多的类别因为优化目标里每个样本贡献的损失权重是相同的。如果某类样本特别多它的 push/pull 损失总和就会主导优化方向。我处理这个问题的做法是按类别对样本进行重加权。实际实现中可以给每个样本的损失乘一个权重让少数类样本的权重大一些。注意 metric-learn 的 LMNN 并不直接支持样本权重所以通常的做法是两个一是对多数类做欠采样二是在训练前对少数类做简单的合成过采样。我这里更推荐前者因为过采样会改变样本分布进而影响目标邻居的定义容易引入偏差。5. 应用场景与扩展方向5.1 适合 LMNN 发力的场景从我的实践经验来看LMNN 在以下几类场景中非常值得一试图像检索用 CNN 提取图像特征后特征维度动辄几百甚至上千。直接算特征相似度往往效果一般用 LMNN 学一个度量再检索能明显提升 top-k 准确率。文本分类与语义匹配文本向量如 TF-IDF、Sentence-BERT 向量的高维稀疏或语义分布特性很适合度量学习来重新校准距离。小样本分类当每类样本只有几十到几百个时神经网络玩不转但 LMNN 配合 kNN 反而能给出稳定且可解释的结果。推荐系统中的相似用户/物品匹配把用户和物品的特征投影到一个拉近了同类、推远了异类的空间离线评估时 A/B 效果往往不错。5.2 从 LMNN 到广义度量学习家族LMNN 只是距离度量学习里的一个大将实际使用时还常会遇到它的表兄弟ITML信息论度量学习适合有相似性/不相似性约束但不希望改变全局空间结构太猛的任务。NCA邻域成分分析目标函数不是凸的但实践中在部分数据集上表现优于 LMNN。LFDA局部 Fisher 判别分析更偏生成式视角适合可视化降维。我在做技术方案选型的时候通常会把 LMNN 当作默认选择因为它效果好、可复现、实现成熟。如果它在验证集上表现不佳再去试 NCA 或其他方法而不一开始就上复杂的深度学习度量学习方案。6. 个人经验体会与进一步扩展最后说说我自己用 LMNN 的一些体会。第一次在项目里跑通 LMNN 是在一个基于用户画像的分类任务上当时最震撼的不是准确率的提升而是它学到的变换把原来纠缠不清的类别在二维投影下分得清清楚楚。那一刻我才真正理解了“度量学习”这四个字的含义——它不只是调距离公式而是在重定义你对数据的观测方式。作为一种经典算法LMNN 的价值在今天并没有过时。特别是在深度学习大行其道的环境下很多任务动辄用复杂网络去硬学特征却忽略了在已有好特征的基础上重新学习度量这一环。LMNN 作为一个轻量、稳定、可解释的工具适合嵌入到各种已有特征处理流水线中充当一个“最后一步校准”的角色。如果后续想加深对 LMNN 的理解我建议从改动它的目标函数入手比如把马氏距离换成基于核的非线性度量或者结合深度特征做端到端学习。理解了 LMNN 的核心思想再去看后续的一大堆度量学习论文会发现万变不离其宗都是在“拉近同类、推远异类”这个朴素目标下做文章。希望这篇文章能帮你把这个经典算法用起来少走我当年走过的弯路。
阅读完成 · 觉得有帮助？
)
