★ FEATURED ARTICLE 在无标注数据这块很多人习惯性地打开sklearn直接跑一个KMeans但凡是真正做过几年聚类项目的人都有体会高维图像、文本向量、用户行为序列这类数据传统聚类几乎每次都会翻车。原因不是聚类算法本身不行而是输入特征根本喂不对。深度聚类这个方向在最近几年被反复提起核心思路就是用神经网络学出一个更适合聚类的特征空间在学特征的同时把聚类目标也一起优化进去。这篇文章想做的就是把深度聚类现有的开源代码库做一次系统性梳理——不是贴论文而是从代码工程的角度讲清楚哪些库值得直接用、它们的核心结构长什么样、训练时有哪些坑、以及如何把代码改到自己的业务场景里。内容主要面向正在做无监督/自监督方向的研究生、算法工程师以及想用聚类能力做数据清洗和冷启动的开发者。1. 深度聚类到底在解决什么问题1.1 传统聚类在高维数据上的三个死穴先说传统聚类为什么不够用。第一个问题是维度灾难。以图像为例一张224x224的RGB图拉平之后就是150528维的向量直接用欧氏距离算相似度绝大多数维度上数值都接近噪声真正的语义距离完全被淹没了。文本经过TF-IDF之后同样是几万维的稀疏向量聚类结果基本看运气。第二个问题是特征与聚类目标脱节。PCA、自编码器这类方法先做降维再把降维结果丢给KMeans但降维过程完全不关心聚类这事压缩出来的特征局部结构也许保留得不错全局簇结构却常常被破坏。第三个问题是簇形状假设过于理想。KMeans假设簇是凸的、大小接近、密度均匀真实数据里簇的形状千奇百怪一个簇套着另一个簇的情况很常见结果就是聚类中心被严重拉偏。这三个问题叠加起来传统方案的效果上限非常低。我自己在做一个商品主图聚类项目时用ResNet提特征配合KMeansACC只有0.4左右分出来的簇肉眼可见的乱——同一款鞋的不同角度散落在三个簇里。后来换成深度聚类的联合优化方案ACC一下子提到了0.7以上这个差距足以说明问题。1.2 深度聚类的核心逻辑特征学习和聚类是一件事深度聚类的基本逻辑可以概括成一句话让神经网络在迭代中不断学习什么样的特征分布最适合当前数据集聚类。它不再把特征提取和聚类拆成两个独立阶段而是把它们放在同一个损失函数里联合优化。实现这个逻辑通常分两步走。第一步用自编码器、对比学习或预训练模型初始化一个特征提取器得到一个初始的特征空间第二步在特征空间上做一次聚类比如KMeans拿到伪标签然后用伪标签构造一个自监督目标反过来指导特征提取器调整参数。如此反复迭代特征空间里的簇结构会越来越清晰。这里的关键设计是目标分布。在DECDeep Embedded Clustering里作者用Student-t分布去衡量样本特征与聚类中心之间的相似度得到一个软分配q再用辅助目标分布p去锐化这些软标签让高置信度的样本权重更大。因为p的更新依赖于当前特征和聚类中心这个迭代过程本质上是一种自训练带着聚类结构的信息去重构特征空间。1.3 主流方法家族与代码分支深度聚类经过这几年发展大概分成了三条技术线。第一条线是自编码器路线代表是DEC、IDEC、DCEC思路是在自动编码器的瓶颈层或重构损失上加入聚类损失代码结构比较清晰适合入门和中小规模数据。第二条线是对比学习路线代表是CCContrastive Clustering、DCCM、NNCLR等利用数据增强构造正负样本在对比损失里融入聚类一致性约束效果通常更好但训练时间更长。第三条线是图神经网络路线代表是SDCN、AGCN这类方法把样本之间的关系建模成图适合带有天然图结构的数据比如社交网络、代码依赖、论文引用。选哪条线本质上取决于数据类型和计算资源。图像中小规模数据DCEC就够了大规模无标注图像CC这类对比聚类方法更合适显存有限、数据量中等自编码器路线更省资源训练速度也快一个数量级。2. 代码库选型别人的轮子怎么挑2.1 主流开源库横向对比深度聚类的开源仓库非常多但质量参差不齐。我以工程可用性为标准挑了这几个有代表性、仍在维护或代码完整度足够高的库来做对比。代码库/方法核心思想依赖框架适用数据规模易用性备注DEC (官方)自编码器KL散度自训练PyTorch中高代码极简适合读源码学思路但对噪声敏感IDEC (官方)DEC重构损失PyTorch中高比DEC稳定簇结构更完整推荐入门DCEC卷积自编码器聚类损失Keras/TF中中对图像友好但旧版依赖较多需要适配DCCM对比学习多视图一致性PyTorch中大中效果强代码复杂适合做基准对比CC (Contrastive Clustering)对比学习实例级/簇级一致性PyTorch中大中训练开销大收敛较慢需要调参deep-clustering-benchmark多个深度聚类算法统一评测框架PyTorch中高不生产模型但评测指标完善非常推荐DEC和IDEC是最容易跑通的代码量控制在两三百行以内非常适合先跑通流程再逐步加自己的模块。deep-clustering-benchmark这个框架特别适合做横向对比它把ACC、NMI、ARI等指标实现得比较严谨我在做实验对比时经常拿它作为基准工具。2.2 一个仓库能不能用先看这三件事很多论文公开的代码仓库并没有按可复现标准维护拿到手跑不起来是常态。我的经验是先做半小时的代码体检再决定要不要在这个仓库上投入时间。第一看依赖和版本。深度聚类仓库大多依赖PyTorch但有的代码还停留在0.4时代用的是Variable、volatile这种早就删除的接口直接跑肯定会报错。建议先看requirements.txt或environment.yml确认框架版本是否兼容当下的环境。第二看数据加载部分。很多仓库硬编码了数据集路径甚至直接在代码里写死C:\data\...或者依赖某些外部下载脚本这些都需要格外留意。第三看随机种子管理。可复现性是深度聚类项目的基本要求仓库里是否固定了全局种子、是否设置cudnn.deterministic直接决定你调参时看到的结果是真实变化还是随机噪声。2.3 我常用的三个代码骨架在实际项目中我不太可能直接拿官方代码做业务通常把它当作骨架来改动。第一个骨架是自编码器聚类两层结构也就是IDEC的思路适合快速验证数据集中是否存在可分的簇结构。第二个骨架是标准预训练-微调管线即先用自监督任务预训练特征提取器再在冻结或微调状态下聚类稳定可靠适合从预训练模型迁移到自己的数据上。第三个骨架是聚类头综合评估脚本也就是拿一个设计良好的聚类头类似deep_cluster头配合完整的评测逻辑方便在多个数据集和多种初始化条件下反复实验。我的建议是不要在一开始就追求复现顶会论文的最优结果而是先用自己的数据跑通这三个骨架中最简单的一个拿到一个能用的基线和可视化结果再考虑要不要上复杂模型。3. 核心代码结构与复现要点3.1 自编码器预训练阶段一切的基础大多数自编码器路线的深度聚类算法第一步都是预训练一个自编码器。这个阶段的目标不是直接聚类而是让特征提取器先学会保留数据的主要结构信息避免一上来就把特征空间搞乱。IDEC在加载预训练的自动编码器后才把聚类损失加进去联合训练。预训练阶段的代码结构很常规但有三个容易被忽视的细节。第一个是数据增强策略。如果用的是卷积自编码器一般只需要RandomCrop、RandomHorizontalFlip这类轻增强不要把ColorJitter的强度拉得太高否则重构任务会变得太难反而学不到稳定的特征。第二个是重构损失权重。在IDEC里联合训练阶段总损失是聚类损失 重构损失重构损失的系数通常设在0.1到1之间过大会让特征结构偏向重构过小则会导致特征退化。第三个是编码器输出维度也就是瓶颈层特征维度。这个维度需要根据聚类数量和标注难度来定图像通常取32到128维文本或行为序列特征可以适当高一些。一个值得注意的点是预训练到底要训多少个epoch。官方实现里DEC预训练200个epoch但实际业务数据往往没有那么多量我一般以验证损失收敛为准通常50个epoch就足够了。3.2 聚类层与目标分布的设计细节聚类层是整个代码库里最核心、也最容易写错的部分。它的本质是一组可学习的聚类中心每个中心维度与特征维度一致。每个样本拿到特征后计算它和所有中心的相似度得到软分配概率。这里有个常见误区不是用欧氏距离而是用Student-t分布。DEC原作者选择Student-t分布是因为它的尾部比高斯分布更重对异常样本更鲁棒同时正好借了t-SNE里的思路计算方便。def soft_assignment(features, cluster_centers, alpha1.0): # features: [N, D] # cluster_centers: [K, D] # 计算每个样本到每个聚类中心的距离 dist torch.cdist(features, cluster_centers, p2.0) # [N, K] # Student-t分布软分配 q 1.0 / (1.0 dist.pow(2) / alpha) q q.pow((alpha 1.0) / 2.0) q q / q.sum(dim1, keepdimTrue) return q上面这段代码是DEC软分配的标准实现。注意alpha通常直接设为1.0不需要额外学习。得到q之后需要计算目标分布p。p的公式也很经典先对每个簇的软分配频次做归一化再用平方加权进一步锐化。def target_distribution(q): # q: [N, K] 软分配矩阵 p q.pow(2) / q.sum(dim0, keepdimTrue) p p / p.sum(dim1, keepdimTrue) return pp的作用可以这样理解它把那些模型已经很有把握的样本权重加大把置信度低的样本权重压低让训练过程更聚焦在边界清晰的样本上。每训练一个epoch或几个epoch更新一次p太频繁会导致目标不稳定太少则收敛缓慢。官方实现里通常是每个epoch更新一次我实际用下来觉得这个频率比较合理。3.3 损失函数、优化器与超参数指南深度聚类联合训练阶段用得最多的损失是KL散度目标是让软分配q不断靠近目标分布ppred model(features) # [N, D] q soft_assignment(pred, cluster_centers, alpha1.0) p target_distribution(q).detach() # 关键p不需要回传梯度 loss F.kl_div(q.log(), p, reductionbatchmean)这里有一个非常容易踩的坑p是作为固定目标存在的所以必须用detach()切断梯度否则p会随着q的变化一起变模型根本学不到稳定的方向。理论上这个损失不需要标签梯度会推动特征和聚类中心同时调整所以聚类中心一定要参与参数更新不能冻结。优化器方面大多数实现直接使用SGD或Adam学习率设置在1e-3到1e-2之间。如果是IDEC这种带重构损失的优化器通常要同时更新编码器、解码器和聚类中心需要确保它们都在同一个parameters()列表里。超参数对照可以参考下面这张表。超参数DEC/IDEC 典型值说明瓶颈维度10-128太低会丢失结构太高聚类不稳定聚类数K根据真实簇数或KMeans肘部法核心依赖经常需要人工试探alpha (Student-t)1.0一般不需要调整预训练epoch50-200观察重构损失收敛联合训练epoch100-200观察簇分配稳定性重构损失权重0.1-1.0IDEC核心参数学习率1e-3SGD/ 1e-4Adam变化太大会导致簇崩溃我见过很多人调参只盯着ACC其实深度聚类最重要的监控信号是簇分配稳定性连续几个epoch内每个样本的伪标签变化率是否在下降。如果伪标签来回跳说明聚类中心还没稳这时候调大epoch比调学习率更有效。3.4 评估指标ACC、NMI、ARI怎么算才算对深度聚类的论文里最常见的三个指标是ACC聚类准确率、NMI标准化互信息和ARI调整兰德指数这三个指标在sklearn里都有现成实现但代码库里容易出的坑也不少。ACC不是直接把伪标签和真实标签对比准确率因为聚类结果的簇编号是任意的必须先用匈牙利算法把簇编号和真实类别做最优匹配再计算匹配后的准确率。sklearn里没有直接给这个函数需要自己调scipy.optimize.linear_sum_assignment实现。NMI和ARI则是无监督指标不依赖簇编号对应关系直接用sklearn.metrics.normalized_mutual_info_score和adjusted_rand_score即可。from scipy.optimize import linear_sum_assignment from sklearn.metrics import normalized_mutual_info_score, adjusted_rand_score def cluster_acc(y_true, y_pred): y_true y_true.astype(int) y_pred y_pred.astype(int) # 构造代价矩阵第i个真实类别匹配第j个簇的样本数 cost_matrix -np.array( [[np.sum((y_true i) (y_pred j)) for j in np.unique(y_pred)] for i in np.unique(y_true)] ) row_ind, col_ind linear_sum_assignment(cost_matrix) total 0 for r, c in zip(row_ind, col_ind): total np.sum((y_true np.unique(y_true)[r]) (y_pred np.unique(y_pred)[c])) return total / len(y_true)上面这段ACC实现我在多个项目里复用注意匹配时要用-np.sum因为匈牙利算法默认求最小代价。另外深度聚类评测对随机种子非常敏感同一套代码不同种子跑出来的ACC可能差5个百分点所以评测时要固定种子且最好多次初始化取均值或最稳定值。4. 完整实操从零跑通一次图像聚类任务4.1 环境准备与数据预处理我以IDEC官方代码库为例跑一次MNIST上的聚类实验。首先需要准备PyTorch环境版本建议1.10Python 3.8另外最好装好scikit-learn和scipy用于指标计算。数据集直接从torchvision加载即可但我更推荐先把MNIST下载到本地路径避免每次实验重复下载。预处理部分有一个细节值得注意不要把ToTensor和Normalize直接放在DataLoader里做而是把整个transform固定到数据集上。原因很简单自编码器预训练阶段和联合训练阶段用到的transform必须完全一致否则特征空间的语义会漂移。MNIST没什么复杂的增强但对业务图像我建议把训练集和测试集或者有标注的小样本集统一预处理保证评估时不会因为resize尺寸不一致而出现特征偏差。transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) dataset datasets.MNIST(./data, trainTrue, downloadTrue, transformtransform)4.2 训练流程与参数配置分步执行整个训练流程分为三步。第一步是自编码器预训练。用一个三层卷积编码器加三层反卷积解码器输入28x28的灰度图输出瓶颈特征维度10先用MSE重构损失训100个epoch观察重构出来的图像轮廓是否清晰可辨。第二步是初始化聚类中心。把编码器输出的特征全部提取出来用KMeans聚成10个簇把得到的簇中心当作聚类层的初始值。第三步是联合训练。把编码器、解码器和聚类层放在一起用KL散度 重构损失训练直到簇分配稳定。这里有一个我在踩过坑之后总结出的经验初始化聚类中心时KMeans的n_init参数要适当大一些我在编码器特征上通常设置n_init50。因为深度聚类的最终结果对初始聚类中心很敏感如果初始中心选得差后续联合训练很难跳出局部最优多跑几次KMeans选目标函数最小的那组中心能显著提升后续收敛质量。联合训练阶段的关键参数如下学习率0.01用SGD加Momentum0.9重构损失权重0.1聚类损失直接用KL散度。整个训练过程中我每5个epoch打印一次ACC/NMI/ARI但注意这些指标只能作为参考因为它们在训练集上计算会随训练持续波动。4.3 常见问题排查速查表在带团队和带学生复现深度聚类时我整理了一张高频问题速查表基本都是代码库里常见的坑。问题现象根本原因解决方法损失变成NaN或剧烈震荡学习率过大、特征数值溢出降低学习率到1e-4检查是否用了detach()所有样本聚到同一个簇聚类中心未参与梯度更新或初始中心重合检查优化器参数列表是否包含cluster_centersKMeans初始化是否失败ACC很高但NMI很低簇内纯度好但簇间关系乱常见于类别不均衡检查数据分布或改用NMI作为主要优化目标训练过程中伪标签不断跳跃目标分布更新太频繁延长目标分布更新间隔比如每2~3个epoch更新一次预训练重构效果好但聚类效果差自编码器学到的特征保留像素级信息过多、语义不足增加瓶颈维度、或改用对比学习预训练复现结果和论文不一致随机种子、初始化、alpha值、预处理不一致检查是否固定种子确认预处理完全一致其中所有样本聚到同一个簇这个问题最隐蔽也最容易让新手崩溃。它的根源通常是代码在计算聚类损失时把聚类中心写成了不可训练的常量或者把聚类中心排除在优化器参数之外。排查方法很简单打印聚类层参数的requires_grad确认是True。4.4 业务数据上的额外调整算法在MNIST上跑出好结果很容易业务数据才是真正的考验。我处理过商品图像、文档图像和用户行为序列三类数据有几个通用的调整思路。第一是聚类数的确定。业务场景里往往不知道真实簇数我的做法是先跑一个较大的K比如预估数的1.5倍聚类结束后用簇内平均距离、簇间最小距离和silhouette_score综合判断哪些簇该合并。第二是类别不均衡问题。深度聚类天然偏向大簇如果业务数据的类别分布极不均衡比如1:99需要在损失里对样本数少的簇加权或者用小簇样本过采样的方式增强。第三是特征退化。自编码器路线在数据量足够大时特征可能退化成只保留纹理不保留语义这时候我会切换到对比学习预训练或者用自监督预训练模型初始化特征提取器效果会立刻改善。5. 从代码到业务深度聚类的应用场景5.1 无标注数据组织的三个典型场景深度聚类最实用的场景首先要算无标注数据的自动打标和清洗。比如客服对话文本数据量巨大且没有人工标注先用Sentence-BERT提取句向量再用深度聚类模型聚出几十个方向每个簇抽取关键词和代表样本人工只需要审阅每个簇而不是每一条数据效率至少能提升一个量级。其次是异常检测的辅助手段。聚类完成后那些离所有簇中心都很远、且分配概率在多个簇之间均匀分布的样本往往是异常数据或标注噪声。把这类样本单独挑出来比用纯距离阈值做异常检测要稳得多。第三个场景是推荐系统的冷启动。新用户没有历史行为但可以通过深度聚类把用户画像聚成几类再按类内多数行为做推荐对冷启动期用户来说类级推荐比全站热门推荐更有针对性。我自己做过一个真实案例某电商商品库里有80万张主图没有类目标签用DCEC结构配合ResNet初始化把图片聚成32个类每个类用Top-10代表样本给运营审核。原本人工打标需要两周聚类后只用了两天而且审核过程中运营直接修正了十几个有歧义的簇相当于把人工经验又回流到了模型里。5.2 深度聚类常见的应用误区很多团队把深度聚类当成一个万能工具包上来就用结果效果差强人意。我从经验出发提醒几个常见的误区。第一个是期望聚出来的簇就一定语义清晰。深度聚类优化的是特征分布上的簇结构不是人类语义标签如果数据本身没有清晰的分界强行聚类只会造出几个语义混乱的大杂烩。第二个是忽视聚类数的敏感性。K选择不合适再好的算法也白搭建议结合业务可解释性来定K而不是完全依赖统计指标。第三个是忽视了数据分布变化。深度聚类模型在一个时间窗口的数据上训练完后如果业务数据分布漂移了模型需要重新预训练或至少重新初始化聚类中心否则上线一周后效果就会明显下滑。项目落地时我一般建议设定一个人工抽查-反馈-重训的闭环机制。比如每次聚类结果出来后抽检5%的样本人工把分错的簇标记出来用于下一轮微调或中心修正。这个闭环的成本远低于全量标注而且能持续提升聚类质量。5.3 与主动学习、半监督学习的搭配思路最后补充一个很容易出效果的搭配方式深度聚类配合主动学习。在聚类结果里挑出那些分配置信度最高和最低的两批样本去让标注人员进行标注。高置信度样本标注成本低可以用在模型微调里低置信度样本标注价值高往往就是分类边界附近的难例。这样两批样本结合起来可以用很少的标注量就把无监督聚类模型升级成半监督分类模型。这种思路特别适合那种有少量标注预算但有一堆无标注数据的项目。先聚类再按不确定性采样标注再微调整个过程只需要两周左右业务指标的提升往往比直接堆标注数据更快。6. 最后再分享一点个人的实操体会深度聚类这个方向论文里写得很美但落地时最怕的就是把它当成黑盒调包侠。跑了这些年代码我最深刻的体会是深度聚类不是一个开箱即用的算法而是一套需要反复调校特征空间和聚类目标的方法论。代码库再多、再完善也没有一个库会帮你决定该聚成几类哪些样本该被剔除特征要学到什么程度。真正决定效果上限的往往就是你愿意在数据预处理、可视化分析和迭代闭环上投入多少时间。如果你刚开始接触深度聚类我的建议很直接不要上来就复现DCCM这种复杂模型。先选一个最简洁的IDEC实现把代码从头到尾读一遍跑通MNIST再用可视化工具把聚类过程中的特征分布变化展示出来。等你彻底理解了自编码器预训练、KMeans初始化、软分配、目标分布锐化这四个环节的因果关系再去看对比学习、图神经网络这些进阶变体会轻松得多。到那时候不管是改代码还是搭自己的库你都不会被某个仓库里的花式封装给困住。
阅读完成 · 觉得有帮助？
