★ FEATURED ARTICLE 这周的课程正好讲到“模型选择”和“词向量”我当时的第一反应是这两个话题放在同一讲确实是经过设计的。前几讲解决的是“数据怎么变成特征”的问题而 Pt.11 把聚光灯打在了两个更关键的节点上——一是当我们面对多个候选模型时凭什么选它不选它二是当我们要处理文本数据时怎么把词变成机器能理解、又能保留语义关系的表示。后者恰恰是前者最常见的实践入口之一。如果只是单纯罗列“有哪些模型选择方法”和“词向量是什么”那就太浪费这一讲了。结合我自己的项目经历这两个话题在实际工作中经常交织在一起你以为自己在纠结选哪个分类器调了半天才发现瓶颈根本不在模型而在文本表示方式上。所以这篇笔记我不打算按课程 PPT 的顺序平铺直叙而是沿着一条实际解决问题的路径来写先聊模型选择前的评价标准再深入词向量的原理和选型最后讲评估手段和一些容易踩的坑。1. 模型选择之前先把“评价标准”想清楚1.1 为什么“模型选择”不是课程的起点很多初学者会问既然都要做预测了为什么不从第 1 讲就开始比较模型答案其实藏在大数据分析的流程里。前几讲反复强调过数据质量、特征工程和基线统计决定了问题的上限而模型选择更多是在逼近这个上限。换句话说如果你连数据里的类别分布、缺失情况、特征相关性都还没摸清直接拿十几个模型跑一遍然后选个指标最高的这种做法大概率会翻车。我在一个电商评论情感分析项目里就吃过这个亏。当时团队拿到约几十万条商品评论目标是把评论分为正面、负面和中立三类。我们跳过数据探查直接把词频矩阵丢给朴素贝叶斯、逻辑回归和随机森林跑完发现准确率差不多但看具体结果时发现问题很大中立类几乎全军覆没负面评论被大量误判为正面。后来才意识到这个数据集的类别分布严重不平衡正面评论占了六成以上准确率这个指标根本反映不出真实效果。所以 Pt.11 把模型选择放在数据分析和特征工程之后是有道理的。它默认你已经完成了前期的数据理解现在面临的是一道真正的选择题给定了相同的训练数据不同模型各有偏向你依据什么来做最终决策1.2 准确率不是唯一的尺子先说说我在项目里最常用的一套评价体系。分类任务里准确率Accuracy是最直观的指标但它在不平衡数据上非常容易骗人。上面那个评论项目里如果全部预测成“正面”准确率也能超过 60%。这时候真正有用的是一组从混淆矩阵延伸出来的指标精确率Precision、召回率Recall和 F1。精确率回答的问题是你预测为“负面”的评论里有多少真的是负面召回率回答的是真实的所有负面评论里你找回了多少。两者往往是此消彼长的关系F1 则是它们的调和平均。在业务端我们还要进一步区分“哪类错误更贵”。评论项目里把负面误判成正面漏掉差评比把正面误判成负面误伤好评更严重所以最终模型的评估指标需要专门调权重。除了这些AUCROC 曲线下面积也值得拿出来说。AUC 不依赖于具体分类阈值衡量的是模型把正样本排在负样本前面的能力。在二分类场景下如果业务方还没想好到底用多少概率作为截断值先看 AUC 是比较稳妥的做法。但对于多分类任务AUC 的扩展会稍微复杂通常退化成“一对多”再取平均。另一个容易被忽略的点是如果数据极度不平衡PR 曲线比 ROC 曲线更敏感因为 ROC 受大量负样本影响会把精确率的变化“稀释”掉。这一点在做欺诈识别、罕见故障预测时尤其重要。1.3 偏差-方差权衡不是纸面概念模型选择的另一个底层逻辑是偏差-方差权衡。偏差高意味着模型过于简单连训练数据里的模式都没学好方差高意味着模型对训练数据里的噪声过度敏感换个数据子集表现就剧烈波动。判断模型处于哪种状态我推荐画学习曲线横轴是训练样本量纵轴是训练误差和验证误差。如果两条曲线最终靠得很近但误差都很高那是高偏差应该增加模型复杂度或者补充特征如果训练误差很低、验证误差却很高两条曲线像剪刀一样越拉越开那是高方差应该收集更多数据、降低模型复杂度或加强正则化。这个思路在课程里的应用非常直白线性模型普遍偏差偏高、方差偏低深度模型和复杂树模型偏差偏低、方差偏高。你在做选择时心里始终要有一根弦——当前的瓶颈到底是欠拟合还是过拟合。有些团队一上来就换更复杂的模型结果反而更差因为问题根本不在偏差而在数据量和正则化策略。2. 词向量把语言变成坐标空间里的点2.1 独热编码的致命伤在接触 Word Embeddings 之前最常见的文本表示方式是独热编码One-hot Encoding。假设词表里有十万个词每个词就是一个十万维的向量只有自己对应的位置是 1其余全是 0。这种做法有两个显而易见的问题第一维度爆炸十万维的稀疏向量不仅存储开销大喂给模型后计算量也很恐怖第二也是最致命的它完全无法表达词与词之间的语义关系。“苹果”和“香蕉”在独热编码下两个向量的夹角是 90 度距离和“苹果”与“汽车”没有任何区别。模型只知道这两个词是不同的符号却不知道苹果和香蕉都是水果、都偏甜、经常出现在相似的语境里。对于大数据分析中的文本任务来说这种表示等于把语言的丰富信息先压扁成孤立的 ID再期待模型从中挖掘出规律难度显然非常大。2.2 分布式表示一个词由它的上下文决定词向量的核心思想是分布式表示Distributed Representation。用一句话概括一个词的意义很大程度上由它经常出现的上下文决定。这里常被引用的理念非常直白如果你想知道一个词的意思看看它周围都是些什么词就行。具体做法是把每个词映射到一个稠密的低维向量比如 100 维或 300 维。这个向量的每一维不再对应某个具体的词而是某种潜在的语义特征。通过大规模语料训练语义相近的词在向量空间中的位置也会相近。我自己在理解这个概念时喜欢用坐标地图来类比城市里每个地点都有经纬度距离近的地点功能往往相似比如学校周围容易聚集书店和文具店。词向量就是给每个词安了一个“语义经纬度”让计算距离成为可能。这带来一个非常有用的性质词向量之间可以做算术。课程里举的经典例子是 “king - man woman ≈ queen”。当时我看到这个结果还挺震撼的因为这说明模型在训练过程中不只是记住了词频而是学到了某种“性别”方向的概念。这种方向性意味着我们可以用向量运算来回答类比问题比如“北京之于中国相当于东京之于什么”。2.3 为什么词向量能捕捉语义关系深层原因要从训练目标说起。无论是哪种 Word Embeddings 方法本质上都在做一个假设出现在相似上下文里的词应该拥有相似的向量。于是训练过程实际上是不断调整每个词的向量使得模型能更好地完成“根据上下文预测目标词”这类任务。为了完成这个任务模型被迫把词的语义属性编码到向量里。举个粗糙的例子如果语料里经常出现“咖啡”和“茶”它们周围的词很可能是“喝”“热”“杯”“早上的”等等。为了预测这些上下文模型会把“咖啡”和“茶”的向量往相似的方向推。久而久之同类词的向量就聚集到一起不同类词的向量则彼此远离。这种性质在后续做聚类、相似度计算、甚至作为下游模型的特征时都能带来立竿见影的好处。3. Word2Vec 原理与选型CBOW 和 Skip-gram 怎么选3.1 两条训练路线的核心逻辑提到词向量绕不开 Word2Vec。它提供了两种训练架构CBOWContinuous Bag-of-Words和 Skip-gram。CBOW 的思路是基于上下文预测中心词。比如句子“我喜欢喝____茶”把“我喜欢喝”和“茶”这几个词的向量作为输入模型要猜中间那个词是“龙井”还是“绿茶”。因为一个样本同时利用多个上下文词的信息训练速度更快而且对高频词有不错的平滑作用。Skip-gram 正好反过来给定中心词预测它周围的上下文词。同样是“我喜欢喝绿茶”这句话给“绿茶”模型要尽量预测出“喜欢”“喝”。每个中心词都要参与多次预测因此训练更慢但每个词都能更多地“看见”不同上下文对生僻词和语料规模较小的情况更友好。我在项目里一般这样选如果语料足够大、任务以高频词和整体语义为主优先 CBOW省时间如果语料相对有限或者业务里专业术语、低频词比较多Skip-gram 往往效果更好。这里没有绝对的对错最好两个都训练一版在下游任务上对比毕竟训练成本通常还能接受。3.2 负采样和层次 Softmax 的作用如果直接按照原始神经网络的思路来训练 Word2Vec最后一步要计算一个词表大小的 Softmax比如十万个词每个训练样本都要算十万次指数和归一化代价实在太大。课程里讲到了两种优化手段负采样Negative Sampling和层次 SoftmaxHierarchical Softmax。负采样的思路很直接把多分类问题改造成二分类问题。给定中心词和上下文词模型只需要判断“这一对词是否真的在语料中共现”同时随机抽取几个不相关的词作为负样本让模型学会区分。这样一来每个训练样本的计算量只取决于负样本数量而不是整个词表的大小。实践里负样本数量常在 5 到 20 之间数值过小训练不稳定过大又会拖慢速度。层次 Softmax 则是用一棵霍夫曼树来组织词表中的所有词预测目标词时只需要从树根走到对应叶子节点沿途做几次二分类判断。这样复杂度从词表大小降到树高也就是对数级别。课程里提到 Word2Vec 的原版实现同时支持这两种优化但现代实践里负采样用得更普遍因为实现简单、效果也稳定。3.3 其他常见的 Embedding 方法GloVe 和 fastText除了 Word2Vec模型选择的讨论里还经常出现 GloVe 和 fastText。GloVe 的思路是利用全局共现矩阵的统计信息结合矩阵分解来生成词向量。它的优势在于对全局统计信息利用得更充分在小语料上也能训练出相对稳定的向量。fastText 则在 Skip-gram 的基础上引入了子词subword信息把每个词分解成若干个字符级别的 n-gram再对它们取平均得到词向量。这样做的好处是能处理词表外的词OOV即使某个词在训练语料里完全没见过只要它的字符片段出现过就能拼接出一个合理的向量。对于中文里大量的生僻词、英文里的拼写变体、以及带有前后缀的衍生词fastText 比 Word2Vec 更加鲁棒。它们之间怎么选我的经验是如果只是想快速拿到一组可用的通用词向量GloVe 常常是很稳的选择如果数据里存在大量拼写变体或者需要处理未登录词优先 fastText如果目标是在特定下游任务上精细微调Word2Vec 依然是灵活度最高的基础选项。3.4 选型对比速查方法训练方式主要优点适用场景CBOW上下文预测中心词训练快高频词效果好语料充足任务偏通用语义Skip-gram中心词预测上下文低频词和生僻词更友好语料有限术语密集GloVe全局共现矩阵分解小语料下仍较稳定快速构建基础词向量fastTextSkip-gram 子词信息能处理未登录词形态丰富语言、噪声文本4. 词向量质量的评估不能只看训练损失4.1 相似度任务与类比推理任务很多人在训练完词向量后第一件事就是看 loss其实 loss 下降到一定程度后对质量的指示作用就变弱了。最直接的评估方式是做词相似度任务拿一组人工标注过相似度分数的词对比如“猫”和“狗”相似度高“猫”和“石头”相似度低然后计算这些词的向量余弦相似度再与人工分数算相关度。相关度高说明词向量的排序行为和人的直觉一致。类比推理任务是另一种体现词向量语义能力的测试。经典的格式是 “a 之于 b相当于 c 之于 ?”比如“中国”和“北京”的关系对应“日本”和什么。实际操作中就是做向量运算取 v(b) - v(a) v(c)然后在词表里找余弦相似度最高的向量。我自己会在训练完一版向量后跑一批这种类比题虽然结果好坏不能完全等价于下游任务效果但至少能快速感知向量学到的语义结构是否合理。4.2 可视化检查降维后看分布除了量化指标我还有个习惯用 PCA 或 t-SNE 把高维词向量降到二维平面然后挑一些有代表性的词标出来看它们在图上的分布。这个步骤看起来很“主观”但往往能发现一些量化指标发现不了的问题。比如某个项目里我明显看到“苹果”“香蕉”“橙子”聚成一团但“苹果”同时又和“华为”“小米”靠得很近说明语料里关于“苹果”指代手机品牌的上下文非常多。这种多义词的向量表示本身就是一种混合体如果你下游任务是区分品牌产品和水果那这版词向量可能就不够用。可视化检查还能看出一些“脏数据”问题。有一回我在用户反馈文本训练的词向量图上发现所有包含“客服”的向量都散得很开并没有聚在一起。排查后发现是因为文本里同一个“客服”前面经常跟着不同的情绪词和场景词导致语义被各种噪声拉扯。这时候与其继续调参数不如先回头做一轮更细的分类或清洗。4.3 用下游任务做终极检验词向量本身不是终点它在上游表现再好最终还是要拿到真实任务里去检验。常见的做法是把词向量作为文本特征输入一个简单的分类器训练情感分类或主题分类观察它在验证集上的 F1。把结果和 TF-IDF 特征的基线模型对比这种“下游任务回传”才是最有说服力的评估。这里还有一个小细节词向量通常是冻结的还是随任务微调的。数据量大时可以在训练分类器的同时继续更新词向量让它们更贴合领域数据量小或者下游任务比较简单时微调反而可能把原有语义结构破坏掉把它冻结住更靠谱。这个选择本身就是“模型选择”在实际场景中的体现——不是单看词向量或分类模型各自有多强而是看它们组合起来的效果。5. 模型选择的系统方法架构、评估和业务约束5.1 先跑一个基线模型面对一个陌生任务我的第一步永远是先跑一个易于实现、可解释性强的基线模型。逻辑回归或线性 SVM 通常是最好的起点。基线的意义并不在于最终用它上线而在于给后续所有复杂模型提供了一个对比基准。如果深度学习模型连简单线性模型都比不过那大概率是数据处理或特征提取环节出了问题而不是模型不够强。还有一个附加好处基线模型往往训练时间短可以快速验证整个数据管道的正确性。我曾在某个项目里跳过基线直接上 GBDT结果模型表现异常好好到让我起疑。后来回头检查才发现特征构造时不小心把目标变量的未来信息泄露了进去。如果是先跑逻辑回归这种数据泄露会导致模型表现虽然也好但结合特征重要性分析更容易被察觉。5.2 交叉验证和超参数搜索要成对使用模型之间的比较不能只靠一次随机划分的训练集和测试集。我见过不少团队在模型选型时把所有数据按 7:3 划分一次在同一份测试集上比较所有模型再把精度最高的那个拿出来。这类做法不仅方差大还很容易把一个“碰巧在这一份测试集上表现好”的模型当成真正的好模型。更稳妥的做法是 K 折交叉验证比如 5 折每个模型在每一折上都训练并验证一次最后比较平均指标和方差。平均指标高、方差又小的模型才是更可靠的候选。在交叉验证的每一折内部还需要完成特征缩放、缺失值填充等预处理步骤不能先在全体数据上做完标准化再切分否则会造成信息泄露。超参数搜索方面网格搜索在小规模参数空间下够用参数稍多时随机搜索经常能更快找到合适的区域再进阶一些基于贝叶斯优化的自动调参也可以考虑。有一点值得专门提醒调参时验证集不能是最终测试集。正确的分层是训练集用来拟合参数验证集用来比较不同超参数组合最后留一个从未参与调参的测试集做最终验收。这样才能尽量避免“调参调到测试集上”的过拟合。5.3 模型复杂度要与数据量匹配模型选择从根本上遵循“复杂度匹配数据量”的原则。数据量小的时候高复杂度模型很容易过拟合这时候线性模型或强正则化模型更合适数据量大了线性模型可能又不够用需要树模型、深度模型来捕捉复杂交互。课程里有个说法我印象很深模型复杂度可以理解成它的“自由度”样本量则是用来约束自由度的观测量。自由度太高而观测量不足模型就会开始记忆噪声观测量充足时提高自由度才能学到更精细的边界。因此做选型时不妨画一条数据量和模型效果的学习曲线看看当前数据集处在曲线的什么位置而不是盲目追求先进模型。5.4 业务约束往往比精度更先落地模型选择还有一个被很多人忽略的维度业务部署约束。有些模型虽然精度高但推理延迟高、内存占用大、可解释性差实际生产中难以落地。约束维度线性模型树模型/集成模型深度学习模型可解释性高中低训练成本低中高推理延迟低中可能较高对非线性特征交互弱强强小数据拟合稳定易过拟合容易过拟合比如金融风控场景通常监管要求可解释性线性模型和带 SHAP 值解释的树模型比深度模型更容易通过评审实时推荐系统对延迟敏感可能倾向于轻量模型或经过蒸馏的小模型。模型选的从来不是“测试集上分数最高”的那个而是在给定约束下综合表现最合适的那个。6. 实战中的几个坑课程之外的教训6.1 分词和预处理不规范词向量白训词向量的质量非常依赖语料预处理。对英文而言大小写是否归一、时态是否还原、标点是否处理都会影响最终结果。比如 “Run”“running”“ran” 如果被当作三个完全不同的词模型就无法学到它们语义相近这一事实。对中文来说分词尤其重要。同一个句子在不同的分词器下会切开不同的词边界而切分错误的词会被当作噪声符号训练直接污染邻近词的向量。我有一版评论语料因为分词工具选用不当把“不好看”拆成了“不好”和“看”结果这两个词向量之间的关系和“喜欢”“好看”完全对不上。后来换了更符合领域语料的分词方案重新训练后下游情感分类模型的 F1 直接涨了两三个点。所以词向量训练里有个很实在的经验有时间先花在预处理上比盲目调 embedding 维度更划算。6.2 小语料不要盲目从零训练很多初学者刚学会训练 Word2Vec就恨不得用自己的全部数据自己训。实际上如果语料只有几万条甚至几千条句子自己训出来的词向量质量通常远不如公开的预训练向量。因为语义关系的捕捉需要大量共现信息数据量不足时向量就只能学到很浅层的规律低频词的表示尤其差。我现在的做法是分情况有大规模领域语料时自己训练语料不足时直接用公开预训练词向量再考虑用自己语料做增量训练。增量训练需要控制学习率避免把预训练学到的结构冲掉。还有一种常见做法是把预训练词向量冻结直接作为分类器的输入特征也能取得相当不错的效果。6.3 冻结词向量还是微调取决于数据规模上一段提到的冻结与微调在实际项目里经常让人纠结。我见过一个参赛项目团队用了 300 维的预训练词向量做新闻分类一开始冻结向量F1 稳定在 0.72 左右后来把向量层设置为可训练在几十万条新闻数据上继续微调F1 提升到 0.76。这说明数据量足够、领域偏移明显时微调确实有用。但换到只有一两万条样本的项目里同样的操作反而导致过拟合F1 比冻结时还低。所以我的建议是先用冻结版本跑出基线再试着微调一轮对比验证集指标。微调时监控训练集 loss 和验证集 loss 的差距一旦剪刀差拉大就要及时回退。6.4 模型对比时的公平性数据泄露的细节最后再强调一个在交叉验证环节常见的公平性问题特征选择也要放在交叉验证内部。如果先在整个数据集上做特征筛选再划分训练集和验证集那么验证集的信息已经被特征选择过程“偷看”过后续的模型对比结果会偏乐观。还有标准化操作均值和方法只能从训练折计算再应用到验证折。这些细节虽小但会直接影响你判断“哪个模型更好”。课程里讲模型选择的方法论时可能一笔带过真正在项目里踩过一次后你就会明白公平的实验设计比模型算法本身更能决定项目成败。我对这一讲最大的感受是模型选择表面上是选算法实际上是在选“评价标准 数据状态 业务约束”三者的交集。词向量作为文本特征的一种建模方式又给这个选择过程增加了非常多的实操变数。如果你正准备在一个文本项目里应用这些内容我建议从一个小而完整的流程开始先定一个清晰的评价指标训一版 CBOW 词向量跑一个逻辑回归基线再做交叉验证对比。跑通这条链路之后再逐步引入更复杂的模型和调参遇到瓶颈时回头检查词向量质量和预处理流程。
阅读完成 · 觉得有帮助？
