★ FEATURED ARTICLE 先说一个我反复遇到的场景同样一批数据、同一个模型结构、同一个线下评估集有人把AUC跑到0.86有人却卡在0.82上不去。问了一圈算法都一样唯一的差别在特征。这不是玄学而是特征工程的基本功在起作用。进入今天的正题特征工程怎么提高模型效率。我要强调一下这个效率的含义它不只是训练速度快、显存占用低还包括模型效果的提升效率——同样的迭代轮数特征工程做得好效果提升的幅度会明显更大。在实际项目里这两件事往往是一体的特征表达合理了模型需要的学习轮数更少、需要的样本量更小、泛化能力更强整体迭代周期也会缩短。这篇内容适合正在做结构化数据建模、尤其是用树模型XGBoost、LightGBM、CatBoost做分类回归任务的人参考。特征工程方法论在深度学习场景也有用但侧重点不同这里主要集中在表格数据。1. 先搞清楚特征工程提高的到底是哪种效率1.1 训练效率、推理效率还是迭代效率很多人一提提高模型效率第一反应是减特征、降维度、上PCA觉得把特征从500个减到100个就能让训练变快。这没有错但只看到了一个方面。真正值钱的效率提升不只是CPU和GPU时间而是你的人力时间。我拆成三种效率来说训练效率单轮训练耗时、收敛所需轮数。特征维度合理、无极端噪音时训练时间会显著下降。推理效率线上预测时的延迟和吞吐。特征工程做过头、生成几百个中间特征推理链路就会变长。迭代效率你改特征、重训练、评估、上线这套循环每个循环能带来多少效果增益。这才是特征工程的核心收益点。第三种效率最容易被忽视。我见过不少团队特征做了几百个但每次迭代效果基本不动模型提不上去不是因为特征不够多而是因为特征的质量和信息密度不够。特征工程最直接的价值是让你的每次实验迭代都能看到实实在在的增益而不是在无效尝试里消耗时间。1.2 从特征维度看效率的数学直觉从信息论的角度理解这件事更清楚。模型能学习到的信息上限取决于特征里包含的与目标变量相关的互信息量。特征越稀疏、越离散模型要拟合的边界就越复杂需要的分裂次数越多叶子节点也越多。换句话说同样精度下树模型会更大、更慢。特征的信息密度越高树的分裂就越干净梯度提升的每轮迭代都能更快缩小残差收敛自然更快。所以特征工程的效率提升其实是一个降熵过程把原始稀碎的信号整理成高信息密度、低噪音的形态让模型把精力花在真正有区分度的地方而不是在无关细节上反复试探。2. 信息密度同样一个字段换种表达精度差出一大截2.1 先给信息密度一个可操作的定义不用讲太玄我自己对特征的信息密度有一个很朴素的理解一个特征能在多大的比例上把正负样本区分开。有些字段比如用户ID、订单流水号看起来信息量很大但放进模型里基本是负贡献——因为它的取值基数是几十万每个值只对应极少数样本树模型根本学不出稳定的规律。真正信息密度高的特征长什么样拿用户复购预测举例用户最近30天购买次数比用户ID信息密度高得多因为它的取值范围可能只有0到20每个取值都覆盖大量样本正负样本的分布有明显差异。用户平均客单价、最近一次购买距今天数这些连续字段本身就具备比较强的判别力只要不出现极端离群值直接进模型效果就不错。这也是为什么我劝刚入门的人不要去堆大宽表几百个特征看起来吓人内部有一半是低信息密度的ID类、时间戳类、自由文本类字段。你要做的是把每个原始字段榨干让它变成有区分度的形式。2.2 一个反直觉的教训拼字段不等于特征工程说一个我做过的傻事。当时做一个营销响应预测急于扩展特征数量把用户的注册年月日、设备型号、城市编码全拼成字符串。结果训练集上AUC能到0.85验证集只有0.80怎么调都下不来。后来复盘时发现拼接类特征实际上是在把时间戳、ID类信息重新引入模型而这些东西本来就是高基数噪音。真正该做的是把注册年月日拆成注册距今时长注册当月是否有大促该用户注册时所在渠道的激活率——也就是说从字段里提取出与业务目标有因果链的信号而不是简单做字段拼接。现在做特征我都会问自己三个问题这个特征的每一个取值背后是否对应足够多的样本这个特征在正样本和负样本上的分布是否明显不一样如果强行向模型解释为什么这个特征有效我能不能讲出一个业务逻辑如果三个问题里有任何一个答不上来那这个特征大概率是在拖后腿。2.3 从原始字段中提炼高密度特征的常见套路提炼动作有很多我按频率从高到低列下几个最实用的时序字段转距离特征不直接用2024-03-15这种日期而是转成距今X天或者距上一个关键事件X天。距离特征才有跨样本的可比性。累加类特征用户近7天订单数、近30天消费总额、近90天活跃天数。窗口长度要跟业务周期对齐比如复购周期大概是20-40天那窗口就选7天、30天、90天三个叠加。比值类特征客单价总额/订单数活跃率有效活跃天数/注册天数。比值特征天然消除了用户量级差异比单看绝对量更稳定。交叉特征特征A和特征B的交互关系比如高消费用户是否在深夜下单。但交叉特征要在已有单特征表现不错的基础上再做不然只会放大噪音。这些套路本身不新鲜关键在选择哪个方向提取以及怎么验证提取出来的特征确实有效。我的做法是先用LightGBM跑一版把特征重要性排序打出来再结合手动验证集对比逐步调整。3. 缺失值不是空值是被忽略的信号通道3.1 直接删和统一填是最浪费信息的做法缺失值处理是特征工程里最容易出效率问题的地方。大多数新手会做两件事第一直接把缺失比例高的列删掉第二用均值/中位数/众数统一填充。先说过度删除的问题。我做过一个信贷场景的项目字段里有征信查询次数接近30%的用户这个字段是空的。按常规做法要么删掉这条记录要么用0填充。但这两种做法都是在扔信息事实上没有征信查询记录本身就是一类用户的强特征——他们可能从没有使用过信贷产品风险偏好与有多次查询的人完全不同。简单填充0会把这类用户和第1次查询的用户混在一起模型区分度必然下降。我后来把缺失单独编码成一个状态是否缺失的布尔特征 缺失时填充为-1的数值特征。效果提升很快线上KS值直接涨了2个多点。从那以后我处理缺失值的原则变成了缺失也是一种分布先看看缺失样本的标签分布与完整样本是否不同再决定怎么处理。3.2 缺失值处理的标准动作序列我在实际项目中按下面这套流程走基本能覆盖90%的字段统计每个特征的缺失比例画出缺失样本非缺失样本的目标变量均值对比。若目标均值差异明显构造Is_NaN标志新特征同时原特征填充一个特殊值如-999或者中位数。若目标均值没有差异说明缺失是随机噪音用可行方式填充不走特殊处理。对缺失比例超过80%的字段除非业务明确说这个字段只对特定子集有意义否则直接删除。这样每次处理缺失值都有据可依而不是拍脑袋。另一个常见坑是填充值的设定会影响树模型的重要性排序。如果大量特征都填同一个值比如-999树模型可能会在某些分裂点明显偏向这个值表面看是学到了模式实际是过拟合到了填充值上。团队里有人遇到过类似情况最后把填充值改成每个特征独立区间的异常值避免模型把都是缺失当成统一信号。3.3 缺失状态作为业务子集特征有多强我举一个具体的例子。某推荐场景的样本里用户是否填写过个人偏好标签这个字段缺失率有40%。如果按常规删除填充基本看不出太大问题。但如果把缺失作为独立状态立起来你会发现在偏好标签缺失的用户里点击率比完整填写用户低了60%左右。这说明没有填写偏好的用户本身是一种特定的行为模式它对推荐模型的反向信号极强。把这类特征单独抬高权重模型在用户冷启动阶段的响应精度会有明显提升。这个思路叫什么不重要关键是理解缺失值处理和数据清洗不只是数据质量工作更是特征构造的一部分。4. 编码与分箱用维度换精度是最亏的交易4.1 One-Hot的维度爆炸如何拖垮效率分类变量怎么编码是特征工程里效率差异最大的环节。最常见的做法是One-Hot编码。城市有300个取值就生成300列职业有100个取值就生成100列。看起来直观但实际跑起来问题一大堆维度暴涨后树模型的分裂点搜索空间变大训练时间和内存占用同步上升。稀疏向量对梯度提升并不友好大量全零列参与增益计算浪费时间。更为关键的是有些取值只出现几次One-Hot后的对应列几乎全是0模型根本学不到东西却白白占用特征位。所以在结构化数据建模里我不太建议无脑One-Hot。遇到高基数分类特征我会先做频率编码或者目标编码把几百个取值压缩成一个数值列。4.2 目标编码容易过拟合要配合平滑和交叉验证目标编码的思路是用分类变量每个取值对应的目标均值来替代原始取值比如城市A的用户平均转化率0.15就把城市A编码成0.15。这个特征直接带着标签信息进模型效果提升非常明显但也特别容易过拟合。怎么控制我常用的做法是把训练集按K折划分在每一折里只用其他折的数据计算目标均值当前折的编码值由其他折得到。同时加上平滑项enc (target_sum smooth * global_mean) / (count smooth)这个公式里smooth一般取值10到30count是该取值的样本数。样本量小的时候编码值会向全局均值收缩不至于过度自信。实际项目经验在某个复购预测场景里对用户来源渠道做目标编码后验证集AUC提升约0.8个点同时由于维度大幅下降训练时间缩减了接近一半。这个收益是相当划算的。目标编码的风险主要在于重复评估同一份数据所以如果要做这种编码特征工程的链路必须放在交叉验证的内部不应该先编码再统一划分否则就是在偷看答案。4.3 分箱是离散化不是降精度再说数值特征的分箱。不少人觉得分箱会把连续信息搞丢干脆就让原始数值直接进模型。方向没有错但树模型本身就在做非线性切分所以分箱对树模型来说不是必须的。那为什么还要分箱在两类场景下分箱很有效一是数据里有明显的非线性阈值效应比如金额达到1000元后优惠门槛才能用二是特征分布严重右偏比如用户消费金额少数大额用户拉高了均值直接进模型会影响分裂点选择。分箱的好处不只在于拟合非线性它还能让特征对缺失值和异常值更鲁棒。我在实践中一般用LightGBM的分箱能力去自适应处理很少手动分箱。但如果你是做逻辑回归这类线性模型分箱尤其是WOE编码几乎是必备步骤。线性模型的分箱不是降精度是把原始数值里的非线性信息转成线性可分的形式本质上是提升信息利用率。4.4 WOE编码的效率收益如果业务对模型解释性有要求比如风控、信贷线性模型WOE编码的组合还是很常见。WOE编码会把每个分箱内的正负样本比例差转化为一个单调数值保证模型在训练时不需要自己探索非线性关系。举个简单数据。某个特征分4箱后各箱的好样本占比分别是60%、55%、50%、45%WOE值算出来大致是逐箱下降。这个特征进入逻辑回归后系数直接反映影响方向业务方很容易看懂。虽然WOE编码让特征数量不变但每个特征的表达能力更强了模型收敛更快整体训练效率并不差。从效率角度看WOE编码最重要的价值是稳定特征分布不再被极端值拉动训练集与线上分布差异也更容易控制。数据漂移检测做起来会简单很多。5. 高效特征选择的实操组合拳5.1 不要迷信特征越多越好特征工程做完一轮后给模型加特征要克制。特征过多除了拖慢训练更大的风险是引入噪音维度让模型在验证集上出现过拟合。虽然树模型有内置正则但特征数量一旦上千单纯靠算法本身是压不住的。我的判断逻辑是这样先看单特征与目标的预测能力再看特征之间的相关性最后才轮到模型自身的特征重要性。5.2 初筛、重排、精选的三个步骤实际动手的时候我一般走三步第一步初筛。去掉缺失率超过80%、方差接近0、或者与目标变量皮尔逊相关系数绝对值低于0.01的特征。这一步通常是纯统计动作计算量小能快速砍掉一半的废特征。第二步重排。用LightGBM跑一版完整模型把特征重要性打印出来再结合Permutation Importance看每个特征打乱后对评估指标的下降幅度两者交叉筛选出真正稳定的核心特征。第三步精选。用递归特征消除的思路从重要性最高的特征开始逐批增加看验证集增益的变化曲线。当特征数量到某个区间后增益会趋于饱和这时就可以停下来了。我贴一段做重排的参考代码用LightGBM的feature_importance和sklearn的permutation_importance配合使用import lightgbm as lgb from sklearn.inspection import permutation_importance model lgb.LGBMClassifier(n_estimators300, learning_rate0.05, random_state42) model.fit(X_train, y_train) # 基于分裂次数的特征重要性 gbdt_importance model.feature_importances_ # 基于置换打乱的特征重要性 perm_result permutation_importance( model, X_val, y_val, scoringroc_auc, n_repeats10, random_state42 ) # 按两个分数综合排序 feature_score X_train.columns这个过程每次跑大概十到二十分钟换来的是后面每轮实验都省半小时以上非常值得。5.3 特征相关性去重别在同一个方向上堆特征特征去重是很多人忽略的环节。常见的错误是造了十几个用户活跃度类特征彼此之间相关度高到0.95以上结果模型把重要性分散到它们头上每个特征看起来都不太重要其实都是同一个信号在重复。我常用的做法先算特征相关性矩阵把相关系数高于0.85的聚成簇每个簇里保留一个最有业务解释性的代表特征其余删掉。这个动作做下来特征数量通常能再降一半模型效果不仅不掉反而因为噪音减少而更稳定。落到具体项目里特征是给人看的不是给模型看的。一个干净的特征列表能让团队里的新人在接手时快速理解业务逻辑这对团队协作效率的提升也很明显。6. 一次复购预测项目的完整链路复盘6.1 项目背景某电商业务要做用户30天内复购预测基础数据里有用户基础属性、订单流水、浏览行为日志、活动参与记录。原始特征表有80多列直接丢进LightGBM里AUC只有0.71训练时间也偏长。我接手后的处理顺序是这样的把注册日期改成注册距今天数和注册当季是否有大促。把订单流水分成近7天/近30天/近90天的订单数、金额、平均客单价、退货率。浏览行为日志聚合成日均浏览时长、加购次数与下单次数比。对用户来源渠道、活动类型做目标编码用5折交叉计算。缺失值标准化处理尤其是最近一次加购距今天数缺失时单独立标记特征。6.2 每一步的效果增量变化经过上面几步后AUC从0.71涨到0.78。随后做特征选择砍掉部分冗余特征AUC不仅没降反而到了0.785。最后做分箱与编码微调AUC稳定在0.79。训练时间的话特征从80列降到45列LightGBM的单轮训练时间大约缩短了三分之一。看起来不算夸张但考虑到每天要迭代多版实验这个收益还是很实在的。我整理了一下该项目中各类特征的处理方式与效果增量特征类别处理方式AUC增量时间戳类转为距今距离与统计口径0.015用户行为聚合多窗口统计简单交叉0.028类别特征目标编码(5折平滑)0.012缺失值标志独立标记缺失状态0.011特征去重与选择相关性去重重要性筛选0.005这里的增量不是严格可叠加的特征之间会有交互效应但从整体趋势能看出来大头永远来自对原始字段的信息提炼而不是堆特征数量。6.3 附一个实战小工具特征效率自检清单我已经把这个检查清单固化到自己的模板里每次做完特征工程都会过一遍[ ] 所有时间字段是否都转成了距离、周期、滞后类特征[ ] 类别特征是否避免了一键独热高基数特征的编码是否做了平滑[ ] 缺失值是否作为独立状态考虑过填充值是否避开了统一值陷阱[ ] 连续特征是否检查过分布偏度和离群值影响[ ] 特征之间是否有相关系数高于0.85的冗余组合[ ] 特征选择是否至少跑过一次Permutation Importance这道清单走完基本就等于一次完整的特征质量审计。你花在上面的时间远小于后面调参、排错、重训模型的时间。特征工程这件事真的不难难的是养成一种思维习惯面对每个原始字段时先去想它跟预测目标之间的业务因果链再选择编码方式和聚合口径。我自己做了几年模型最大的体会是——特征工程表面看是技术活其实是在帮模型翻译业务常识。翻译得好模型就学得快、跑得稳所有效率指标自然都会好起来。如果你也正在做结构化数据的特征工程我建议你从现在开始每次做完特征后都记录一份特征效率日志哪个特征加了AUC涨多少、训练时间变化多少、上线后指标是否稳定。积累两份项目后你回头看会发现自己对特征工程这三个字的理解完全不一样了。
阅读完成 · 觉得有帮助？
