★ FEATURED ARTICLE 做数据分析的人十有八九都问过这样一个问题老板丢过来一堆数据非要我说出哪些指标最重要。要快速给出结论最省事也最不容易被挑战的做法就是拿Python随机森林跑一遍用特征重要性直接输出各指标的权重。随机森林的优势很明显不用做标准化能处理非线性关系还自带一套对特征重要性的统计口径。这篇文章我不打算堆理论而是围绕实际需求把从数据准备、建模、权重提取到结果解读的完整链路过一遍顺带把几种重要性算法的差异、容易踩到的坑和验证方法讲清楚。1. 为什么是随机森林树模型如何把“重要性”变成数字1.1 从一棵树的不纯度下降说起先回到最基础的决策树。一棵树在每次分裂时都要从所有候选特征里挑一个最能“把样本分开”的特征。这个“分得够不够好”分类问题通常用基尼系数或信息熵来衡量回归问题则用均方误差。基尼系数的计算很简单Gini 1 - Σ(p_k)^2其中 p_k 是当前节点里第 k 个类别的样本占比。如果节点里只有一个类别Gini 就是 0代表纯度最高。分裂前节点的 Gini 减去分裂后两个子节点加权平均 Gini得到的差值就是这次分裂带来的“不纯度下降量”记到被选中特征的头上。我给你算一个具体例子。根节点有 1000 个样本其中流失用户 300 人、非流失用户 700 人那么 Gini 1 - (0.3^2 0.7^2) 0.42。如果用“周均登录次数”这个特征分裂左侧节点 600 人、右侧节点 400 人算出来加权 Gini 是 0.3那么不纯度下降就是 0.12。这个 0.12 就作为“周均登录次数”这颗特征在一次分裂中的贡献。注意同一棵树上同一个特征完全可能在不同深度出现好几次。比如“周均登录次数”先在最上层分一次又在一部分子节点里再分一次那么这棵树要把所有由它引起的下降量全部累加起来。随机森林里有几百棵树就把几百棵树的累加结果平均一下。最后把全部特征的得分做一次归一化让它们加起来等于 1就成了 sklearn 里最常用的feature_importances_也就是我习惯叫的 MDI 权重。1.2 随机森林不需要线性假设这一条很关键你可能已经试过用皮尔逊相关系数或者线性回归的标准化系数来定义“指标权重”。这条路在变量关系接近线性时没问题但现实中的业务数据很少那么听话。比如“用户年龄”和“流失概率”可能是先降后升的 U 型关系用线性相关系数一算可能接近于 0你会误以为它一点都不重要。但决策树可以连续切分把区间切成一截一截的轻松拟合出这种非线性曲线。随机森林还不用做标准化因为树的分裂只比较阈值特征本身的范围不会影响分裂效果。登录次数是 0 到 100 也好注册时长是 0 到 60 个月也好对树而言都只是数字大小排序。这一点在实际项目里很省事省掉了做量纲统一的环节。再说说交互效应。有的特征孤立看没啥用比如“浏览页数”单独预测流失很弱但“浏览页数乘以是否下单”就很有信息量。线性模型要发现这种交互你得手动构造交叉项随机森林则可以通过在同一棵树上连续分裂自动把两个特征串在同一条路径里交互信息自然就被计入重要性了。1.3 它适合当“权重计算器”但别当因果结论随机森林算出来的指标权重本质上是“对预测效果的贡献度量”不是“业务因果重要性”。这句话我建议你写进任何汇报里。它回答的是“如果建一个预测模型哪些字段对结果判断帮助最大”不是“只要推动这个指标变化结果就一定会改变”。所以我给出的使用建议是这样使用场景随机森林权重是否合适说明筛选核心变量压缩特征数量合适可以快速排除一批几乎无贡献的字段给运营或业务方提供指标排序较合适配合置换重要性和业务逻辑交叉验证后可用判断某个指标的因果影响力不合适需要另外做实验设计或因果推断强共线性数据集下的绝对权重解读不合适相关指标会被稀释权重排序会失真2. 三种特征重要性的算法口径别只盯着默认值2.1 MDIsklearn 默认的那个分数MDI 全称是 Mean Decrease in Impurity翻译过来就是“平均不纯度下降”。你训练完随机森林之后直接读model.feature_importances_拿到的就是它。它的计算逻辑我在第一章已经讲过这里不再重复。MDI 最大的优点是快。模型训练完这些分数就已经在旁边等着了不用额外计算所以用来做第一轮粗筛非常方便。我通常的做法是先跑一次随机森林把 MDI 权重按从大到小排好直接就能看到哪些字段几乎为 0这些字段可以考虑直接删掉。但 MDI 有两个明显的毛病。第一它偏向取值多的类别特征。比如“城市”有 50 个类别“性别”只有 2 个类别随机森林在多数分裂里天然更容易选中“城市”因为多类别字段有更多切分方式去细分样本不纯度下降更快。第二在特征高度相关的场景下重要性会被相关变量摊薄这点后面我会单独讲。所以 MDI 宜做粗筛不宜做最终定论。2.2 Permutation Importance打乱特征后的误差损失置换重要性Permutation Importance的思路非常直白把某个字段的顺序随机打乱破坏它与目标变量之间的对应关系然后重新预测看看模型误差会不会变差。如果打乱这列之后模型效果明显下降说明这列很重要如果几乎没变化说明这列对预测没什么贡献。这个指标比 MDI 更符合业务直觉。业务方问“这个指标重不重要”本质上就是问“如果我把这个指标的信息拿掉模型还能不能预测得准”。Permutation Importance 打乱的正是这个信息通道。sklearn 里调用也很简单from sklearn.inspection import permutation_importance perm permutation_importance( model, X_test, y_test, n_repeats10, # 每列随机打乱 10 次取平均 random_state42, n_jobs-1 )它返回的是“评分下降值”。你也可以在scoring参数里指定用 AUC 或者 F1这样打乱后的效果下降就能直接翻译成业务可以理解的指标变化。缺点是计算量大尤其当测试集很大、树的数量很多的时候跑起来会比 MDI 慢好几倍。另外它的结果有随机性固定random_state是必须的否则打乱顺序不同跑出来的数值可能有波动。2.3 到底该信哪个我自己的经验是粗筛用 MDI正式结论用 Permutation Importance复杂度和稳定性要求再高一级的就上 SHAP。SHAP 的mean(|SHAP value|)也可以当作一种权重它基于博弈论里的 Shapley 值能把每个特征对每条样本的贡献拆开解释力更强但计算成本也更高对初学者不友好。三种口径放在一起对比一下指标计算方式速度稳健性主要风险MDI节点不纯度下降累加快较弱高基数偏置共线性敏感性Permutation打乱字段后误差增加量慢较强随机波动字段分布改变带来的额外影响SHAPShapley 值归因最慢强计算开销大对模型解释要求高实际操作中只要同时看到 MDI 和 Permutation 给出的权重排序比较接近我才会放心地在汇报里引用那个排序。3. 一套能直接跑的 Python 流程从数据预处理到权重表3.1 数据准备和预处理不管数据长什么样先做一个统一处理。假设你已经把数据整理成 DataFrame其中一列是目标变量其余列都是候选指标。目标变量是二分类比如是否流失、是否逾期、是否故障。需要处理的只有两类问题缺失值和类别字段。缺失值处理我用最简单的方案数值列用中位数填补类别列用众数填补。不要在这个环节上花太多时间随机森林对缺失值有一定容忍度但把缺失值直接空着传给 sklearn 会报错所以必须填。类别字段则需要编码。随机森林虽然理论上可以直接处理类别但 sklearn 的实现不支持必须先把字符串变成数字。常见的做法是LabelEncoder或者用pd.factorizefrom sklearn.preprocessing import LabelEncoder for col in X.select_dtypes(include[object]).columns: X[col] X[col].astype(str) le LabelEncoder() X[col] le.fit_transform(X[col])这里有个经验点如果类别字段取值特别多比如城市、渠道、设备型号这种高基数变量直接用LabelEncoder会把类别编号当成有序数字喂给模型虽然树模型对单调变化不敏感但这么做严格来说并不完美。想要稳妥就把原始类别字段删掉换成频次统计列或者用目标编码。不过作为快速演示LabelEncoder够用了。3.2 训练随机森林并提取两种权重完整代码如下我加了解释性注释你可以直接把自己的 DataFrame 替换进去import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.inspection import permutation_importance from sklearn.preprocessing import LabelEncoder import matplotlib.pyplot as plt # 假设 df 已经读入target 是二分类目标列 X df.drop(columns[target]) y df[target] # 缺失值填充 for col in X.columns: if X[col].isnull().any(): if X[col].dtype object: X[col] X[col].fillna(X[col].mode()[0]) else: X[col] X[col].fillna(X[col].median()) # 类别列编码 for col in X.select_dtypes(include[object]).columns: X[col] X[col].astype(str) X[col] LabelEncoder().fit_transform(X[col]) # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 训练随机森林 rf RandomForestClassifier( n_estimators500, max_depthNone, min_samples_leaf5, random_state42, n_jobs-1, oob_scoreTrue ) rf.fit(X_train, y_train) # MDI 权重 mdi_weight pd.Series(rf.feature_importances_, indexX.columns).sort_values(ascendingFalse) # 置换重要性 perm permutation_importance( rf, X_test, y_test, n_repeats10, random_state42, n_jobs-1 ) perm_weight pd.Series(perm.importances_mean, indexX.columns) perm_std pd.Series(perm.importances_std, indexX.columns) # 合并成一张权重表 weight_df pd.DataFrame({ MDI权重: mdi_weight, Perm权重: perm_weight, Perm标准差: perm_std }).sort_values(MDI权重, ascendingFalse) print(weight_df)这里我把随机种子固定成 42这是为了让结果可复现。如果你不固定种子同一份数据跑几次权重排序可能都不一样。后面我会专门讲这个问题。3.3 可视化权重排序权重表看数字总归不够直观画一张横向条形图是最快的展示方式。下面的代码会把 MDI 权重从高到低展示出来fig, ax plt.subplots(figsize(8, max(6, len(weight_df) * 0.4))) weight_df[MDI权重].iloc[::-1].plot.barh(axax) ax.set_xlabel(MDI权重) plt.tight_layout() plt.show()如果想把 Permutation 权重画在同一张图里可以把两个子图并排放或者把两列归一化后叠加成双系列条形图。要注意的是Permutation 权重的数值范围和 MDI 不一样它不保证加起来等于 1所以展示之前最好先做归一化。3.4 输出权重表与归一化最后一步是把结果保存下来方便导入 Excel 或者后续处理# 把 Perm 权重归一化成百分比形式方便阅读 weight_df[Perm权重归一化] weight_df[Perm权重] / weight_df[Perm权重].sum() * 100 weight_df[MDI权重归一化] weight_df[MDI权重] / weight_df[MDI权重].sum() * 100 weight_df.to_csv(feature_weights.csv, encodingutf-8-sig)这里提醒一句MDI 权重默认总和就是 1所以归一化后其实就是原始值乘以 100Permutation 权重则本身没有“总和为 1”的约束归一化只是为了让你更容易比较各字段的相对大小。Perm 标准差那列如果某个特征的标准差比均值还大说明这个特征的置换结果很不稳定它在排序里靠前或者靠后都可能是偶然不能太当真。4. 实操里最容易翻车的四个细节4.1 高相关特征会把重要性“稀释”掉这是我在实际项目里碰到最多的问题。假设两个字段高度相关比如“周均登录次数”和“周均活跃天数”相关系数 0.95。随机森林在分裂时经常随机选其中一个来分裂另一棵树上又会选另一个。结果是两个特征的重要性被平分各自看起来都只有中等水平。我做过一个模拟测试某个真正重要的特征单独建模MDI 权重约 0.18。当我塞进一个与它相关 0.9 以上的冗余副本之后两个字段各分到 0.10 左右。从排序看它依然排前面但绝对值被砍了一半。解决这个问题有两个思路。一是提前做相关性筛查把相关系数超过 0.8 的一组字段里只保留一个或者按业务含义挑一个代表。二是不删字段但在汇报时把相关性强的一组字段的重要性加起来看比如“登录行为类指标合计贡献 0.32”。这样可以既保住信息又避免误导业务方。4.2 高基数类别字段会被系统性高估这个坑我一开始也没注意。有一次业务方问我“城市”这个字段怎么排那么靠前明明不合理。后来我发现因为城市有几十个取值每棵树的节点都倾向于选它来分裂不纯度下降速度特别快MDI 权重自然虚高。要验证是不是这个情况最直接的方法是同时看一下 Permutation Importance。Permutation 方法打乱字段后重新预测如果打乱城市字段误差变化很小就说明 MDI 给它的高分是“虚假繁荣”。处理方式也很简单把高基数类别字段先做频次编码替换成“该类别在样本中出现的次数”或者做目标编码把类别信息压缩成一列数值比让原始多分类字段直接进模型要合理得多。4.3 不固定随机种子权重排序会变脸随机森林本身带有随机性体现在两个地方每棵树用的样本不同每个节点选择的候选特征也不同。如果不固定random_state每次跑出来的权重结果都会有些浮动。样本量小、特征重要性差距不大的时候排名甚至可能发生对调。如果你只是给自己看不固定种子问题不大。但如果是要给业务方一个结论我建议至少跑 5 到 10 次取权重的均值和标准差。具体做法是套一层循环每次重新建一个模型记录feature_importances_最后求平均。这样做还有一个额外好处你可以顺手算出每个字段的波动范围在汇报里写“该字段权重的波动区间是 0.10 到 0.12”比给一个干巴巴的固定数字有说服力得多。4.4 加一个空变量当基准线判断字段是否真有贡献这个方法是我最推荐的验证手段操作也简单在你的特征表里临时加一列随机噪声比如从 0 到 1 的均匀分布随机数或者把一列真实特征打乱顺序。然后正常训练看其他字段的权重和这个“空变量”的权重对比。如果某几个字段的权重和空变量差不多甚至比空变量还低那基本可以认定这些字段对预测结果没有信息贡献。这个方法尤其适合做特征选择的交付报告因为它给业务方提供了一个非常容易理解的参照系连随机数都比不上就别指望它能预测用户了。我实际项目里加空变量还有一个进阶用法测试打乱后的真实字段。把某个关键字段在训练集和测试集之间做错位对齐重新建模如果模型效果下降特别明显说明这个字段的信息没有被其他字段完全替代它是不可省略的。5. 一个模拟案例某平台的流失预警指标筛选5.1 场景设定与字段构造为了把上面的流程串起来我用一个虚构场景演示。假设某平台积累了 20000 条用户数据需要筛选出哪些用户行为指标对预测“未来 30 天是否流失”最有帮助。字段包括注册时长、周均登录次数、周均浏览页数、收藏数、加购数、近 30 天下单数、近 30 天投诉次数、优惠券使用数、活跃天数、浏览到下单转化率。这些字段覆盖了三个业务维度账户基本属性、行为活跃度、消费与投诉表现。我故意把注册时长和活跃天数放进去是为了观察短期行为与长期属性哪个更能预测流失。目标变量是二分类的is_churn用随机森林建模。5.2 建模结果与权重表按第三章的代码跑完得到一张模拟权重表数值仅供演示思路指标MDI权重Perm权重说明近30天下单数0.190.21消费行为的核心指标周均登录次数0.160.14活跃度的直接表现近30天投诉次数0.120.13负向信号预测力很强周均浏览页数0.110.09行为深度指标活跃天数0.100.11与登录次数相关被稀释浏览到下单转化率0.080.07反映用户购买意愿加购数0.070.06中间行为收藏数0.060.04兴趣信号但预测力一般优惠券使用数0.050.05对流失的区分度有限注册时长0.030.02长期属性预测力弱这里有两个点值得注意。第一活跃天数与登录次数相关性很高所以活跃天数的 MDI 权重明显被登录次数分摊看业务含义时最好把这两个合起来理解成“活跃行为组”。第二注册时长排在最后并不代表它没有价值它可能在更长周期的模型中作用更大但在“近 30 天流失预警”这个具体目标下短期行为就是比长期属性更能说明问题。5.3 为什么消费频次通常比注册时长更“重要”从模型角度看这不难理解。近 30 天下单数直接反映了用户最近是否还在消费一旦下单降为 0流失概率往往迅速上升。决策树在分裂时会发现用“下单数0”作为切分点能把流失用户和非流失用户分得特别干净因此它给模型带来的不纯度下降量非常大权重自然排第一。注册时长则是典型的长期属性。一个注册两年的老用户可能最近三个月都没登录一个注册两周的新用户可能每天都下单。所以“注册时长”对短周期流失标签的区分度很低排在末位很正常。随机森林给出的这个排序和业务直觉是完全对得上的这也是它能拿来做指标筛选汇报的原因。最后一个经验权重表做出来只是第一步真正让业务方信服还要做交叉验证。我这里推荐一个很实用的小技巧选权重最高的两三个指标分别看它们在流失用户和非流失用户群体里的分布差异。比如你在上面案例里发现投诉次数权重高那就对比一下投诉用户的流失率和非投诉用户的流失率。如果差异显著说明随机森林的权重和业务故事对得上汇报时就可以放心讲。另外把结果给业务方时建议附上一句说明随机森林权重衡量的是“对预测效果的贡献”不等于“该指标的因果影响力”。这句话能避免很多误解和来回解释。我每次做类似的项目都会把原始数据、权重表、相关性检查和空变量对照一起打包交付这样对方拿到手就能自己验证而不是只能听我转述。这才是“指标权重分析”完整且靠谱的交付方式。
阅读完成 · 觉得有帮助？
