★ FEATURED ARTICLE 简介基于MATLAB的随机森林分类算法入门实现面向机器学习初学者及需要快速搭建分类模型的开发者。代码以Statistics and Machine Learning Toolbox中的TreeBagger为核心围绕决策树、Bootstrap抽样、随机特征选择与多数投票原理用M文件完整演示从数据加载、模型训练、预测评估到特征重要性分析的整套流程。压缩包共8个文件包含3个M脚本随机森林主程序、ID3决策树实现及统计辅助脚本、3个Excel数据集训练集、测试集及结果表和2个ASV备份文件整体仅44KB轻量易用。已有4961人学习下载。运行代码后读者可直观理解随机森林的工作机制并通过调整决策树数量、特征抽样数等参数观察准确率变化适用于课程实验、算法对比或入门实践。1. 随机森林分类的MATLAB实现为什么说是最省心的入门方案随机森林在分类任务里算是被验证最充分的那一批算法它把决策树、Bagging、随机特征选择揉在一起用投票的方式出结果抗过拟合的能力比单棵决策树强出一截调参门槛也低。对于MATLAB使用者来说随机森林还有一层额外优势数据和训练逻辑可以全部收在一个环境里解决不需要跨语言去准备特征工程和模型推理。很多做信号识别、工业状态分类的开发者第一次接触机器学习分类时都把随机森林当成第一个正式落地的模型。这篇文章要把一份基于MATLAB的随机森林分类实现拆开讲从算法原理、数据准备、脚本训练到评估指标和参数调整方向最后落到几个实际运行中容易翻车的细节上。适合刚把分类任务接到手里、想快速得到可复现结果的从业者参考。2. 随机森林的原理与MATLAB工具选型先理解两个随机性再动手2.1 Bagging与随机特征选择随机森林为什么不容易过拟合随机森林的基础是Bagging也就是对训练集做有放回的随机抽样生成多份子数据集每一棵决策树在对应的子数据集上独立训练。这样做带来的直接效果是每一棵树看到的样本顺序和样本组合都不一样它们的误差来源被分散开树的方差通过平均或投票被压下来。和单棵决策树相比随机森林即使把树长得很深也不容易把训练集上的噪声学进最终分类结果里这就是它抗过拟合的核心机制。第二个随机性来自特征选择。每一棵树在分裂节点时不是从全部特征里挑最优分裂特征而是先随机抽出一个特征子集再从这个子集里选最优分裂点。这个“随机子空间”的操作进一步降低了树与树之间的相关性。如果所有树都用同样的特征去分裂Bagging的效果会打折扣因为树之间的差异只来自样本扰动加了特征扰动后树之间的多样性明显提高集成出来的模型也就更稳健。还有一点容易被忽略随机森林里的决策树通常不做剪枝让它尽量长满。这在单棵决策树里是灾难但放到森林里反而是优势因为高方差单树经过投票之后误差会被“平均掉”。理解这个原理对后面调参特别重要如果树的数量不足或者特征子集大小设得不对随机森林的表现会明显下降。新手往往只盯着树的数量调忽略了特征子集这个参数结果模型怎么调都差一口气。在MATLAB里实现随机森林数据格式、训练入口、预测入口的写法都跟Python生态不太一样。先把原理里的两个随机性理解清楚再去看工具函数就不会被参数名绕晕。很多报错其实不是算法写错了而是把分类变量当成数值变量喂进去或者把预测函数的输出顺序理解错了。2.2 MATLAB实现的两条路线自带统计工具箱与手写决策树在MATLAB里做随机森林常见的路线有两条。第一条是直接用统计和机器学习工具箱里的TreeBagger或fitcensemble这是最省事的方式。TreeBagger是随机森林的经典接口名字里的Bagging就是从这个类里来的fitcensemble更通用能指定多种集成学习算法但配置项也更复杂。对于分类任务我一般会优先用TreeBagger它参数直观返回的结果里还带着袋外误差估计和特征重要性调试时少写不少代码。第二条路线是自己手写决策树和Bagging框架这通常用于教学或者对随机森林内部机制有定制需求的项目。手写实现的好处是能看到每一棵树的生长过程和投票逻辑坏处是性能不如工具箱优化过的版本而且在处理类别特征、缺失值、并行训练这些细节时容易写出有隐患的代码。如果不是做算法研究不推荐在工程里手搓随机森林。选好路线之后数据集的组织方式就变得很关键。TreeBagger接受矩阵形式的特征输入和向量形式的标签输入标签可以是数值也可以是类别。混合类型特征处理起来要小心数值特征直接放矩阵分类特征要先转换成categorical类型或者做编码否则TreeBagger会默认把它当成连续值来切分结果往往是分裂点落在不合理的位置上。另外输入数据里如果存在缺失值默认行为是跳过或者插补具体取决于参数设置这个在后面避坑章节再展开。对大部分应用场景来说工具箱实现已经足够。后面章节的代码都以TreeBagger为主线因为它的输出结构比较直观内含每棵树的完整信息预测时用predict方法一次性返回所有树的投票结果和最终分类。3. 数据预处理到模型训练一份可直接运行的MATLAB脚本3.1 数据准备与划分训练集和测试集怎么切才算合理数据划分是分类任务里最容易被敷衍的一步。不少人在做实验时直接把整个数据集拿进训练函数里然后用训练集又当验证集又当测试集。这样做在随机森林里特别吃亏因为随机森林的袋外估计可以在一定程度上替代验证集但如果用训练集自身的预测准确率来衡量最终效果那得到的结果基本是虚高的换到新数据上马上露馅。常见做法是把数据按7:3或者8:2的比例分层划分为训练集和测试集。分层的意思是说划分的时候要保证训练集和测试集中每一类的样本比例大致和原始数据一致尤其是分类不平衡的数据集如果随机切分时某一类在测试集里只剩下很少的样本指标就没有参考价值。在MATLAB里可以用cvpartition函数实现分层划分它返回一个交叉验证分区对象可以直接用来索引训练集和测试集数据。特征缩放这一步在随机森林里不是必须的。因为决策树的分裂只关注特征的阈值切分点不受特征取值范围影响不像SVM或KNN那样对尺度敏感。但这不代表可以完全不管数据质量比如某个特征包含极端离群值切分点很可能被拉走所以至少要看一眼特征的量级分布。数值型特征如果存在很大的单位差异不一定会影响树的分裂结构但会影响特征重要性排序的解读。除了划分数据还要注意训练数据的标签格式。如果标签是文本形式比如“正常”和“故障”要先把它们转换成categorical数组否则TreeBagger在训练时会报类型错误。标签类型是categorical的情况下predict返回的结果也是一个categorical数组和数值标签返回数值数组的处理方式还不一样。这个小差异在脚本自动化时容易成为隐患。下面给出一段基础的数据准备和划分代码用的是一条示意数据集% 读取并整理数据 data readtable(sample_data.csv); % 假设数据是CSV格式 X data(:, 1:end-1); % 特征列 y data{:, end}; % 最后一列为标签 % 标签转换为 categorical if ~iscategorical(y) y categorical(y); end % 分层划分训练集和测试集80%训练20%测试 rng(42); cv cvpartition(y, HoldOut, 0.2); idxTrain training(cv); idxTest test(cv); XTrain X(idxTrain, :); yTrain y(idxTrain); XTest X(idxTest, :); yTest y(idxTest);这段代码先读入数据把特征和标签拆开再把标签转成categorical类型。rng(42)是为了固定随机数生成器的种子保证每次运行划分出的训练集和测试集都一致这在对比实验时尤为重要。cvpartition的HoldOut参数指定留出比例0.2的意思是测试集占百分之二十。training和test两个方法返回逻辑索引用索引取数据子集。如果某次跑出来的结果和别人的结果不一致先检查是不是随机种子没固定。数据划分、Bagging抽样、特征选择这三处都涉及随机性任何一处不固定结果就有波动。后面训练脚本里也要设置随机种子才能做到真正的可复现。3.2 核心训练脚本从TreeBagger到predict的完整代码数据准备好之后进入核心训练环节。TreeBagger的调用形式不算复杂但有一些细节会影响模型质量。下面是一段可以直接跑的完整训练、预测、评估脚本% 设置随机种子保证结果可复现 rng(42); % 训练随机森林分类模型 numTrees 200; mdl TreeBagger(numTrees, XTrain, yTrain, ... Method, classification, ... NumPredictorsToSample, all, ... OOBPrediction, on, ... MinLeafSize, 1, ... MaxNumSplits, size(XTrain, 2) * 10); % 查看袋外误差 oobError oobError(mdl); fprintf(OOB误差最后一轮: %.4f\n, oobError(end)); % 预测测试集 [predLabels, scores] predict(mdl, XTest); predLabels categorical(predLabels); % 计算准确率 accuracy sum(predLabels yTest) / numel(yTest); fprintf(测试集准确率: %.4f\n, accuracy);这段代码里numTrees 200是森林中决策树的数量一般建议先从100起步看袋外误差下降曲线决定是否增加。NumPredictorsToSample指定每次分裂时随机抽取的特征数这里用all意思是每棵树的每个节点都从全部特征中选最优分裂。这个设置其实削弱了随机森林的特征随机性实际项目中更建议设成sqrt(p)或log2(p)1p是特征总数。MinLeafSize 1表示叶子节点可以纯到只含一个样本这是让树长满的写法和前面提到的“不剪枝”原则一致。MaxNumSplits限制单棵树的最大分裂次数设得太大树会非常深训练时间变长设得太小模型会偏向欠拟合。这里的值只做了一个粗略放大实际要根据特征数和样本量来调整。OOBPrediction打开后模型会记录每棵树没被抽样到的样本上的预测结果这个袋外样本正好可以用来估计模型的泛化误差不需要额外划分验证集。oobError返回的是每一轮树数量累加后的袋外误差序列最后一个值对应完整森林的袋外误差。predict函数的返回值有两个第一个是预测标签第二个是各类别的分数矩阵。对二分类来说scores第二列通常是对正类的置信度可以用这个分数画ROC曲线。如果只用准确率来评估随机森林往往会错过很多信息这个在下一章详细说。3.3 参数怎么调树的数量、叶子节点数、最小分裂数随机森林需要重点关注的参数不外乎四个树的数量、节点分裂的特征数、叶子节点最小样本数、单树最大深度或分裂次数。这些参数彼此牵连不能孤立地看。树的数量决定了模型稳定性和训练成本。数量太少投票结果波动大同一份数据跑两次准确率差好几个点数量太多训练时间线性增长模型效果却在一个阈值后趋于平台期。判断标准很简单画一条袋外误差随树数量变化的曲线曲线平了就不用再加树。一流程的做法是先从100棵树起步每次增加50棵观察误差变化幅度。如果增加的树让袋外误差下降不足千分之几说明已经到平台期。节点分裂的特征数NumPredictorsToSample是随机森林里最有意思的一个参数。设成全部特征时每棵树和Bagging决策树差不多树间相关性高设得太小比如只有一个特征树的质量又会太差。常见的经验取值是特征总数的平方根对分类问题也可以尝试log2(p)1。这个参数没有绝对标准属于需要小范围搜索的玄学参数。叶子节点最小样本数控制树的生长粒度。设成1树会尽量生长到纯节点训练时间长但训练集拟合度高设大一些比如10树会提前停止分裂模型更粗粒度但更平滑。对于有噪声的数据把叶子节点数稍微调大可以减少过拟合。经验上分类问题从1开始试如果发现袋外误差在训练集上很低、测试集上明显偏高就把这个值往上调。最大分裂次数这个参数在TreeBagger里不如在fitcensemble里常用因为树的数量足够多时单树深度对最终结果的影响会被投票机制稀释。但工程上为了控制内存和训练时间还是会给它一个上限。大致的设置思路是结合样本量和叶子节点数让树的棵数和总分裂次数的乘积落在可控的内存范围内。参数调整的顺序也很重要。我一般会先固定特征数和叶子节点数只调树的棵数找到平台期后再调节点特征数最后调叶子节点数和最大分裂次数。一次只动一个参数避免参数间的交互效应掩盖问题的根源。4. 模型评估与调参方向不要只看准确率4.1 混淆矩阵和ROC曲线分类模型的体检报告准确率是一个容易骗人的指标。当数据中某一类样本占比达到90%以上时模型只要把所有的样本都判成多数类准确率就有九成看起来很不错实际上一类样本完全没被识别出来。随机森林模型评估一定要看混淆矩阵它能告诉你每一类错分成了哪一类哪个类别的召回率出现了严重塌陷。在MATLAB里可以用confusionmat函数生成混淆矩阵再配合绘图函数可视化。对二分类问题还要画ROC曲线和计算AUC值。ROC曲线的好处在于它不受分类阈值的影响能看出模型对正负类样本的区分能力到底如何。随机森林的输出是每个类别的概率分数默认阈值是0.5但如果正负类比例失衡这个默认阈值往往不是最优的需要通过ROC曲线选择更合适的阈值。% 计算混淆矩阵 cm confusionmat(yTest, predLabels); disp(混淆矩阵:); disp(cm); % 提取二分类正类的分数并计算AUC scorePos scores(:, 2); % 正类的预测分数 [Xroc, Yroc, ~, AUC] perfcurve(yTest, scorePos, positive); fprintf(AUC值: %.4f\n, AUC); % 绘制ROC曲线 figure; plot(Xroc, Yroc, LineWidth, 1.5); xlabel(假阳性率); ylabel(真阳性率); title(随机森林分类ROC曲线); grid on;confusionmat的两个输入都要是类别标签如果标签是categorical类型就保持两者一致。矩阵的行表示真实类别列表示预测类别对角线上的值越高越好。perfcurve函数接受真实标签、预测分数和正类名称返回的Xroc和Yroc就是ROC曲线的横纵坐标点。AUC是ROC曲线下面积数值越接近1越好低于0.7就说明模型基本没什么区分能力。从这张图上还能读出一个信息曲线靠近左上角说明模型在较低假阳性率下就能达到较高真阳性率靠近对角线的部分则说明模型在某个分数区间内几乎等于随机猜测。对比不同参数模型的ROC曲线往往能看出哪个模型的尾部区分能力更强这比单纯对比AUC数字更直观。4.2 调参的优先级先树数后深度最后看特征数调参顺序如果错了经常会出现一种尴尬情况调了半天某一个参数模型指标纹丝不动于是怀疑算法有问题实际上是被另一个参数卡住了。第一步固定随机种子确保每次实验的随机性都在控制范围内。如果实验之间随机种子不一致参数的微小改变会被随机噪声盖过根本看不出哪个调整有效。第二步把树的棵数从少到多试一遍找到袋外误差的拐点。在这个阶段其他参数保持默认即可。第三步调节点特征数在平方根和全部特征之间的范围内搜索最优值。第四步再看叶子节点数。很多情况下前三步做完模型已经接近最佳表现叶子节点数只需要在1、5、10三个值之间快速试探。有一个常见的误区是直接套用别的项目的最佳参数。某个数据集上最优的特征数和叶子数换一个数据集很可能就不适用。随机森林的优势之一就是参数鲁棒性强默认参数在大多数任务上已经够用调参是在默认基础上做锦上添花不是解决模型效果差的唯一手段。如果模型效果明显不好先检查数据质量、标签一致性、训练测试划分的逻辑再回头看参数。特征数这个参数对训练时间的影响也不容忽视。特征维度高的时候每次分裂都要评估候选特征特征数设得越大训练越慢。高维数据上可以先按平方根设置然后用一批随机采样子集做快速验证找到一个大致的趋势再全量训练。调参的过程一定要留记录。每个参数组合对应的一组指标、训练时间、随机种子记录在表格里比脑内记忆靠谱得多。某开发者曾经在图像分类任务里调了一星期参数最后发现最佳组合在第三天就出现过只是当时没记下来后来重新搜索才找到。记录这件事在工程效率上比任何调参技巧都重要。5. 随机森林实现过程中的常见问题与避坑记录5.1 训练报错维数不一致与分类变量处理现象训练时直接报错提示矩阵维度不一致或者提示某列数据类型不支持。原因最常见的是特征矩阵里有非数值列比如把编号ID、日期字符串或中文字段直接留在了特征里。TreeBagger不可能处理文本特征分类变量如果没有转成categorical或编码也会被当成数值处理或直接报错。解决先在训练前用varfun(isnumeric, X)检查每一列是否为数值类型。分类变量用categorical装好文本字段需要先做标签编码或one-hot编码。ID列如果和标签没有因果关系或相关性直接删掉更安全。训练之前花五分钟检查数据表格的列类型能省掉后面大量排查时间。5.2 类别不平衡导致预测偏差现象测试集准确率看着不低但是少数类样本基本全被分错混淆矩阵里少数类那一行的召回率极低。原因随机森林投票时每棵树的分裂都偏向多数类整体投票结果被少数类样本挤压。尤其在训练集中多数类和少数类比例悬殊的时候模型学到的基本是多数类的分布规律。解决先从数据层面下手用分层抽样保证训练和测试集内类别比例一致。如果比例依然悬殊可以考虑对少数类做简单的过采样比如对少数类样本做有放回抽样复制或者在训练时给不同类别分配不同的权重。TreeBagger支持Cost参数来设定误分类代价把少数类被误分的代价调高模型会更倾向于正确识别少数类。调完代价之后要重新看混淆矩阵不要只看准确率。5.3 随机种子不固定导致结果不可复现现象同样的数据、同样的参数连续跑两次准确率差了一两个百分点特征重要性排序也变了。原因Bagging抽样、特征随机选择、数据划分三处都有随机性。只要随机种子没有固定跑出来的模型就不可能完全一致。这在对比实验或者验证别人结果时是个大坑。解决在脚本开头和训练前各加一次rng(seed)且两者放在合适的位置。数据划分和模型训练都要在随机种子作用范围内。如果用了并行训练还要考虑并行池的随机性管理最稳妥的办法是先固定种子、再训练、再预测全程不穿插其他随机操作。5.4 内存爆炸与训练时间过长现象数据量不大但训练时间特别长或者内存直接占满电脑卡死。原因树的数量和最大分裂次数偏大导致每棵树都很深模型存储规模暴涨。MaxNumSplits如果设得接近样本量级别单棵树的复杂度会非常高。解决先降低树的棵数比如从200降回100观察袋外误差变化。再把MaxNumSplits限制到一个合理范围比如特征数的十倍以下。叶子节点数从1改成5或者10也能有效压缩树的深度。最后考虑用NumThreads参数控制并行使用的核心数不必把电脑所有核心都压满。6. 进阶用法特征重要性排序与精简模型的实战技巧随机森林训练完成后工具箱里已经包含了特征重要性的评估结果不需要额外写复杂的计算逻辑。这个能力在实际工程里价值很大因为它直接把特征筛选和模型解释一起解决了。TreeBagger中可以用OOBPermutedPredictorDeltaError属性查看每个特征被随机打乱后袋外误差的变化量。变化量越大说明这个特征对分类的贡献越大。实际操作中我一般会先打印所有特征的重要性数值观察排序然后把重要性很低的特征去掉重训一遍模型。这样不仅模型训练时间缩短特征冗余带来的噪声也可能被消除准确率反而会有轻微提升。下面给出一个用特征重要性筛选特征的代码片段% 获取袋外特征重要性 imp mdl.OOBPermutedPredictorDeltaError; [~, idxSorted] sort(imp, descend); % 打印特征重要性排序 for i 1:length(imp) fprintf(特征%d: %.4f\n, idxSorted(i), imp(idxSorted(i))); end % 保留重要性累计占前90%的特征 cumImp cumsum(imp(idxSorted)) / sum(imp); keepIdx idxSorted(cumImp 0.9); XTrainReduced XTrain(:, keepIdx); XTestReduced XTest(:, keepIdx);这段代码先取出特征重要性数组按降序排列再计算累计贡献率保留贡献达到九成的特征集合。特征数量特别多的场景下这一招能显著降低后续训练开销。最后补充一个我被坑过一次的细节特征重要性排序在每轮训练中会有波动尤其是特征之间相关性较强的时候。如果只跑一次就下结论很可能选错特征集合。我会在固定随机种子的前提下重复训练三次取重要性排名的中位数来决策或者使用交叉验证方式多次计算再求平均。从那以后每次做特征筛选我都强制跑三遍以上确认排名稳定才动手删特征希望这个习惯也能帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
