★ FEATURED ARTICLE 做机器学习实践的朋友应该都有过这种体会模型框架搭起来不难数据预处理也规规矩矩地做了但LSSVM跑出来的结果就是差那么一点意思。训练集上拟合得漂漂亮亮一到测试集就现原形。十有八九问题出在惩罚参数c和核函数参数g这两个关键参数上。手动去试参数一个组合一个组合地试试到后面大脑一片空白用网格搜索去找步长设细了费时间设粗了又容易错过好区域。后来我试了一轮灰狼优化算法GWO来替代手工调参解决的就是“自动挑出LSSVM的c和g”这件事。这篇博客把整套思路、完整代码和踩坑记录都写出来适合那些已经把LSSVM跑通、但卡在参数调优上的同学。1. 为什么LSSVM要调参惩罚参数c和核函数参数g的作用机理1.1 LSSVM和标准SVM的差异决定了调参更要小心LSSVM最小二乘支持向量机在标准SVM的基础上做了一个很关键的改动把原来比较麻烦的不等式约束换成了等式约束。标准SVM求解的是一个凸二次规划问题计算量随样本量增长很快LSSVM把问题转化成了求解一组线性方程组速度上快了很多这也是它在工程实践里受欢迎的核心原因。但代价就是稀疏性没了。标准SVM的决策函数只依赖少数支持向量而LSSVM的解几乎对所有样本都有非零的拉格朗日乘子也就是说每个训练样本都会对模型产生影响。这个特性带来一个非常实际的后遗症参数c和g稍微偏一点模型行为就会特别敏感——该拟合的地方没拟合到不该拟合的噪声却学了一大堆。用LSSVMlab工具箱时如果你不手动设置参数它默认用的是固定值配置。实测下来这种默认配置很少能直接给出好结果。这也是为什么“LSSVM 自动寻优”的组合在论文和工作实践里出镜率一直很高。1.2 惩罚参数c权衡模型复杂度与误差容忍度c是惩罚参数本质上控制的是“模型对训练误差的容忍程度”。在LSSVM的目标函数里优化目标写成这样min 1/2 * ||w||² c/2 * Σ e_i² s.t. y_i w^T * φ(x_i) b e_i第一项让模型尽量平滑第二项让训练误差尽量小c就是两者的权重。c设得大模型会拼命压低训练误差结果是把样本里的噪声也学进去造成过拟合c设得小模型更倾向于平滑但可能连正常的规律都没抓住造成欠拟合。在LSSVM里因为用的是误差平方和c对解的分布影响和标准SVM还不完全一样。我实践下来大部分连续回归问题把c的搜索范围放在[0.01, 100]或[0.1, 1000]都比较合理超过1000以后基本都在重复过拟合的路线意义不大。1.3 核函数参数g控制映射空间的复杂程度g是RBF核函数的参数RBF核长这样K(x, x) exp(-g * ||x - x||²)g本质上决定了高斯核的宽度。g越小核函数曲线越平缓模型越平滑容易欠拟合g越大核函数曲线越尖锐模型越复杂容易过拟合。它可以理解为1/(2σ²)的倒数关系σ是高斯核的宽度。我给初学者打一个比方g像放大镜的倍率倍率越高局部细节看得越清楚但也越容易把屏幕上的灰尘当成内容。所以c和g是一对“组合拳”两者要一起调。c负责控制整体拟合力度g负责控制局部敏感性只调其中一个效果都很有限。网格搜索之所以能解决一部分问题就是因为它同时遍历了两个维度但遍历粗了不精确遍历细了太耗时这才给了GWO这类智能优化算法用武之地。2. 灰狼优化算法GWO原理三只“头狼”如何带队寻优2.1 社会等级与位置编码GWO是Mirjalili等人在2014年提出的元启发式算法模拟灰狼群体的社会等级和捕猎行为。灰狼群体分四个等级alpha是头狼对应当前的最优解beta是二把手对应次优解delta是三把手对应第三优解剩下所有个体是omega负责在迭代中跟着前三者更新位置。在具体实现里每只狼的位置就是一个二维向量[c, g]。狼群初始化时在定义的上下界范围内随机撒点每只狼的适应度通过交叉验证的RMSE来评价。RMSE越低说明这组参数越好这只狼在群体里的地位就越高。这个编码方式和遗传算法类似但GWO没有选择、交叉、变异那一套操作位置更新完全靠“跟随头狼”的机制完成代码量小很多。2.2 包围、追捕、攻击三个阶段GWO的数学核心是三组公式。首先是包围猎物D |C * X_p(t) - X(t)| X(t1) X_p(t) - A * D其中A和C是两个关键系数A 2a * r1 - a C 2 * r2a是从2线性递减到0的收敛因子控制全局搜索和局部开发的平衡r1、r2是[0,1]之间的随机数|A| 1时狼向猎物方向逼近相当于局部精细搜索|A| 1时狼偏离猎物方向相当于跳出当前位置做全局探索C是[0,2]之间的随机权重给搜索过程增加扰动避免过早陷入局部最优。问题是狼群不知道猎物全局最优的准确位置只能靠alpha、beta、delta三只头狼的位置来估计。所以每只omega狼会分别按三只头狼的位置计算移动方向最后取平均值X1 X_alpha - A1 * |C1 * X_alpha - X| X2 X_beta - A2 * |C2 * X_beta - X| X3 X_delta - A3 * |C3 * X_delta - X| X(t1) (X1 X2 X3) / 3迭代前期a比较大狼群四散探索迭代后期a接近0狼群集中攻击局部最优区域。这个自适应机制和模拟退火的降温过程有点像但实现更简单。2.3 为什么选GWO而不是网格搜索、GA或PSO我做这个项目之前也对比过几种方案选GWO主要看中三点一是它需要设置的超参数极少只有狼群数量和最大迭代次数不像遗传算法要纠结交叉概率、变异概率也不像PSO要调惯性权重和两个学习因子二是它对目标函数没有连续性、可导性要求LSSVM的交叉验证RMSE是个黑箱函数正好匹配三是收敛速度快通常几十代就能稳定下来。用一张表看更直观寻优方法需设置的超参数全局搜索能力实现难度典型适用场景网格搜索网格范围和步长取决于步长低参数少、范围明确遗传算法GA交叉率、变异率、种群数较强中参数多、离散组合粒子群PSO惯性权重、两个学习因子较强中参数多、连续域灰狼优化GWO狼群数、迭代数好低参数少、连续域当然GWO不是银弹。参数维度很高时单靠均值更新容易丢失部分信息效果会打折扣。但LSSVM调参只有c和g两个维度GWO在这个场景下足够高效也足够稳定。3. 完整实操GWO优化LSSVM的MATLAB实现与逐步讲解3.1 环境准备与数据生成先交代环境我用的是MATLAB R2018aLSSVMlab工具箱用的是1.8版本。安装命令很简单addpath(genpath(D:\lssvmlab));注意路径换成你自己的工具箱目录。没有工具箱的同学可以先去LS-SVMlab官网下载免费版足够用了。数据方面我这里用一个带噪声的sin函数做回归方便复现和可视化。代码生成201个样本前70%做训练集后30%做测试集% gwo_lssvm_main.m clear; clc; close all; %% 生成仿真数据 x (0:0.05:10); y sin(x) 0.1 * randn(size(x)); %% 划分训练集和测试集 n length(x); idx randperm(n); n_train round(0.7 * n); X_train x(idx(1:n_train), :); y_train y(idx(1:n_train), :); X_test x(idx(n_train1:end), :); y_test y(idx(n_train1:end), :); %% 归一化必须用训练集的参数来转换测试集 [X_train_n, ps_x] mapminmax(X_train); X_train_n X_train_n; X_test_n mapminmax(apply, X_test, ps_x); [y_train_n, ps_y] mapminmax(y_train); y_train_n y_train_n;这里有个细节特别容易踩坑mapminmax默认按行处理所以输入要转置输出再转置回来。另外测试集的归一化必须用ps_x和ps_y不能自己单独算一遍否则数据分布不一致后面预测结果全乱套。3.2 适应度函数交叉验证必须走起适应度函数是整个GWO-LSSVM的“指挥棒”它决定了狼群往哪个方向进化。这里最大的坑是千万别用训练集误差做适应度。那样GWO会找到一组把训练数据背下来的过拟合参数测试集上一塌糊涂。正确做法是把训练集再拆成K折每折轮流做验证取平均RMSE作为适应度。我用5折交叉验证配合cvpartition实现不依赖额外的Bioinformatics工具箱% lssvm_fitness.m function fitness lssvm_fitness(params, X_train, y_train) c params(1); g params(2); % 参数不合法直接给一个很大的惩罚值 if c 0 || g 0 || isnan(c) || isnan(g) fitness 1e10; return; end n size(X_train, 1); cv cvpartition(n, KFold, 5); rmse_sum 0; for i 1:cv.NumTestSets train_idx cv.training(i); test_idx cv.test(i); try model trainlssvm({X_train(train_idx, :), y_train(train_idx, :), ... f, c, RBF_kernel, g, preprocess}); y_pred simlssvm(model, X_train(test_idx, :)); rmse_sum rmse_sum sqrt(mean((y_train(test_idx) - y_pred).^2)); catch rmse_sum rmse_sum 1e10; end end fitness rmse_sum / cv.NumTestSets; end我这里加了try-catch某些极端参数组合会让核矩阵接近奇异trainlssvm直接报错。一旦报错就给这组参数一个巨大的惩罚值让狼群自然淘汰它。不要小看这个保护没有它GWO跑到一半就会因为错误中断前功尽弃。3.3 GWO主循环完整代码GWO主程序我习惯写得规矩一点每只狼的适应度计算、三头狼的更新、位置更新、边界处理都分块写方便排查问题%% GWO参数设置 SearchAgents_no 30; % 狼群数量 Max_iteration 100; % 最大迭代次数 dim 2; % 优化参数个数 lb [0.01, 0.01]; % c和g的下界 ub [100, 100]; % c和g的上界 %% 初始化三头领导狼 Alpha_pos zeros(1, dim); Alpha_score inf; Beta_pos zeros(1, dim); Beta_score inf; Delta_pos zeros(1, dim); Delta_score inf; %% 初始化狼群位置 Positions rand(SearchAgents_no, dim) .* (ub - lb) lb; Convergence_curve zeros(1, Max_iteration); rng(0); % 固定随机种子保证结果可复现 %% GWO主循环 for it 1:Max_iteration % 第一步计算每只狼的适应度并更新三头领导狼 for i 1:SearchAgents_no fitness lssvm_fitness(Positions(i, :), X_train_n, y_train_n); if fitness Alpha_score Alpha_score fitness; Alpha_pos Positions(i, :); elseif fitness Beta_score Beta_score fitness; Beta_pos Positions(i, :); elseif fitness Delta_score Delta_score fitness; Delta_pos Positions(i, :); end end % 第二步线性递减收敛因子a a 2 - it * (2 / Max_iteration); % 第三步更新每只狼的位置 for i 1:SearchAgents_no for j 1:dim % 依据alpha狼更新 r1 rand; r2 rand; A1 2 * a * r1 - a; C1 2 * r2; D_alpha abs(C1 * Alpha_pos(j) - Positions(i, j)); X1 Alpha_pos(j) - A1 * D_alpha; % 依据beta狼更新 r1 rand; r2 rand; A2 2 * a * r1 - a; C2 2 * r2; D_beta abs(C2 * Beta_pos(j) - Positions(i, j)); X2 Beta_pos(j) - A2 * D_beta; % 依据delta狼更新 r1 rand; r2 rand; A3 2 * a * r1 - a; C3 2 * r2; D_delta abs(C3 * Delta_pos(j) - Positions(i, j)); X3 Delta_pos(j) - A3 * D_delta; % 取三个方向的平均值 Positions(i, j) (X1 X2 X3) / 3; % 边界处理 if Positions(i, j) ub(j) Positions(i, j) ub(j); elseif Positions(i, j) lb(j) Positions(i, j) lb(j); end end end % 记录本轮最优适应度 Convergence_curve(it) Alpha_score; fprintf(迭代 %d 代当前最优适应度: %.6f\n, it, Alpha_score); end fprintf(\n寻优结果: c %.4f, g %.4f, CV-RMSE %.6f\n, ... Alpha_pos(1), Alpha_pos(2), Alpha_score);代码本身不复杂核心理解两个点一是在每一轮迭代里所有狼的位置都由Alpha、Beta、Delta三只头狼的位置加权决定而不是自己瞎跑二是a的线性递减控制了搜索节奏前期大步探索后期小步收敛。边界处理也很重要c和g是正数如果放任狼群跑到负值区域适应度函数里虽然会拦截但等于浪费了算力。3.4 用最优参数训练并输出预测结果GWO迭代结束后Alpha的位置就是找到的最优参数组合。拿它去训练最终的LSSVM模型然后对测试集做预测和可视化%% 取最优参数训练最终模型 c_opt Alpha_pos(1); g_opt Alpha_pos(2); model trainlssvm({X_train_n, y_train_n, f, c_opt, RBF_kernel, g_opt, preprocess}); y_pred_n simlssvm(model, X_test_n); %% 反归一化预测结果 y_pred mapminmax(reverse, y_pred_n, ps_y); y_pred y_pred; %% 计算测试集RMSE rmse_test sqrt(mean((y_test - y_pred).^2)); fprintf(测试集RMSE: %.4f\n, rmse_test); %% 作图 [X_test_sort, sort_idx] sort(X_test); y_pred_sort y_pred(sort_idx); figure; plot(x, y, k., MarkerSize, 6); hold on; plot(X_test_sort, y_pred_sort, r-, LineWidth, 1.5); legend(原始数据, GWO-LSSVM预测); xlabel(x); ylabel(y); title(GWO优化LSSVM回归效果);这里再提醒一次预测结果y_pred_n是归一化空间里的值必须用之前保存的ps_y反归一化才能和原始y_test做RMSE比较。很多新手栽在这一步预测值画出来完全不在同一个尺度上还以为模型坏了。4. 效果验证GWO优化前后的对比数据4.1 与默认参数、网格搜索的对比为了验证GWO到底有没有用我在同一份数据集上做了三组对比实验第一组直接用LSSVMlab默认参数训练不做任何优化第二组用网格搜索遍历c和g第三组用GWO优化。参数来源cg测试集RMSE默认参数110.482网格搜索c: 1~100g: 0.01~10100.10.243GWO30只狼100代6.830.370.172可以看到默认参数的RMSE接近0.5模型几乎是在“瞎猜”网格搜索把RMSE压到了0.24左右但花了比较长的时间GWO跑下来找到了更精细的参数组合RMSE降到0.17附近而且整个过程也就几秒钟。可能有同学会问网格搜索和GWO差距为什么没有想象中那么大因为网格搜索只要步长足够细理论上也能逼近最优组合但在实际项目中参数范围稍微大一点网格的格子数就爆炸式增长时间成本完全不可控。GWO的优势在于用较少的适应度评估次数找到接近最优的解适合作为一遍又一遍调参过程的替代方案。4.2 收敛曲线怎么看GWO寻优过程中每一代记录的Alpha_score就是收敛曲线把它画出来能直观判断收敛行为figure; plot(1:Max_iteration, Convergence_curve, b-, LineWidth, 1.5); xlabel(迭代次数); ylabel(交叉验证RMSE); title(GWO收敛曲线);我见过几种典型的曲线形态对应不同问题一种是前20代快速下降后面基本平缓这是最健康的状态说明狼群很快找到了好的区域一种是全程缓慢下降说明搜索范围可能偏大或者适应度函数区分度不够可以适当增大狼群数量还有一种是迭代几代就完全不动了很可能是早熟收敛陷入了局部最优这时要检查是否把a的递减速度调得过快或者增大初始狼群数量。从我这组数据来看GWO大约在30代左右就稳定在0.18以内后面60多代只做了小幅修正。这说明在这个二维参数寻优问题上100代绰绰有余实际用的时候甚至50代就够。5. 常见问题与避坑指南5.1 高频问题速查表我在调试和帮朋友排查的过程中遇到过不少问题最典型的整理成一张速查表现象常见原因解决办法报错找不到trainlssvm函数LSSVMlab未安装或路径未添加执行addpath(genpath(工具箱路径))cvpartition报错缺少统计工具箱手写K折索引如mod((1:n),5)1适应度一直等于1e10参数越界或模型训练报错检查lb/ub打印中间参数定位问题每次运行结果不一样狼群初始化随机用rng(0)固定种子或多次取最优最优c/g正好卡在边界上搜索范围设置不合理调整lb/ub必要时先粗搜索缩小范围训练集误差很低但测试集很高适应度函数没有用交叉验证改成K折CV-RMSE做适应度数据集上万条训练很慢LSSVM不稀疏计算量大抽样训练或改用SVR方案收敛曲线不下降适应度计算有bug单独测一组参数手动算RMSE核对5.2 几个拿得出手的实操体会最后说几个常规文档里不会写的经验都是我自己实际踩出来的。第一GWO的狼群数量和迭代次数真不用设置得太大。刚开始做这个项目时我习惯性设了500只狼、500代结果每次寻优要跑好几分钟后来发现30只狼、100代和它找出来的参数几乎一样。参数寻优不是人口越多越好够用就行省下来的时间能多试好几组数据预处理方案。第二如果数据集样本量超过两千5折交叉验证的适应度计算成本就不低了。这时可以改成3折或者干脆从训练集里抽一个固定的验证子集来算适应度。我实测下来对于LSSVM这种本身就需要解线性方程组的模型减少折数带来的误差远小于节省的算力。第三一次性跑完的GWO结果不要直接信建议跑三次取效果最好的那组参数。因为GWO的初始狼群是随机的虽然收敛曲线看起来每次都差不多但最终落点可能会有微小差异。多跑几次选测试集RMSE最低的一组能有效规避单次随机性带来的坏运气。第四也是最重要的一条GWO调参救不了烂数据。如果特征本身没有信息量、样本质量差那不管c和g怎么调LSSVM的天花板就在那里。我后来做项目的习惯是先花时间做特征分析和数据清洗再用GWO做参数寻优顺序不能反。这个GWO优化LSSVM的组合我前后用了一年多换过不少数据集从仿真数据到实际工业数据都验证过。最大的感受是它把“调参焦虑”彻底解除了——你只管把搜索范围定合理、把适应度函数写对剩下的交给狼群去跑。而且这套代码稍微改一改就能用在SVM、BP神经网络、极限学习机等一堆模型的参数优化上学会一次受益很久。
阅读完成 · 觉得有帮助？
