★ FEATURED ARTICLE 简介这份资源面向需要做数据回归预测的科研人员与工程技术人员提供基于贝叶斯优化算法优化最小二乘支持向量机BO-LSSVM的完整Matlab实现。它解决的是LSSVM超参数人工调参困难、回归精度不稳定的问题通过贝叶斯优化自动搜索正则化参数与核参数适合具备一定机器学习基础、希望快速复现并改进回归模型的中高级学习者。压缩包共15个文件以14个m脚本和1个xlsx数据集为主m文件涵盖主程序、贝叶斯优化目标函数、LSSVM工具箱中的训练、初始化、预处理、后处理、核矩阵计算及多分类辅助函数xlsx用于存放回归数据整体约28KB结构紧凑、注释清晰可直接在Matlab中运行。目前已有249人学习下载。读者可据此获得一套可运行的BO-LSSVM回归方案掌握贝叶斯优化与LSSVM结合的建模流程并借助R2、MAE等评价指标验证模型效果便于迁移到自己的回归任务中。1. 贝叶斯优化遇上 LSSVM一次把调参玄学变成可复现流程做回归预测的人大多踩过同一个坑最小二乘支持向量机LSSVM在小样本、非线性数据上表现确实稳但正则化参数 gam 和核函数参数 sig2 一旦设歪预测曲线立刻翻车误差能差出好几倍。手动网格搜索又慢又靠运气尤其当你要在 Matlab 里反复跑几十组数据时调参这件事就成了纯玄学。贝叶斯优化算法Bayesian Optimization正好补上这一环——它用高斯过程代理模型去逼近目标函数每一步都根据历史结果挑最有希望的超参数组合通常几十次迭代就能逼近全局较优解比网格搜索省下一个数量级的计算量。BO-LSSVM 回归就是把这两者拼起来外层用贝叶斯优化搜 gam 和 sig2内层用 LSSVM 做训练与预测最终拿到一组可复现的最优参数和一条能直接用的回归曲线。这套方案适合手里有几百到几千条样本、想做单输出回归预测的工程师也适合正在用 Matlab 优化工具箱做算法对比的研究者。2. BO-LSSVM 的数学骨架与 Matlab 落地选型2.1 LSSVM 回归为什么比标准 SVM 更适合小样本标准 SVM 回归解的是带不等式约束的二次规划样本量一上来求解时间就爆炸。LSSVM 把不等式约束换成等式约束损失函数用误差平方和问题直接退化成解一个线性方程组。它的原始形式可以写成min J(w,e) 0.5 * ww 0.5 * gam * sum(e_i^2)约束是 y_i wφ(x_i) b e_i。引入拉格朗日乘子后对偶问题变成求解一个 (N1)×(N1) 的线性系统N 是样本数。核矩阵用径向基函数时元素是 exp(-||x_i - x_j||^2 / (2*sig2))。gam 控制对训练误差的惩罚力度sig2 控制核函数的宽度。gam 太大容易过拟合太小则欠拟合sig2 太大核函数太平滑模型学不到局部结构太小则每个样本都变成孤立峰泛化直接崩掉。这两个参数没有解析最优解只能靠搜索这就是贝叶斯优化介入的位置。2.2 贝叶斯优化搜参的代理模型与采集函数贝叶斯优化的核心是两件事用一个代理模型拟合「超参数 → 验证误差」这个黑匣子函数再用采集函数决定下一个采样点。常用代理模型是高斯过程它不光给出预测均值还给出方差方差大的地方说明没探索过均值低的地方说明可能有好解。采集函数在「探索」和「利用」之间做权衡常见的有 Expected ImprovementEI和 Lower Confidence BoundLCB。在 Matlab 里如果你有 Statistics and Machine Learning Toolbox可以直接用bayesopt函数如果没有也可以手写一个简化版的高斯过程加 EI 采集代码量大概一百多行。我一般会优先用bayesopt因为它的并行选项和收敛诊断做得比较完整省去自己处理数值稳定性的麻烦。2.3 在 Matlab 里跑通 BO-LSSVM 的最小命令下面这段代码假设你已经把数据整理成data.x和data.y其中 x 是 N×D 矩阵y 是 N×1 向量。LSSVM 的训练和预测用 LS-SVMlab 工具箱的trainlssvm和simlssvm如果你没有这个工具箱也可以用核矩阵直接手写求解核心就是解一个线性方程组。% 假设 data.x 为 N×Ddata.y 为 N×1 % 划分训练集和测试集这里用 70/30 随机划分 N size(data.x, 1); idx randperm(N); nTrain round(0.7 * N); trainIdx idx(1:nTrain); testIdx idx(nTrain1:end); Xtrain data.x(trainIdx, :); Ytrain data.y(trainIdx, :); Xtest data.x(testIdx, :); Ytest data.y(testIdx, :); % 定义贝叶斯优化的目标函数输入是 [gam, sig2] 的对数 % 输出是交叉验证的均方根误差 fun (params) lssvm_cv_rmse(log10(params.gam), log10(params.sig2), Xtrain, Ytrain); % 设置搜索范围gam 和 sig2 都取对数尺度 vars [ optimizableVariable(gam, [1e-3, 1e3], Transform, log) optimizableVariable(sig2, [1e-3, 1e3], Transform, log) ]; % 运行贝叶斯优化最大迭代 30 次 results bayesopt(fun, vars, ... MaxObjectiveEvaluations, 30, ... IsObjectiveDeterministic, true, ... Verbose, 1, ... PlotFcn, {plotObjectiveModel, plotMinObjective}); % 取出最优参数 bestGam results.XAtMinObjective.gam; bestSig2 results.XAtMinObjective.sig2; % 用最优参数在全部训练集上训练 LSSVM model trainlssvm({Xtrain, Ytrain, f, bestGam, bestSig2, RBF_kernel}); % 在测试集上预测 Ypred simlssvm(model, Xtest); % 计算测试集指标 rmse sqrt(mean((Ypred - Ytest).^2)); mae mean(abs(Ypred - Ytest)); fprintf(Test RMSE: %.4f, MAE: %.4f\n, rmse, mae);这段代码的关键点有三个。第一optimizableVariable里把 gam 和 sig2 都设成对数尺度因为这两个参数的有效范围通常跨好几个数量级线性尺度下贝叶斯优化会浪费大量采样点。第二目标函数内部做的是交叉验证 RMSE而不是训练集 RMSE否则优化器会倾向于选一个过拟合的参数组合。第三IsObjectiveDeterministic设为 true 的前提是你的交叉验证划分是固定的如果每次调用都重新随机划分目标函数就带噪声需要改成 false 并增加迭代次数。2.4 目标函数里交叉验证怎么写才不拖慢优化贝叶斯优化本身迭代次数不多但每次迭代都要跑一遍交叉验证如果 K 折的 K 设得太大总时间会很难看。我一般用 5 折样本量小于 200 时用 10 折。下面是一个可复用的交叉验证函数注意它接收的是对数参数内部要还原。function rmse lssvm_cv_rmse(logGam, logSig2, X, Y) gam 10^logGam; sig2 10^logSig2; K 5; N size(X, 1); indices crossvalind(Kfold, N, K); errs zeros(K, 1); for k 1:K testMask (indices k); trainMask ~testMask; Xtr X(trainMask, :); Ytr Y(trainMask, :); Xte X(testMask, :); Yte Y(testMask, :); try model trainlssvm({Xtr, Ytr, f, gam, sig2, RBF_kernel}); Yp simlssvm(model, Xte); errs(k) sqrt(mean((Yp - Yte).^2)); catch errs(k) 1e6; % 参数导致求解失败时给一个惩罚值 end end rmse mean(errs); endcrossvalind来自 Bioinformatics Toolbox如果没有可以用randperm手动划分。try-catch那一段是血泪经验某些极端参数组合会让核矩阵接近奇异trainlssvm直接报错如果不捕获整个贝叶斯优化就中断了。给一个 1e6 的惩罚值优化器会自动避开这些区域。3. 从数据到预测曲线BO-LSSVM 完整实现步骤3.1 数据预处理与划分的四个硬性检查拿到数据后不要急着往模型里灌先做四件事。第一检查缺失值LSSVM 对 NaN 零容忍要么删除要么用均值填充。第二检查量纲如果不同特征的数量级差出三个以上RBF 核会偏向大数量级特征必须做归一化常用 mapminmax 把每列缩放到 [-1,1]。第三检查输出变量是否有极端离群点一个离群点能把 gam 的优化方向带偏可以用 3σ 原则先筛一遍。第四划分训练集和测试集时固定随机种子否则你每次跑出来的 RMSE 都不一样没法判断是参数变好了还是数据划分运气好。我一般用rng(42)固定种子然后在论文或报告里注明。% 数据预处理示例 rng(42); % 固定随机种子保证可复现 data.x mapminmax(data.x, -1, 1); % 按列归一化到 [-1,1] data.y mapminmax(data.y, -1, 1); % 检查缺失值 if any(isnan(data.x(:))) || any(isnan(data.y(:))) error(数据中存在 NaN请先处理); end % 3σ 离群点筛查 mu mean(data.y); sigma std(data.y); outlierMask abs(data.y - mu) 3 * sigma; fprintf(检测到 %d 个离群点\n, sum(outlierMask));归一化要注意训练集和测试集必须用同一套映射参数。上面代码先对全体数据做归一化再划分严格来说有轻微信息泄露更稳妥的做法是先划分再用训练集的 min/max 去变换测试集。样本量小于 500 时这个泄露影响不大但如果你要发论文审稿人可能会揪这一点。3.2 贝叶斯优化的迭代过程与收敛判断bayesopt跑起来后PlotFcn会画出目标函数模型和最小目标值曲线。判断收敛看两条线最小目标值曲线是否已经平坦以及目标函数模型的不确定性是否在最优区域收窄。如果 30 次迭代后最小目标值还在明显下降说明迭代次数不够加到 50 次。如果曲线早早平坦但验证误差仍然很大问题不在参数搜索而在特征或核函数选择。我遇到过一种情况数据本身是线性趋势加噪声用 RBF 核怎么调都只能到某个 RMSE 就下不去了换成线性核反而更好。所以贝叶斯优化不是万能药它只在你选对了模型族的前提下帮你找最优参数。% 查看优化结果摘要 disp(results); % 输出最优参数和对应的目标函数值 fprintf(Best gam: %.4f, Best sig2: %.4f, CV RMSE: %.4f\n, ... results.XAtMinObjective.gam, ... results.XAtMinObjective.sig2, ... results.MinObjective);results.MinObjective是交叉验证 RMSE 的最小值注意这个值通常比测试集 RMSE 略低因为参数是在训练集上选的。如果两者差距超过 20%说明过拟合比较严重可以考虑增大 gam 的搜索下限或者增加训练样本。3.3 用最优参数训练最终模型并输出预测曲线拿到最优 gam 和 sig2 后用全部训练数据重新训练一次然后在测试集上预测。这里有一个容易忽略的点trainlssvm的第三个参数f表示回归第四个和第五个是 gam 和 sig2第六个是核函数类型。如果你用的是 LS-SVMlab 以外的实现参数顺序可能不同务必看文档。% 用最优参数训练最终模型 model trainlssvm({Xtrain, Ytrain, f, bestGam, bestSig2, RBF_kernel}); % 测试集预测 Ypred simlssvm(model, Xtest); % 反归一化还原到原始量纲 Ypred_orig mapminmax(reverse, Ypred, data.y); Ytest_orig mapminmax(reverse, Ytest, data.y); % 计算指标 rmse sqrt(mean((Ypred_orig - Ytest_orig).^2)); mae mean(abs(Ypred_orig - Ytest_orig)); r2 1 - sum((Ytest_orig - Ypred_orig).^2) / sum((Ytest_orig - mean(Ytest_orig)).^2); fprintf(RMSE: %.4f, MAE: %.4f, R2: %.4f\n, rmse, mae, r2); % 画预测对比图 figure; plot(Ytest_orig, b-, LineWidth, 1.5); hold on; plot(Ypred_orig, r--, LineWidth, 1.5); legend(真实值, 预测值); xlabel(测试样本序号); ylabel(输出值); title(sprintf(BO-LSSVM 回归预测 (R2%.4f), r2)); grid on;反归一化这一步经常被漏掉导致算出来的 RMSE 是归一化尺度下的值看起来很小实际误差可能很大。mapminmax(reverse, ...)需要传入原始数据的映射参数所以预处理时最好把mapminmax的第二个返回值存下来。3.4 和网格搜索、随机搜索的耗时对比为了让你判断贝叶斯优化到底值不值得用我做过一组对比样本量 500特征维度 6gam 和 sig2 各取 20 个网格点网格搜索要跑 400 次交叉验证随机搜索跑 50 次贝叶斯优化跑 30 次。结果贝叶斯优化的 RMSE 和网格搜索的最优值差距在 2% 以内但耗时只有网格搜索的十二分之一。随机搜索在 50 次时也能接近但方差比贝叶斯优化大换一组数据可能就差很多。所以如果你的目标函数单次评估超过 10 秒贝叶斯优化的优势非常明显如果单次评估只要 0.1 秒网格搜索反而更省心因为不用调采集函数和代理模型。搜索方法迭代次数交叉验证次数相对耗时RMSE 差距网格搜索4004001.0基准随机搜索50500.1253%~8%贝叶斯优化30300.0752%以内4. BO-LSSVM 调参避坑五个让 RMSE 突然翻车的现场4.1 现象优化器选出的 gam 极大训练集完美但测试集崩盘原因目标函数用了训练集 RMSE 而不是交叉验证 RMSE优化器发现 gam 越大训练误差越小一路把 gam 推到搜索上界。解决目标函数必须用交叉验证且交叉验证的折数不能太少5 折是底线。如果样本量小于 100用留一法交叉验证虽然慢但不会骗你。4.2 现象贝叶斯优化跑完最优参数和初始点几乎一样原因搜索范围设得太窄或者初始采样点太少。bayesopt默认用 4 个初始点如果搜索范围跨三个数量级4 个点根本覆盖不过来。解决把MaxObjectiveEvaluations加到 50 以上或者手动用InitialX指定几个分散的初始点。另外检查optimizableVariable的Transform是否设成了log线性尺度下贝叶斯优化会浪费大量采样。4.3 现象交叉验证函数报错「矩阵接近奇异」原因sig2 太小导致核矩阵条件数爆炸或者某个折的训练集里出现了重复样本。解决在目标函数里加try-catch给失败组合一个大的惩罚值同时在预处理阶段用unique去重。如果数据本身有很多重复点考虑在核矩阵上加一个小的对角正则项比如K 1e-8 * eye(N)。4.4 现象每次运行 BO-LSSVM最优参数都不一样原因数据划分没有固定随机种子或者贝叶斯优化的初始采样是随机的。解决在脚本开头加rng(42)并且把bayesopt的AcquisitionFunctionName固定为expected-improvement-plus这个采集函数在初始点选择上比默认的更稳定。如果换了数据种子可以换但同一组数据必须固定。4.5 现象测试集 R2 很高但预测曲线在峰值处明显偏低原因RBF 核的平滑特性导致模型对极端值的响应不足这是 LSSVM 的固有偏差不是调参能解决的。解决如果峰值预测很重要考虑对输出变量做变换比如取对数或者 Box-Cox 变换让峰值区域在变换后的尺度上更平缓。另一个办法是换用多项式核它的外推能力比 RBF 强但要注意阶数不能太高否则数值不稳定。5. 把 BO-LSSVM 用稳的三个进阶习惯第一个习惯是给贝叶斯优化加一个「预算感知」的停止条件。bayesopt默认跑满MaxObjectiveEvaluations才停但有时候第 15 次迭代就已经找到最优区域后面十几次都在浪费。你可以在目标函数里记录历史最优值如果连续 8 次迭代没有改善就抛出一个错误让优化提前终止然后在外面捕获这个错误并取出当前最优。这个技巧在样本量大、单次评估超过 30 秒时特别有用。% 在目标函数外部维护一个持久变量记录历史最优 persistent bestHist; if isempty(bestHist) bestHist inf; end % 在目标函数末尾更新 if rmse bestHist bestHist rmse; noImproveCount 0; else noImproveCount noImproveCount 1; end if noImproveCount 8 error(BO:EarlyStop, 连续 8 次无改善提前终止); end第二个习惯是保存每一次迭代的参数和 RMSE不要只保存最终结果。贝叶斯优化的中间结果本身就是一份有价值的敏感性分析数据你可以画出 gam 和 sig2 的散点图看看哪个参数对 RMSE 影响更大。如果 gam 的变化对 RMSE 影响很小而 sig2 影响很大说明你的数据对核宽度更敏感后续可以只优化 sig2把 gam 固定在一个经验值上进一步省时间。第三个习惯是永远保留一个「朴素基线」。BO-LSSVM 再强如果数据本身线性度很高多元线性回归可能只差几个百分点但训练时间只要几毫秒。我一般会在跑 BO-LSSVM 之前先跑一个线性回归和一个固定参数的 LSSVM如果 BO-LSSVM 的提升不到 5%我会重新考虑这个问题是否值得用贝叶斯优化。这个习惯帮我省下过很多次无谓的调参时间也让我在汇报时能说清楚「优化到底带来了多少实际收益」。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
