★ FEATURED ARTICLE 文章目录1. 问题 1 求解思路1.1. 明确数据和目标1.2. 确定输出哪些感官维度1.3. 整理化学特征1.4. 将 1.csv 和 4.csv 按啤酒名称对齐1.5. 划分验证数据避免用训练拟合值报成绩1.6. 建立连续感官预测模型1.7. 用交叉验证结果评估连续预测1.8. 把连续预测转为 0–6 档1.9. 评估分档结果1.10. 整理最终结果2. 问题 2 求解思路2.1. 数据 2.csv 预处理2.2. 设计并绘制化合物共表达图2.3. 逐个化合物看关联2.4. 多个化合物一起建模2.5. 确定每个感官维度的 Top-32.6. 回测稳定性2.7. 化学合理性论证3. 问题 3 求解思路3.1. 数据准备与风格样本量检查3.2. 建立风格条件生成模型3.3. 检验生成的化合物谱是否合理3.4. 给生成谱附上感官画像3.5. 跨风格迁移从 Pils/Lager 到 Tripel3.6. 缺陷项约束3.7. 最终结果建议题目关键题目真正要求什么建议建模顺序先做数据核验不急着训练生成模型问题 1把评分任务当作有不确定性的估计问题 2用稀疏模型筛选再做稳定性检验问题 3先做可控、可验证的生成和赛道 B 的对照1.1. 现在有哪些数据各自扮演什么角色1.2. 数据 1.csv 预处理1.3. 数据 4.csv 预处理1.4. 模型到底学了什么1.5. 为什么要做五折交叉验证1.6. 预测的是连续值之后分档 0–61.7. 模型评价指标【初赛赛题发布】2025年第六届MathorCup数学应用挑战赛—大数据竞赛需要帮助可私信持续更新中 …PS作者是老一辈风格还在坚持手搓。可能速度有点慢还望见谅。2026 年 MathorCup 数学应用挑战赛——大数据竞赛赛道 A啤酒酿造化合物分析与啤酒风味预测1. 问题 1 求解思路题目要求以1.csv的化合物数据为基础给出每款啤酒在Aroma和Flavour感官维度上的 0–6 分制分级结果。结合3.xlsx的评分卡主结果建议聚焦Aroma与Flavour两组共 30 个维度其余评分卡项目可以作为补充不要和题目要求的主体混在一起。1.1. 明确数据和目标1.csv每行对应一款啤酒包含化合物及少量理化属性4.csv则提供了这 250 款啤酒的连续感官分析结果。两份数据按beer名称一一对应。beer_id因精度显示可能不同不建议用它作为合并键。因此问题 1 可以写成监督学习问题化合物及理化特征 X ( 1. c s v ) ⟶ 连续感官指标 Y ( 4. c s v ) ⟶ 0–6 分级结果 \text{化合物及理化特征 }X\;(1.csv) \longrightarrow \text{连续感官指标 }Y\;(4.csv) \longrightarrow \text{0--6 分级结果}化合物及理化特征X(1.csv)⟶连续感官指标Y(4.csv)⟶0–6分级结果这里的4.csv是训练时的感官标签来源1.csv是题目要求用于建模的化学特征来源。3.xlsx是空白评分卡用来确定要输出哪些感官维度它本身不提供这 250 款啤酒的实际评分。1.2. 确定输出哪些感官维度从3.xlsx的评分卡中提取Aroma与Flavour的维度名称再与4.csv的列名核对建立一张名称映射表。主分析只保留两组共同对应的维度。建议先确认Aroma和Flavour各有哪些维度评分卡里的名称与4.csv列名是否完全一致是否有拼写、大小写或缩写差异目标维度是否有缺失值或常数列。完成后形成目标矩阵Y ∈ R 250 × 30 Y \in \mathbb{R}^{250\times 30}Y∈R250×30如果评分卡中的维度数与这里不同以题目 PDF 和实际模板内容核对后的结果为准并在报告中说明维度筛选规则。1.3. 整理化学特征从1.csv中去掉啤酒名称、编号、风格等标识字段保留可用于预测的数值特征。此前我们整理出 231 个数值字段其中 5 个是综合指标kcalperc、acids_sum、esters_sum、aroma_hops_sum、sulfur_sum。如果建模目标是评估具体化合物的预测作用主模型建议使用其余 226 个化合物列五个综合指标可以留作对照模型检查加入汇总信息后预测是否改善。五个属性如下热量值kcalperc总酸acids_sum总酯esters_sum酒花香气aroma_hops_sum硫化合物sulfur_sum题目说明部分化合物值经过对数变换但目前没有充分依据把它们统一反变换成原始浓度。因此问题 1 的预测模型先使用文件中的现有数值不做未经证实的底数转换必要时再用不同特征处理方案做敏感性比较。对变量是否标准化也由模型需要决定例如 Elastic Net 需要标准化但树模型通常不需要。1.4. 将1.csv和4.csv按啤酒名称对齐先检查两份表中 beer 是否一一对应再按 beer 合并。合并后应确认恰好得到 250 款啤酒每款啤酒只出现一次所有目标维度都与正确的啤酒匹配特征和标签没有意外错行。这一步很重要若化合物特征与感官标签错位即使后续模型能够运行得到的关联和预测也没有意义。1.5. 划分验证数据避免用训练拟合值报成绩250 个样本不多建议使用重复交叉验证例如 5 折交叉验证重复多次。每次留出一部分啤酒作为验证集只用其余啤酒训练再预测留出啤酒。所有数据处理步骤都应在每一折的训练集内完成包括缺失值填补特征标准化特征筛选模型参数选择。否则验证集信息会泄漏到训练流程中使预测表现偏乐观。若啤酒风格分布明显不均衡可以用分层折叠尽量保持各折的风格比例但要注意样本数很少的风格无法保证每折都充分代表。1.6. 建立连续感官预测模型对每个感官维度预测4.csv中对应的连续值。可以比较几类模型基线模型用训练集均值或中位数预测作为最低参照。Ridge / Elastic Net适合化合物之间高度相关、特征较多的情况Elastic Net 还带有一定特征筛选作用。随机森林或梯度提升树用来捕捉非线性关系但小样本下要控制模型复杂度。PLS适合多个共线特征可能共同反映潜在化学信号的情况。模型不必越复杂越好。应通过交叉验证比较模型保留泛化表现稳定、解释相对清楚的方案。每个感官维度可以选不同模型也可以用交叉验证表现接近的模型做稳健性对照。1.7. 用交叉验证结果评估连续预测对每个感官维度把所有折中“未参与该折训练”的预测拼起来形成 250 个 OOFout-of-fold预测值。再将 OOF 预测与4.csv的连续值比较。建议报告Spearman 相关系数预测是否能正确排序啤酒MAE 或 RMSE连续值预测误差如有需要报告R 2 R^2R2但小样本下可能波动较大。应同时列出基线模型的指标。若模型只略好于均值预测或某些感官维度的交叉验证表现很弱就应明确说明这些维度难以从现有化合物数据中稳定预测。1.8. 把连续预测转为 0–6 档由于 4.csv 提供的是连续标准化/中心化值而不是评分卡上直接标注的 0–6 原始评分目前没有足够信息把它们准确还原为评委原始打分。可以采用按每个感官维度的预测分布进行分位数分档把预测结果划为 7 档映射到 0、1、2、3、4、5、6。分档应基于每个维度的训练数据分布并在每个交叉验证折中只利用训练集确定边界再应用到该折验证集避免分档边界泄漏。最终对 250 款啤酒的提交表可用全部 250 个样本训练最终模型生成连续预测再按预先确定的档位边界映射成 0–6。需要在报告中把这个结果准确称为基于现有样本相对分布得到的 0–6 分级估计。它不是恢复出来的评委原始分数也不应声称是绝对感官强度标定。1.9. 评估分档结果在交叉验证中同样把每折的 OOF 连续预测转成 0–6 档再与相应感官标签按同一分档规则得到的参考档位比较。可以报告QWK加权 Kappa考虑档位远近的差异平均绝对档差预测档位与参考档位相差几档档位混淆矩阵观察模型常把哪些档位混淆。不过这种评估仍是相对于由连续标签分布构造的参考档位不等于与评委原始 0–6 打分直接比较。报告里要把这一限制写清楚。1.10. 整理最终结果建议最终提交或展示两张表主结果表250 款啤酒的 Aroma 与 Flavour 分级beer感官维度 1…Aroma/Flavour 其他维度啤酒样本 10–6…0–6…………模型评估表每个感官维度的预测表现感官维度最终模型SpearmanMAEQWK平均档差主表给出题目所需的分级结果评估表说明这些分级结果有多可靠。对预测能力弱的维度应标记不确定性避免让所有 0–6 分看起来都同样可信。最关键的逻辑是用1.csv的化学特征预测4.csv的连续感官指标再根据明确说明的分档规则转换为 0–6。由于现有连续标签不是评委原始 0–6 分这个方案能产生可复现的分级估计但不能声称恢复了原始评委评分。2. 问题 2 求解思路2.1. 数据 2.csv 预处理由于文件2.csv已经给出来化合物的 Spearman 相关系数得分因此先对数据进行预处理。数据为 231 x 231 矩阵减去前文提到的五个属性也对应 226 种化合物而五个属性在这里的名字为热量值Caloric value总酸Total acids总酯Total ester compounds酒花香气Total hop aroma compounds硫化合物Total sulfur compounds2.2. 设计并绘制化合物共表达图共表达图中每个点代表一个化合物两点之间的线表示它们在 250 款啤酒中的测量值相关性。线的颜色前面代码中红色表示正相关蓝色表示负相关。线的粗细表示相关强度越粗代表相关系数绝对值越大。连接数高的节点和很多其他化合物都有关联称为网络中的“高连接节点”。聚在一起的一群节点可能组成一个共表达模块即一组在样本中经常共同变化的化合物。例如如果两种酯类经常一起升高图上就会有一条较强的正相关边。但这只说明它们在这批样本中共同变化不代表一种化合物导致另一种化合物变化也不代表它们都导致某种风味。同时生成一份连接数表格degree_table列名化合物连接数含义节点名称在当前阈值下与它相连的其他节点数连接数高说明该化合物处于较多相关关系中不等于它是某个感官维度的关键化合物。它只能帮助我们发现网络中的枢纽或提醒这个化合物可能和一组共同变化的化合物高度相关。再生成一份化合物对表edge_table列名化合物 1化合物 2相关系数绝对相关系数含义这条边连接的两个化合物这条边连接的两个化合物正值是同向变化负值是反向变化相关强度越接近 1 越强这张表适合查看具体的强相关化合物对。若两个候选化合物高度相关模型可能难以区分到底哪个与风味关系更独立这时可以把它们视为同一模块中的候选物结合感官模型和化学知识判断。2.3. 逐个化合物看关联先逐个感官维度进行分析。例如预测a_hops_citrus时计算每种化合物与该感官值的关系。不仅要看单变量相关还要看多变量模型中的贡献高度相关的一组化合物应该避免被误解为三个互相独立的证据。对每个化合物X j X_jXj计算它与感官值Y YY的相关性例如 Spearman 相关ρ j corr Spearman ( X j , Y ) \rho_j \text{corr}_{\text{Spearman}} (X_j, Y)ρjcorrSpearman(Xj,Y)这样能回答关联方向是正还是负单独看时相关强度有多大哪些化合物值得进入候选名单但它只是一种单变量关联。假如化合物 A 和 B 本身高度相关而 A、B 都与柑橘感官相关单看相关性可能会把两者都排得很高。我们还不知道哪一个在考虑其他化合物之后仍有独立的预测贡献。2.4. 多个化合物一起建模接着让多个化合物同时预测感官值。可以用 Elastic Net 或 PLSY ≈ β 0 ∑ j β j X j Y \approx \beta_0 \sum_{j} \beta_j X_jY≈β0j∑βjXjElastic Net 会在预测感官值的同时对不必要或高度重叠的特征作一定筛选PLS 则把相关的化合物组合成少量潜在成分。这一步回答的是在其他候选化合物也进入模型后哪些化合物仍有贡献因为 226 个候选化合物与 250 个样本数量接近而且化合物之间存在相关性直接用普通多元线性回归容易得到不稳定系数使用正则化或潜变量方法更合适。2.5. 确定每个感官维度的 Top-3不能单靠“网络里连接最多的三个化合物”也最好不要只按单变量相关取前三。建议把证据合在一起先生成候选名单单变量 Spearman 相关较强的化合物。查看多变量结果候选化合物进入 Elastic Net/PLS 后是否仍有贡献。结合共表达模块若前三名都来自同一个高度相关模块要判断这是不是重复信号必要时选择模块代表物或注明前三名是一个共同变化的模块。最后综合排序关联强度、模型贡献和稳定性都支持的化合物优先进入 Top-3。可以把结果表整理成感官维度化合物方向单变量相关多变量贡献Bootstrap 入选率网络模块化学解释这里的“多变量贡献”可以是标准化回归系数或交叉验证置换重要性。它们的尺度不同不要直接把不同统计量相加成一个未经说明的总分更稳妥的做法是分别列出再根据预先说明的规则排序。2.6. 回测稳定性对某个感官维度反复 Bootstrap 重抽样例如 500 次。每次都重新计算关联、重新拟合模型、重新选 Top-3。最后统计每种化合物被选中的比例入选频率 j 该化合物进入 Top-3 的次数 500 \text{入选频率}_j \frac{\text{该化合物进入 Top-3 的次数}}{500}入选频率j500该化合物进入Top-3的次数例如一个化合物 500 次中有 400 次进入前三入选频率为 80%说明它比只入选 40 次的化合物稳定。也可以比较不同方法的 Top-3 集合。若 Ridge、Elastic Net、PLS 找到的前三名相似结果更可信若名单差异很大就要报告单体排名不稳定。假如名单虽不同但来自同一个共表达模块可能是模块信号稳定模块内具体化合物难以区分。2.7. 化学合理性论证每个入选化合物都检查化合物属于什么类别如酯、醇、醛、萜类或含硫化合物已知或合理预期的香气、味觉是什么与目标感官的关联方向是否说得通是否可能与啤酒风格、某个共表达模块或其他化合物共同变化。例如如果一个已知偏果香的酯类与果香感官正相关且在 Bootstrap 中反复入选这是化学合理性证据。但仍应写“与果香正相关、是稳定候选因素”而不是写“它导致了果香”。文件6.csv直接给出了化学参数与感官参数之间的 Spearman 相关系数。但问题是数据量只有 44 行指标 50 列感官属性小于待研究的1.csv中的 226 种化学特性因此只依靠6.csv无法完全覆盖所有候选化合物。其余化合物的分析仍需要从1.csv和4.csv中计算关联。因此6.csv的相关性系数可以作为强有力的初筛和交叉核对证据当然我们这里是假定了它与1.csv, 4.csv不来同一批样本若来自同一批样本则无法当成独立验证数据。3. 问题 3 求解思路问题3可以拆成两件事给定风格生成合理的化合物谱并给出预测的感官画像。把一种风格的化合物谱迁移到另一种风格同时约束缺陷项不恶化。这里用1.csv的化合物特征作为生成对象用tasting_category_fine作为风格条件。4.csv的连续感官值可用于比较各风格的感官画像也可在 Q1 模型可靠的维度上预测生成谱对应的感官值。3.1. 数据准备与风格样本量检查1.csv有 250 款啤酒、226 个化学特征和 5 个综合属性。生成“化合物谱”时建议以 226 个化学特征为主体五个综合属性是汇总量不要与单体化合物混在一起生成。由于综合属性的公式不明确暂时先不生成它们。先检查每个风格有多少样本。当前附件中Tripel有 28 款、Kriek有 10 款、Lambic有 11 款、Pils/Lager有 11 款。风格样本数不均衡尤其Kriek和Lambic因此不能假设每个风格都有足够样本独立拟合复杂的高维生成模型。数据处理时还要缺失值按化合物处理并记录填补方式。对反复出现的检测下限值单独标记避免把“低于检测限”当成精确浓度。生成时保留1.csv现有数据尺度。若某些列的单位或对数底数还未确认不要强行把所有生成值逆变换成浓度。把 226 个候选化学特征与 5 个汇总指标分开管理。3.2. 建立风格条件生成模型目标是估计P ( X ∣ S s ) P(X\mid Ss)P(X∣Ss)其中X XX是一款啤酒的化合物谱S s SsSs是指定风格例如Tripel。对这批数据优先从简单、可检验的模型开始不建议直接上 GAN 或深度生成模型样本只有 250 款特征有 226 个复杂模型很容易生成貌似复杂、实际却不像真实啤酒的数据。可以按以下顺序比较同风格重抽样基线 从目标风格真实样本中抽取化合物谱作为最简单的基线。收缩协方差模型或高斯 Copula 学习目标风格中各化合物的分布及共同变化关系再生成新样本。协方差需要收缩或降维以免小样本估计不稳定。小样本风格的部分共享 对 Kriek、Lambic 等样本少的风格可向相近风格或全体啤酒分布适当共享信息同时报告这种共享假设不把少量样本拟合结果描述得过于确定。生成谱时不能让每种化合物彼此独立抽样否则会破坏真实化合物间的相关结构。2.csv 的共表达网络可用来检查或约束模型生成的共同变化模式。3.3. 检验生成的化合物谱是否合理生成完之后不能只展示几条数值。至少做以下核验单列分布 生成值是否落在该风格真实样本的取值范围与分位数附近。联合结构 生成数据中的主要相关关系是否与真实数据相近。风格识别 用真实样本训练风格分类器检查生成样本是否也被识别为目标风格。异常检测 检查生成样本是否远离真实啤酒数据范围或出现不合理组合。风格内留出验证 留出部分真实目标风格样本比较模型生成分布和这些未参与拟合的真实样本。如果风格样本很少检验结果也要注明不确定性。例如 Kriek 只有 10 个样本即使生成模型拟合成功也只能说“与现有 Kriek 样本分布相符”不能据此概括所有 Kriek。3.4. 给生成谱附上感官画像对每个生成谱用 Q1 建立的“化合物 → 感官值”模型预测感官画像再与该风格4.csv的真实连续感官分布比较生成 Tripel 的预测感官是否接近现有 Tripel 样本生成 Kriek 是否呈现与现有样本相似的果香、酸度等画像哪些感官维度的 Q1 预测能力较弱需要标为低置信度这里建议先报告连续感官画像。若需要展示 0–6 分再使用此前定义的相对分档规则并注明它是模型估计的相对等级不是人工实测分。Q1 中预测质量弱的维度不应在 Q3 中被包装成确定的感官结论。3.5. 跨风格迁移从 Pils/Lager 到 Tripel迁移的目标不是把Pils/Lager的每个化合物都改成Tripel均值而是在尽可能少改变原谱的前提下让新谱靠近Tripel分布。可以把它写成约束优化min Δ X λ 1 d ( X 0 Δ X , Tripel分布 ) λ 2 ∥ Δ X ∥ 2 \min_{\Delta X} \quad \lambda_1\,d(X_0\Delta X,\ \text{Tripel分布}) \lambda_2\|\Delta X\|^2ΔXminλ1d(X0ΔX,Tripel分布)λ2∥ΔX∥2其中X 0 X_0X0原始 Pils/Lager 化合物谱Δ X \Delta XΔX迁移时对化合物的改变量第一项让结果接近目标风格第二项惩罚过大的改动。还要保持化合物组合合理例如可以对照共表达模块避免只改变一个化合物却破坏一组共同变化关系。最终用风格分类器确认迁移后的谱更像 Tripel而不是只看与 Tripel 均值的距离。3.6. 缺陷项约束题目要求 DMS、Diacetyl、4VG、trans-2-nonenal、Stale hops 等缺陷项不恶化。需要先把每个缺陷项映射到正确字段DMS 对应 1.csv 中的 DMS4VG 对应 X4VGtrans-2-nonenal 对应 X.E…2.nonenalDiacetyl 可能对应 X2.3.butanedione需核对字段定义**Stale hops 是感官描述不是 1.csv 中的单体化合物浓度列。**可通过 4.csv 中的 stale_hops 感官值约束预测的陈旧酒花感官不要恶化但这依赖 Q1 对该维度的预测是否可靠。8.xlsx的 Sensory thresholds 工作表包含阈值相关字段只对其中有明确化合物映射、阈值数值和单位的项目使用阈值约束。如果1.csv的数值尺度与阈值单位不同必须先确认变换和单位再比较。缺少可靠阈值时可以采用更保守的约束迁移后缺陷化学指标不高于原谱或预测的缺陷感官值不高于原值。3.7. 最终结果建议每种目标风格至少展示真实样本量及主要化合物分布生成谱与真实谱的分布对比生成谱的预测感官画像和预测置信度Pils/Lager → Tripel 迁移前后的化合物变化缺陷项迁移前后对比风格识别结果及迁移变化幅度。问题3的核心证据应是生成谱与真实风格数据相似、化合物共同变化关系合理、感官画像接近目标风格并且缺陷约束满足。仅仅生成一张化合物数值表还不足以证明风格生成或迁移成功。题目关键题有三项任务补齐感官评分、解释化合物与风味的关系、按风格生成化合物谱并做风格迁移。核心难点是数据里有缺失、异常和不同标度的评分而且感官评分卡只有 10 款啤酒不能把它当作大量、完整的训练标签。题目真正要求什么问题目标主要难点1. 缺失条件下的感官评分以1.csv的化合物数据给3.xlsx定义的约 40 个 Aroma、Flavour 维度评分范围 0–6评分标签有限且相关文件可能有原始离散分和标准化连续值不能混着用2. 化合物–风味分析构建化合物相关图每个感官维度给 Top-3 关键化合物并论证稳定性和化学合理性相关性不等于因果高维特征容易过拟合Top-3 可能随样本变化3. 风味指纹生成与迁移按 Tripel、Kriek、Lambic 等风格生成化合物谱再把 Pils/Lager 谱迁移成 Tripel 风格且缺陷化合物不能恶化样本量与风格覆盖可能有限生成谱要落在合理数据范围并满足缺陷约束建议建模顺序先做数据核验不急着训练生成模型先确认各附件的样本数、变量名、Beer ID 对应关系、缺失率和异常值并弄清每个 CSV/XLSX 在三问中扮演什么角色。题面特别提醒1.csv 的部分化合物值是对数变换结果另有一些理化指标保留原始单位。需检查并记录变换底数对数值不能直接当原始浓度解释。4.csv 和 7.csv 含有标准化/中心化的评分负值不是负风味分更不能直接当 0–6 分。3.xlsx 感官卡只有 10 款啤酒应检查它与其他评分文件之间的对应关系明确哪些是真实标签、哪些只是辅助数据。数据集描述里写“226 种啤酒”而题面又提到 7.csv 是 250 个样本先核实样本交集和来源避免把不同样本集错配。问题 1把评分任务当作有不确定性的估计先用 10 张人工评分卡形成可靠的目标标签用化合物数据建立简单、可解释的模型例如标准化后的正则化回归或 PLS再与树模型作对比。样本这么少建议采用留一啤酒交叉验证并报告每个维度的误差或预测区间。输出应保留连续预测值及其不确定性再按题目要求映射到 0–6 级。报告中最好区分人工评分卡里的真实分数模型估计分数因标准化数据反算或映射得到的分数。如果评分维度或样本配对不够个别维度应明确标成低置信度不要给出看似精确的 0–6 预测。问题 2用稀疏模型筛选再做稳定性检验相关矩阵可用于建化合物共表达图节点是化合物边按相关强度和阈值连接可做社区或模块分析帮助展示共变的化学物质群。对每个感官维度可用 LASSO/Elastic Net 或 PLS 作为主模型另选一种方法做交叉检查。对每个维度执行 bootstrap 重采样统计每种化合物进入 Top-3 的频率同时报告不同模型之间 Top-3 的 Jaccard 相似度。化学解释应结合化合物类别与已有风味知识但谨慎使用“导致”这类因果表述优先说“关联”或“预测贡献”。问题 3先做可控、可验证的生成若各风格样本较少不推荐直接上复杂深度生成模型。先统计每个风格的样本数和化合物分布样本量充足时可用条件 VAE 或带风格条件的分布模型生成谱样本量有限时可用按风格条件的多变量分布/重采样明确这是统计模拟。生成后要检查是否超出观测范围、化合物间相关结构是否合理、生成样本能否被风格分类器识别为目标风格。跨风格迁移可先在标准化特征空间沿目标风格方向调整再约束 DMS、Diacetyl、4VG、trans-2-nonenal、Stale hops 等缺陷项不超过阈值或不比原样本恶化。最后将迁移后的谱反变换回可解释尺度并同时给出感官画像预测。和赛道 B 的对照维度赛道 A赛道 B主要数据形态表格型化学与感官数据时间序列气象 栅格/地理空间数据工程重点数据清洗、标签对齐、统计建模与生成多源数据对齐、GIS、地形分析与仿真最大风险评分标签少、不同标度混杂、生成任务过度拟合单次事件难以验证预报能力、数据空间时间尺度不匹配可视化重点化合物网络、评分画像、风格迁移前后对比灾前时序、易发性图、流路和影响范围建模可控性主要取决于附件是否完整以及评分标签质量依赖数据下载、地理处理和事件样本初步判断赛道 A 的工作更集中在数据处理和统计学习适合擅长 Python、特征工程和可解释机器学习的队伍赛道 B 更依赖 GIS、遥感和灾害机理。A 看起来更容易快速出图但第三问的生成与迁移不能只做“漂亮样本”必须证明化学谱合理且约束有效。选题前最值得核实的是 A 的附件实际内容和风格标签分布这会直接决定三问能做到什么程度。文件2.csv可视化结果文件5.csv可视化结果文件6.csv可视化结果1.1. 现在有哪些数据各自扮演什么角色我们目前看到的是1.csv每款啤酒的化合物和理化特征作为模型输入记作X XX。4.csv这批啤酒的 50 个连续感官指标作为模型的训练目标记作Y YY。这些不是 0–6 分而是连续值。3.xlsx空白评分卡列出感官维度、描述和 0–6 评分栏。它能告诉我们“要评什么、分数怎么填”但没有实际填好的样本评分。因此问题 1 不是直接从空白卡读出答案而是尝试用1.csv的化合物特征预测4.csv的感官值再把预测结果转成评分卡需要的形式。当前的指标表显示了 50 个维度的交叉验证结果。1.2. 数据1.csv预处理数据长度为 250 行234 列。去掉前三列beer, beer_id, tasting_category_fine和五个属性后刚好剩下题目所表述的 226 种不同的化学特性。五个属性如下热量值kcalperc总酸acids_sum总酯esters_sum酒花香气aroma_hops_sum硫化合物sulfur_sum但部分数据有缺失是否需要补偿采用哪种种方式进行补偿观察数据还发现有些指标出现大量相同值它可能是低于检测限的替代值但需要结合具体字段化学意义常见数值范围和单位进行判断。同时注意考虑变形范围及常见数值范围的对数范围因为不确定待验证化合物是否进行了对数变换。1.3. 数据4.csv预处理数据长度为 250 行53 列。去掉前三列beer, beer_id, tasting_category_fine后刚好对应 50 个感官维度。审查后发现数据很完整没有缺失。1.4. 模型到底学了什么拿alcohol维度举例。4.csv给每款啤酒一个连续值模型会从1.csv中寻找这样的关系哪些化合物或理化特征变化时4.csv 中的 alcohol 感官值也倾向于变化模型拟合出一个映射X ⟶ Y ^ X \longrightarrow \widehat{Y}X⟶Y其中X XX是化合物特征Y ^ \widehat{Y}Y是模型预测的连续感官值。模型可以选择Ridge 回归。它给每个特征分配一个系数同时对过大的系数作惩罚。这样做是因为化合物特征很多、样本只有 250 款而且一些化合物可能彼此相关普通多元线性回归在这种情况下容易把系数拟合得不稳定。PLS 回归。与主成分回归有关系但不是寻找响应和独立变量之间最小方差的超平面而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。树模型等。1.5. 为什么要做五折交叉验证如果拿全部 250 款啤酒训练模型再让模型预测这同一批啤酒模型可能只是记住了训练数据效果看起来会偏好。五折交叉验证会把样本分成五份重复五次每次用其中四份训练用剩下的一份预测轮换到每款啤酒都当过一次“未参与训练的测试样本”。于是每款啤酒都有一个交叉验证预测值也叫样本外预测。它比训练集上的拟合值更适合评估模型在新样本上的表现。1.6. 预测的是连续值之后分档 0–64.csv 的目标是连续值评分卡要求 0–6 档所以代码对每个维度的 250 个预测值排序再按相对排名分成 7 档最低的一档记 0再往上记 1依次到最高一档记 6。这会生成一张 0–6 表但它表达的是这款啤酒在这批 250 款啤酒中某项感官预测相对较弱还是较强。它不是品评员实际给某款啤酒打了 4 分也不代表“4 分在绝对意义上对应某个固定香气强度”。因为我们没有已填写的 0–6 评分卡也没有从连续感官值到人工分档的校准数据。简单举例某维度上 250 款啤酒的预测值排第 230 名代码就会把它分到较高档。但这只能说明它在样本群体中偏高不能证明评分员一定会给它 5 分。1.7. 模型评价指标评价指标的选择很大程度上影响模型的作用和质量。Spearman 相关性。它看的是排序是否一致真实连续感官值高的啤酒模型预测值是否也通常较高。等级准确率。它比较模型的 0–6 相对分档和 4.csv 连续感官值分档后是否落在同一档。它不能告诉我们绝对分数是否正确只能衡量相对分档的一致程度。加权 Kappa。它会考虑分错几档。例如把 4 预测成 5通常比把 4 预测成 0 惩罚轻。它补充了准确率但仍然是在比较我们构造的相对档位不是与人工 0–6 真值比较。当前可以确定的是这批 250 个样本中有些感官维度能被化合物特征较好地排序预测。有些维度与当前化合物输入的关系较弱模型不太能预测。由预测排名生成的 0–6 分可以复现但目前只能解释为相对等级。我们还没有证据证明这些等级和品评员按空白卡真实打出的 0–6 分相符。因此论文里应把“模型预测的相对评分”和“人工实测的绝对评分”分开写。
阅读完成 · 觉得有帮助？
