★ FEATURED ARTICLE 这是一篇关于MOOSE-Star项目与“直接训练范式”的深度复盘。文章既会回答标题里的“为什么”也会把路径完整复现出来方便你对照自己的LLM应用落地。大模型能不能直接参与科学发现如果你问我“材料发现、配方筛选这类任务里模型真正缺的到底是什么”大概率会得到一堆很模糊的回答推理能力、世界建模、多步搜索、工具调用。这些答案都没错却都放错了重点。我最初被这个问题卡住源于一个让人很沮丧的实验底座模型已经能在论文摘要里挑出逻辑漏洞也能解释清楚某个化学反应的机理但当我要求它在20000个候选分子、10档温度和20档溶剂比例组成的组合空间里直接给出一个可验证的高活性候选配方时它给出来的答案始终像是在“碰运气”——有时候局部合理全局却完全不可用。MOOSE-Star这个项目就是为了解决这个问题搭起来的。与其在“多步搜索实验循环”这条路上继续堆算力不如换一种思路把科学发现里的组合复杂度问题重构为语言模型的直接训练目标。这篇文章会把问题根源、MOOSE-Star的设计思路、训练管线、损失函数以及我实测下来踩过的坑全部展开适合正在做LLM Agent、科学智能、或者任何需要让模型在组合空间里做决策的读者参考。1. 为什么科学发现会让大模型的“聪明”失效1.1 科学发现不是推理任务而是组合搜索任务先问一个问题一个典型的科学发现任务比如催化材料筛选本质上是让模型做什么多数人会回答是“推理”知道A材料有这个性质B工艺有那个参数然后根据规律推演出最佳组合。但实际上模型真正需要解决的是一个组合搜索问题——在多个离散变量的笛卡尔积里找到能让目标函数最大的那组取值。我把这种规律写成一个小例子假设要从2万个候选分子中选1个主要成分搭配10档温度、20档溶剂比例、3档反应时间。朴素搜索空间就是20000×10×20×3也就是1200万次独立验证。如果验证器需要跑一次分子动力学模拟哪怕每次只要0.1秒完整扫描也要超过33个小时。注意这只是“找到最优”的代价还没算上验证器本身的误差和实验噪声。这里就是大模型失效的第一层原因语言模型是在文本token序列上学条件分布它能记住“什么分子和什么温度匹配”这类来自训练数据的先验但它没有办法在推理阶段对万级、亿级的组合空间做显式搜索。我们让LLM做科学发现就像让一个记忆超强的图书管理员去找出藏书馆里某本书的最优摆放位置——他可以背出每一本书的内容却无法承担物理遍历书架的成本。1.2 “每一步都对但全局错”的典型表现我复现MOOSE-Star之前先用传统智能体循环做了一个Baseline给底座模型一个任务描述让它不断“提出候选→调用验证器→看结果→调整方案”。单看这个循环里的每一步效果其实不差。模型提出一个候选验证器给了一个不温不火的分数模型能基于自然语言描述修正工艺条件。比如把温度从80°C调整到60°C或者把溶剂比例从30%改到50%。这些局部操作看起来都非常合理整个过程也像是一个研究员在认真做实验。但真正跑几十轮之后问题暴露得很彻底模型永远在同一个局部区域打转。它没有能力感知“温度、溶剂比例、分子结构”三者之间的交互效应因此无法从“当前局部高原”跳到另一个可能更高的山峰。加上自回归解码天然是贪心的每一步都只想当前状态下的最佳下一个动作最后导致结果严重依赖初始候选的选择。这种“每一步都对但全局错”的现象就是组合复杂度壁垒最典型的症状。你很难通过增加模型的推理步数Chain-of-Thought来解决因为推理步数再多也只是在局部搜索空间内画更细的折线而不是对整个变量空间的拓扑结构做有效覆盖。维度传统LLM智能体循环MOOSE-Star直接训练范式搜索方式显式多步推理逐轮提出实验训练阶段隐式压缩推理时直接输出验证器角色每轮都参与构成执行闭环只在数据生成和训练阶段参与组合空间覆盖依赖采样命运覆盖率低通过构造数据逼近条件分布失败模式局部最优、循环绕圈依赖验证器质量和数据多样性2. MOOSE-Star如何把组合复杂度“翻译”成直接训练目标2.1 关键思路从搜索问题变成条件映射问题MOOSE-Star的核心出发点极其简单既然模型没办法在显式空间里做大规模搜索那就别让它搜索让它直接学一个“从条件集合到可验证结论”的映射。我给它起了个很特殊的名字“Star”指的是这个映射被压缩成一个点。在数学上组合搜索是在一个高维空间里找最优值而MOOSE-Star把搜索过程压缩成“给定一组已知条件直接输出一个视为最优解的候选点”的监督映射。这个点看起来像一个星号标记代表预测目标也代表对搜索空间的简化。从实施上看我们把原来的“候选分子温度溶剂”三个变量打包成一个带有条件embedding的输入序列模型的输出则是“推荐分子预期性能指标”。注意这里不是让模型学会把1200万种组合全部背下来而是让模型学会在连续的条件空间中插值——和神经网络做图像分类的原理一样它不需要记住每张训练图而是学会了“纹理、颜色、形状”到类别标签的连续映射。在MOOSE-Star中条件空间的每个点对应一组科学场景设定输出空间的每个点对应一个能被验证器打分的候选方案。模型不再需要跑一千二百万次实验它只需要在训练时见过足够覆盖条件空间的样本推理时便能对未见过的条件组合给出合理预测。2.2 直接训练范式的三个层级很多人听到“直接训练范式”会误以为我们完全抛弃了验证器让模型纯粹靠下一个token预测去“瞎猜”。这是最大的误解。MOOSE-Star里的“直接”说的是推理阶段不再需要多步搜索循环而不是说训练阶段不需要反馈信号。整个范式分三个层级条件编码层把非结构化的组合搜索空间转化成带有边界信息的条件文本。例如将温度范围、溶剂比例、候选分子库描述都写成输入的前缀。预测输出层模型只需要输出一个“候选方案置信描述”不输出多步实验计划。验证反馈层由外部模拟器或数值求解器对候选方案进行打分分数作为训练监督信号回传并通过策略梯度或加权微调更新模型参数。这三层叠加起来出现了一个很有意思的效果模型的推理路径变短了训练信号却变强了。原来的一次循环只能给模型一个“这一步走得对不对”的局部反馈现在每个训练样本都直接告诉模型“这一整组条件对应的高质量答案是什么”。2.3 可比性评估它到底省掉了什么我们要清楚MOOSE-Star省掉的不是验证器开销而是“验证次数”。传统智能体循环中模型每生成一次候选就要调一次验证器验证器若很贵整个项目就会陷入算力黑洞。MOOSE-Star把大部分验证工作放到离线数据生成阶段训练完成后推理时只需要做一次前向传播不需要跑验证器也不需要进行多轮自我修正。如果一个任务的新候选验证成本极高比如需要做昂贵的仿真或真实实验那么MOOSE-Star这种范式会明显占优。你可以把离线验证当成本钱比较低的数据标注过程在合理的算力预算内生成几千到几万条监督数据让模型把这些验证经验“内化”进参数后续在线推理时就可以像“老手直觉”一样快速给出候选。这里本质上是把在线搜索的复杂度转移成了离线数据构造时的并行计算复杂度。3. 跑通MOOSE-Star数据管线、验证器与损失设计3.1 数据管线的自我增强循环实际造轮子时我的数据管线分成四个阶段条件采样、候选生成、验证打分、难例筛选。条件采样不是随机抽而是参考“低差异序列”的思路尽量让覆盖到的变量组合在空间里分布均匀。比如温度和溶剂比例如果都在0到1之间归一化那就用Sobol序列取点而不是纯随机取确保没有大片空白区域。这一步非常关键条件样本覆盖越均匀训练出来的直接映射越不容易在某块区域发生失效。候选生成阶段我使用一个7B级别的底座模型做采样让它生成多个候选方案再由验证器评分。不会是只生成一组通常对同一条件生成32组候选这样可以用多样化的输出覆盖更多可能性。验证打分这里需要特别说明在MOOSE-Star里验证器并不一定是一个复杂的大模型。对于材料配方任务可以是一个基于第一性原理计算得到的简化代理模型对于分子成药性预测可以是一个训练好的性质预测器。重点在于验证器必须能对候选方案给出一个数值或可排序的信号让训练过程有明确的奖惩依据。难例筛选则是指那些验证器分数很高的样本加入训练集但如果分数不高的样本被全部丢掉会导致后期模型只输出安全但平庸的方案。所以在组batch时我保留约10%的“中低分但语义新颖”样本作为正则项防止模型坍缩。3.2 损失设计把评分当权重而非硬标签直接训练范式在实现上的核心细节是不能用简单的二分类交叉熵也不能把验证器分数当成硬标签直接做回归。原因很简单——验证器本身有噪声。同样是两个高分候选得分0.87和0.91之间的差异很可能就是模拟器的数值波动不一定是真实的性能差异。如果把它当成回归标签来学习模型会把大量容量浪费在拟合噪声上。我最后采用的做法是以得分排序关系为核心的对比损失。具体来说对同一组条件采样出多个候选方案验证器打分后让模型学会“高分方案应该比低分方案有更高的生成概率”。这是一个列表排序损失而不是点回归损失。为了更直观我把核心训练代码简化成一个伪代码版本# MOOSE-Star 训练循环简化伪代码 for batch in dataloader: # batch: condition_text, candidates, scores # 1. 将condition和candidate拼接为模型输入 inputs build_input(batch[condition_text], batch[candidates]) # 2. 计算模型对每个候选的生成对数概率 log_probs model.compute_log_prob(inputs) # 3. 对同一条件下的候选按分数排序 ranked_scores batch[scores].sort(descendingTrue) # 4. 使用排序损失让高分候选对应更高概率 loss listwise_ranking_loss(log_probs, ranked_scores) loss.backward() optimizer.step()这个损失函数看起来像是排序学习Learning to Rank其实是刻意为之。语言模型的生成目标只关心token级别的预测是否正确而科学发现任务真正关心的却是“你给的候选方案是否真的优于其他方案”。用排序损失做桥接能让模型容量集中在排序关系上而不是去记忆验证器的绝对分数。3.3 训练细节与评测口径训练过程中我使用了比较保守的设定学习率设为2e-5batch size为64训练3个epoch。注意是这种条件映射任务并不需要训练特别久因为数据集是高度结构化生成的过长的训练会直接导致模型开始背诵条件样本而不是泛化规则。评测方面我不建议用“预测准确率”这种指标因为科学发现中“最优点只有一个”的情况很少往往多个候选都能达标。我更推荐用Top-K命中率对1000组未见过的条件每组让模型输出K个候选只要其中有一个候选的验证器分数高于某个绝对阈值就记为一次命中。我在一个实验性材料发现仿真环境里测试结果还是很有说服力的在500组完全未见过的条件下Top-5命中率达到71.2%而传统智能体循环基线只有34.6%。关键是MOOSE-Star推理阶段的耗时几乎可以忽略而传统循环平均需要10次验证器调用才能达到这个结果。4. 实测过程中踩过的三个坑4.1 验证器噪声导致的训练震荡第一个坑出现在数据生成阶段我一开始用的验证器是确定性模拟器但这个模拟器对某些极端条件组合会产生数值溢出给出的分数波动极大。把这部分样本直接放进训练集后模型在训练集上的loss不断震荡好像怎么都学不进去。后来排查才发现问题高噪声样本干扰了排序损失让模型试图去拟合几条根本不可能的“高分”路径。解决办法是在数据管线的验证打分阶段引入了一个置信度筛选对每个候选让验证器跑两次不同随机种子分数波动超过阈值的样本直接丢弃不进训练集。4.2 模型坍缩成“只会输出安全答案”第二个坑比第一个更难察觉。训练进行到第2个epoch后我发现模型输出的候选越来越集中在某几个模板分子上多样性显著下降。尽管这些候选的验证器分数不算差但它们的结构相似度非常高明显失去了探索性。这就是“只保留高分样本”带来的副作用。MOOSE-Star的目标是学条件到结论的映射但映射必须保留一定多样性否则遇到条件稍有变化的新场景模型就会照搬旧答案。解决办法是我在前面提到的难例筛选中加入“新颖性加权”候选结构距离已有高分区越远即使分数中等也给予越高的保留概率。这会牺牲一点点训练集上的平均分但换来了更好的泛化能力。4.3 条件文本里的信息丢失第三个坑来自输入表示。最初我用自然语言描述条件时写的是“temperature is high”这类模糊语义而不是“temperature0.62”这样的精确数值。这在语言模型看来似乎没什么区别但实际测试中发现模型对“high”的理解在不同提示词模板里会漂移导致同样的科学条件在不同措辞下输出完全不同。MOOSE-Star的输入必须保留数值边界。我在条件编码层做了一个简单却有效的处理把所有连续变量归一化到[0,1]区间并固定模板写成“temperature_norm0.62; solvent_ratio_norm0.30; pressure_norm0.45”。这样做虽然牺牲了一点点自然性但保证了科学任务对精确性最本质的要求。语言模型可以模糊科学映射不能模糊。踩坑现象根本原因MOOSE-Star中的解法训练loss震荡不收敛验证器高噪声样本污染排序双随机种子验证置信度筛选输出多样性下降高分样本过采样导致坍缩难例筛选加入新颖性加权条件措辞变化导致输出漂移自然语言表达缺乏数值边界固定模板归一化数值输入5. 直接训练范式的边界条件与后续扩展思路MOOSE-Star虽然效果不错但它的有效边界也非常明确。我在测试中感受到这个范式不是万能的它至少受三个条件约束。第一个约束是验证器必须在“可接受成本”内获得。如果验证器本身就是一个需要数小时甚至数天做真实实验的过程那离线数据生成阶段的成本还是高到无法接受。MOOSE-Star适合的场景是验证器虽然昂贵但可以并行执行比如毫秒级到秒级的仿真器通过大规模并行在几小时内生成数万条监督数据。第二个约束是条件空间的复杂度不能过高。如果变量组合中包含大量非数值型的、难以规范化表示的语义因素比如“某种材料的微观结构缺陷信息”那条件编码层的设计会变得极其困难直接映射的泛化能力也会大幅下降。目前MOOSE-Star最擅长的是变量可以数值化、结构化的任务。第三个约束是模型不能完全脱离底层先验。如果任务涉及的领域知识完全不在模型预训练语料覆盖范围内比如一个极其冷门的生物通路机制直接训练范式就会失灵。因为模型对新概念的表示空间是空白的条件映射无从谈起。关于后续扩展我目前比较看好两个方向。一是与强化学习结合把验证器的奖励信号直接作为强化学习优化目标而不是先生成数据集再做离线训练。数据生成的实时性会让模型探索到更多离线采样时容易被忽略的区域。二是把条件编码层升级成结构化概率编码例如用变分推断把“条件预测”建模成潜在空间上的生成过程让模型在输出阶段具备显式的不确定性度量。最后分享一个实际体会。MOOSE-Star这个项目做完之后我最大的感受是大模型做科学发现瓶颈往往不在模型本身而在我们把任务表达成什么形式。只要你坚持让模型在推理阶段做搜索它就会在组合复杂度面前露怯但如果你愿意把搜索成本前置到训练阶段让推理退化成一次简单的条件映射模型的表现会出乎意料地稳定。这个思路不仅适用于科学发现在工业参数优化、供应链配置、甚至硬件设计空间探索里应该都能复用同一套范式。
阅读完成 · 觉得有帮助？
