★ FEATURED ARTICLE 1. 从“AI有没有品味”这个问题说起第一次看到“TasteVal: Does AI have research taste?”这个标题我脑子里蹦出来的不是学术定义而是一个很具体的场景你让一个模型帮你选研究方向它给你列了五个题目其中三个是“基于Transformer的XX改进”两个是“用强化学习做XX优化”。你问它为什么选这些它说“因为这些方向热度高、引用多、容易发”。这时候你心里大概会冒出一句话——这东西没品味。“研究品味”这个词在学术圈里是个很微妙的东西。它不是指你会不会做实验、会不会推公式而是指你在面对一堆看起来都可行的方向时能不能判断出哪个方向“值得做”。这个判断往往没有明确的对错但几年后回头看高下立判。有人把它叫做“学术直觉”有人叫“问题感”本质上都是同一种能力在信息不完整、反馈周期极长的情况下做出高质量的科研决策。TasteVal这个项目想做的事情就是把这个模糊的概念变成一个可以量化的评测基准。它要回答的核心问题是当前的AI模型尤其是大语言模型在科研场景下到底有没有“品味”如果有体现在哪些维度如果没有差在哪里这个问题之所以值得认真对待是因为现在越来越多的科研工作流开始引入AI。从文献调研、假设生成、实验设计到结果分析AI参与的程度越来越深。但大多数评测基准关注的是“AI能不能做对题”比如数学推理、代码生成、知识问答。这些评测有一个共同特点有标准答案。而科研品味恰恰是在没有标准答案的地方体现出来的。所以TasteVal的定位很明确它不是一个考“知识”的基准而是一个考“判断”的基准。它要测的是模型在面对开放性科研决策时能不能做出让资深研究者认可的选择。这个定位决定了它的设计难度远高于常规benchmark因为“让资深研究者认可”这件事本身就很难标准化。我之所以对这个项目感兴趣是因为它触及了一个被很多人忽略的问题我们一直在讨论AI能不能做科研但很少讨论AI做科研的“质量”到底如何。一个模型能生成一百个假设其中有一个是对的这算有科研能力吗可能算。但这算有科研品味吗大概率不算。品味体现在它能不能把那个对的假设排在前面能不能在资源有限的情况下优先做最有价值的事。TasteVal试图把这种区分变成可测量的东西。它的价值不在于给出一个“AI有没有品味”的二元答案而在于提供一套框架让我们可以讨论“AI在哪些科研决策维度上表现好哪些维度上表现差”。这对于做AI for Science、做科研自动化、做智能体辅助研究的人来说是一个很实际的参考。2. 研究品味到底能不能被评测2.1 为什么常规benchmark测不了科研品味常规的AI评测基准无论是MMLU、GSM8K还是HumanEval底层逻辑都是“有标准答案的题目”。你答对了得分答错了扣分最后算一个准确率。这套逻辑在知识问答和技能测试上很有效但放到科研品味上就完全失效了。原因很简单科研品味的核心场景是“没有标准答案的选择”。比如给你三个研究方向问你哪个最值得投入。这个问题没有客观正确答案只有“事后被证明是对的”和“事后被证明是错的”。而且这个“事后”可能是三年五年之后。你不可能等五年再来评测模型。更麻烦的是科研品味还涉及“问题定义”这个层面。一个高品味的研究者往往不是解决了某个已知问题而是重新定义了一个问题。爱因斯坦把“以太是否存在”重新定义为“光速是否恒定”这就是品味。这种能力怎么评测你没法给“重新定义问题”设一个标准答案。所以TasteVal要做的第一件事就是找到一种方式把“没有标准答案的科研决策”转化成“可以比较的评测任务”。这个转化过程本身就是这个项目最有价值的部分之一。2.2 TasteVal的评测维度拆解根据我对这类项目的理解以及从标题和关键词中能推断出的信息TasteVal大概率会从以下几个维度来构建评测任务方向选择品味给模型一组候选研究方向让它排序或选择。评测标准不是“选得对不对”而是“选得是否和资深研究者一致”。这里的关键是候选方向的设计不能有明显的优劣之分否则就变成了知识题。假设生成品味让模型针对一个具体问题生成若干假设然后评测这些假设的“可检验性”“新颖性”“影响力潜力”。这三个维度都需要专家标注所以成本很高。实验设计品味给定一个假设让模型设计实验方案。评测点包括实验是否可控、变量是否清晰、资源需求是否合理、是否有更简洁的验证路径。结果解读品味给模型一组实验数据可能是真实的也可能是构造的让它判断结果是否支持假设、是否有其他解释、下一步该做什么。这个维度最接近真实科研场景。资源分配品味给定有限的计算资源比如100张H100的机时让模型决定怎么分配到不同的实验上。这个维度直接对应关键词里的“H100”说明TasteVal很可能把算力约束作为评测的一部分。这五个维度不是孤立的它们之间有很强的关联。一个在方向选择上有品味的模型通常在假设生成上也不会太差。但反过来不一定成立有些模型能生成很好的假设但方向选择一塌糊涂。2.3 评测的“金标准”从哪来这是TasteVal最核心的难点你怎么知道模型的选择是“有品味”的常规做法是找一批资深研究者来做标注让他们对模型的输出进行评分。但这里有几个问题第一资深研究者的时间很贵不可能大规模标注第二不同研究者的品味本身就不一样你很难说谁的标准更对第三标注一致性可能很低尤其是涉及“新颖性”这种主观维度。我推测TasteVal可能采用了以下几种策略的组合策略一事后验证。选取一些已经发生过的科研决策案例比如某个领域在某个时间点面临的方向选择然后看模型的选择是否和后来实际发生的高影响力工作一致。这种方法的优点是客观缺点是样本量有限而且存在“后见之明”偏差。策略二专家共识。找一批研究者对同一组输出进行评分然后取共识部分作为金标准。分歧大的样本直接剔除。这种方法能保证质量但成本高、样本少。策略三对抗验证。让模型和模型之间进行对比比如让两个模型分别给出科研决策然后让另一个模型或人类来判断哪个更好。这种方法可以大规模做但需要解决“评判者本身有没有品味”的问题。策略四下游任务验证。把模型的科研决策放到一个模拟的科研环境中执行看最终产出的质量。比如让模型选择研究方向然后按照这个方向做一轮文献调研和假设生成最后评估整体产出。这种方法最接近真实场景但实现复杂度最高。不管用哪种策略TasteVal都需要解决一个根本问题科研品味的评测本质上是一个“主观判断的标准化”问题。它不可能做到像数学题那样精确但可以通过精心设计的任务和严格的标注流程把噪声控制在一个可接受的范围内。3. 从H100关键词看算力约束下的科研决策3.1 为什么算力约束是科研品味的一部分关键词里出现“H100”不是偶然的。在当前的大模型研究环境下算力是最稀缺的资源之一。一个研究者有没有品味很大程度上体现在他能不能在有限的算力下做出有价值的工作。我见过太多这样的情况一个团队拿到100张H100第一反应是“赶紧跑一个大模型”结果跑了三个月发现效果不如预期算力也烧完了。另一个团队同样拿到100张H100先花两周做小规模实验验证假设然后集中算力做一个关键实验最后出了高质量成果。这两者的差距就是科研品味。TasteVal把算力约束纳入评测说明它想测的不是“模型在无限资源下能不能做出好决策”而是“模型在真实资源约束下能不能做出好决策”。这个设定更贴近实际也更有参考价值。3.2 算力分配任务的评测设计如果让我来设计TasteVal的算力分配评测任务我会这样做给模型一个具体的科研场景比如“你有一个新的注意力机制想法需要在100张H100上验证”。然后给出一组可选的实验方案每个方案有不同的算力需求、预期信息增益、失败风险。模型需要决定怎么分配这100张H100的机时。评测点包括是否优先做了“信息增益最高”的实验而不是“最容易做”的实验是否预留了足够的算力用于失败后的调整是否在早期阶段用了小规模实验来验证假设而不是一上来就全量跑是否考虑了实验之间的依赖关系比如某些实验必须在其他实验成功后才能做这些评测点看起来简单但实际做起来很难。我见过很多人类研究者都会犯的错误把算力平均分配到多个方向上结果每个方向都做不深或者把所有算力押在一个高风险假设上失败了就什么都没有。3.3 算力约束下的常见决策陷阱从我个人经验来看算力约束下的科研决策有几个典型陷阱陷阱一算力换确定性。有些研究者为了追求“确定性”会把大量算力花在调参和重复实验上而不是探索新方向。这种做法在短期内能产出“稳”的结果但长期来看缺乏突破性。陷阱二算力分散。把算力分散到太多方向上每个方向都只做了一点点最后哪个方向都没有足够的证据支持。这种做法看起来很“全面”实际上是没有品味的表现。陷阱三忽视小规模验证。直接上大规模实验不做小规模预实验。这种做法一旦假设有问题损失会非常大。有品味的研究者通常会先用小规模实验快速验证核心假设确认可行后再放大。陷阱四不做失败预案。把所有算力押在一个假设上没有预留调整空间。科研的本质是不确定性有品味的研究者会为失败留出余地。TasteVal如果能把这些问题设计成评测任务那它对AI科研能力的评估就会非常有针对性。一个模型如果在这些任务上表现好说明它在算力约束下的科研决策是有品味的。4. 多AI协作场景下的科研品味评测4.1 为什么多AI协作会放大品味问题现在越来越多的科研工作流开始引入多个AI智能体协作。比如一个智能体负责文献调研一个负责假设生成一个负责实验设计一个负责结果分析。这种多AI协作的模式看起来很美好但实际上会放大品味问题。原因很简单单个AI的品味问题可能被人类的判断所弥补但多AI协作时如果每个智能体都没有品味那整个系统的输出就会是一堆“看起来合理但实际没有价值”的东西。更糟糕的是智能体之间可能会互相强化错误的判断形成一种“回音室效应”。我试过用多个AI智能体做文献调研和假设生成发现一个很典型的问题智能体A生成了一批假设智能体B对这些假设进行“评估”但智能体B的评估标准是“这些假设是否和已有文献一致”而不是“这些假设是否有价值”。结果就是所有新颖的假设都被过滤掉了剩下的都是“安全但平庸”的假设。这就是品味问题的放大单个AI可能只是“不够好”但多AI协作时如果没有品味作为引导整个系统会系统性地偏向平庸。4.2 TasteVal在多AI协作场景下的评测思路TasteVal如果要评测多AI协作场景下的科研品味需要设计一些特殊的任务任务一智能体分工的合理性。给模型一组智能体角色文献调研、假设生成、实验设计、结果分析让它决定怎么分配任务和资源。评测点是分工是否合理、是否有冗余、是否有遗漏。任务二智能体之间的信息传递。让多个智能体协作完成一个科研任务但限制它们之间的通信带宽。评测点是模型是否能在有限通信下传递最关键的信息而不是把所有细节都传过去。任务三冲突解决。让两个智能体对同一个科研问题给出不同的判断然后让第三个智能体来决定采纳哪个。评测点是模型是否能识别出哪个判断更有品味而不是简单地“少数服从多数”或“取平均”。任务四品味传递。让一个“高品味”的智能体和一个“低品味”的智能体协作看高品味智能体是否能影响低品味智能体的判断。这个任务最难但也最有价值。这些任务的设计核心是多AI协作不是简单的“112”而是可能产生“111”的效果。TasteVal要测的就是在什么条件下多AI协作能提升科研品味在什么条件下会降低。4.3 多AI协作的实操避坑经验从我个人实操经验来看多AI协作做科研时有几个坑一定要避开坑一不要让所有智能体都用同一个模型。如果所有智能体都是同一个模型它们的偏见会高度一致协作就变成了“自己和自己商量”。最好用不同架构、不同训练数据的模型让它们之间有真正的差异。坑二不要让智能体直接投票。投票机制会系统性地偏向“多数意见”而科研品味往往在少数意见里。更好的做法是让一个“裁判”智能体来评估不同意见的质量而不是简单投票。坑三不要忽视智能体之间的通信成本。多AI协作的一个隐性成本是通信。如果智能体之间需要传递大量信息那协作的效率会很低。有品味的设计是让每个智能体只传递“决策所需的最小信息”。坑四不要忘记人类在回路中。多AI协作不意味着人类可以完全放手。至少在关键决策点上人类的品味判断仍然是不可替代的。TasteVal如果只测AI之间的协作而不考虑人类在回路中的角色那评测结果可能会偏离实际。5. 科研品味评测的实操流程与参数设计5.1 评测任务的设计流程如果要复现一个类似TasteVal的科研品味评测我建议按照以下流程来设计任务第一步确定评测维度。根据你的目标场景选择3-5个核心维度。不要贪多维度太多会导致评测成本急剧上升。我建议从“方向选择”和“实验设计”这两个维度开始因为它们最接近真实科研决策。第二步构建候选集。为每个维度构建一组候选选项。候选集的设计是关键选项之间不能有明显的优劣之分否则就变成了知识题。同时选项要覆盖不同的“品味层次”比如有的选项是“安全但平庸”有的是“高风险高回报”有的是“新颖但不可行”。第三步专家标注。找3-5位资深研究者对候选集进行标注。标注内容包括每个选项的品味评分1-5分、选择理由、不确定性程度。标注过程中要记录分歧点分歧大的样本要么剔除要么单独分析。第四步设计评测指标。不要只用“准确率”这一个指标。我建议用以下几个指标组合一致性模型选择与专家共识的匹配程度区分度模型能否区分高品味和低品味选项稳定性同一任务多次运行时模型选择的一致性解释质量模型给出的选择理由是否合理第五步基线测试。在正式评测AI之前先让一组人类研究者做同样的任务作为基线。这能帮你判断任务难度是否合适以及AI的表现到底处于什么水平。5.2 关键参数的计算与选择在TasteVal这类评测中有几个关键参数需要仔细设计样本量每个维度至少需要50-100个任务样本才能保证统计显著性。如果样本太少评测结果的置信区间会很宽无法区分不同模型的表现。专家数量每个任务至少需要3位专家标注。如果只有1-2位标注结果的可靠性会很低。3-5位是比较合理的范围既能保证可靠性又不会成本过高。一致性阈值专家之间的一致性用Krippendorff‘s alpha来衡量。alpha大于0.6说明一致性可接受大于0.8说明一致性很好。如果alpha低于0.6说明任务设计有问题需要重新调整。评分尺度建议用5分制而不是10分制。10分制看起来更精细但实际上专家很难区分7分和8分的差别。5分制1很差2较差3一般4较好5很好更实用。任务时长每个任务的设计应该让专家在5-10分钟内完成。如果任务太复杂专家会疲劳标注质量会下降。如果任务太简单又测不出品味差异。5.3 评测执行的实操记录假设你现在要跑一轮TasteVal评测以下是我建议的实操步骤准备阶段# 创建工作目录 mkdir tasteval_eval cd tasteval_eval # 准备任务数据 # tasks.json 包含所有评测任务 # experts.json 包含专家信息 # models.json 包含待评测模型列表数据格式示例{ task_id: direction_selection_001, dimension: direction_selection, context: 你是一个AI研究者正在选择下一个研究方向。, candidates: [ {id: A, description: 基于Transformer的改进, expert_score: 3.2}, {id: B, description: 全新的架构设计, expert_score: 4.5}, {id: C, description: 现有方法的组合优化, expert_score: 2.8} ], expert_consensus: B, expert_agreement: 0.72 }执行阶段对每个任务让模型生成选择结果和理由记录模型的原始输出不要做任何后处理对每个任务运行3次检查模型的一致性如果模型输出格式不符合要求记录为“格式错误”不要强行解析分析阶段计算模型选择与专家共识的一致性计算模型在不同维度上的表现差异分析模型给出的理由质量对比不同模型的表现找出差异点5.4 评测中的注意事项注意科研品味评测最大的风险是“专家偏见”。如果专家团队本身品味不够高那评测结果就会把AI引导到错误的方向。所以专家选择比任务设计更重要。注意不要用“引用数”或“发表期刊”作为品味的唯一标准。这些东西有滞后性而且受很多非品味因素影响。真正的品味体现在“选择的质量”而不是“结果的产出”。注意评测结果不要只看平均值。平均值会掩盖很多信息。要看分布、看方差、看极端案例。一个模型可能在80%的任务上表现平庸但在20%的任务上表现极好这种模型可能比一个在所有任务上都表现中等的模型更有价值。6. 常见问题与排查技巧实录6.1 评测任务设计中的典型问题问题一任务太简单所有模型都能做对。这说明任务没有区分度。解决方法是增加任务的模糊性让选项之间的差异更微妙。比如把“选择研究方向”改成“在资源有限的情况下选择先做哪个方向”。问题二任务太难所有模型都做不对。这说明任务超出了当前模型的能力范围。解决方法是降低任务复杂度或者把任务拆解成多个子任务。比如把“设计完整实验方案”拆解成“选择实验变量”和“确定样本量”两个子任务。问题三专家标注一致性太低。这说明任务本身有歧义或者专家之间的品味差异太大。解决方法是重新设计任务让选项之间的差异更明确。如果还是不行就只保留一致性高的样本。问题四模型输出格式不稳定。这说明模型的指令遵循能力不够。解决方法是在prompt中给出更明确的格式要求或者在评测前先做一轮格式微调。6.2 评测结果分析中的常见陷阱陷阱一只看准确率。准确率只能告诉你模型选对了多少不能告诉你模型为什么选对。一个模型可能因为“运气好”而选对另一个模型可能因为“真正有品味”而选对。这两者的区别很重要。陷阱二忽视模型的不确定性。有些模型在不确定的时候会随机选一个有些模型会给出“我不确定”的信号。后者其实更有价值因为它知道自己不知道。评测时应该把“不确定性表达”作为一个正面指标。陷阱三用同一个模型做裁判。如果你用GPT-4来评测GPT-4的输出结果会有偏差。最好用多个不同的模型做裁判然后取共识。陷阱四忽视任务之间的相关性。有些任务之间高度相关比如“方向选择”和“假设生成”。如果模型在一个任务上表现好在另一个任务上大概率也会表现好。分析时要注意这种相关性不要把它当成两个独立的证据。6.3 常见问题速查表问题类型典型表现排查思路解决方法任务无区分度所有模型得分接近检查选项差异是否太小增加选项的模糊性专家一致性低alpha 0.6检查任务是否有歧义重新设计任务或剔除样本模型输出格式错误无法解析模型输出检查prompt格式要求增加格式示例和约束评测结果不稳定多次运行结果差异大检查模型温度参数降低温度或增加运行次数模型表现异常好得分远超预期检查是否有数据泄露确保任务与训练数据无重叠模型表现异常差得分远低于预期检查任务是否超出能力降低任务难度或换模型6.4 独家避坑技巧技巧一用“对抗样本”测试模型的品味。设计一些“看起来很好但实际上很差”的选项看模型能不能识别出来。比如一个研究方向听起来很新颖但实际上不可行。有品味的模型应该能识别出这种陷阱。技巧二让模型解释“为什么不选”。很多时候模型选择什么不重要重要的是它能不能说清楚为什么不选其他选项。一个能清晰解释“为什么不选”的模型通常比一个只说“我选这个”的模型更有品味。技巧三用“时间压力”测试模型的决策质量。给模型一个时间限制看它在压力下能不能做出高质量决策。有品味的研究者在时间压力下也能做出不错的判断而没品味的模型会随机选一个。技巧四用“资源约束”测试模型的优先级判断。给模型一个资源极度受限的场景看它能不能识别出“最重要的事”。这个技巧特别适合测试算力分配品味。技巧五用“跨领域迁移”测试模型的品味泛化能力。让模型在一个领域做科研决策然后看它能不能把这种品味迁移到另一个领域。有品味的模型应该有一定的泛化能力而不是只在一个领域表现好。7. 我对AI科研品味这件事的真实看法说实话我对“AI有没有科研品味”这个问题持谨慎态度。不是说这个问题不重要而是说它可能比我们想象的更难回答。从TasteVal这个项目的设计思路来看它试图把科研品味拆解成几个可评测的维度然后用专家标注来建立金标准。这个思路是合理的但有一个根本性的问题科研品味在很大程度上是“事后才能验证”的。你今天觉得某个方向有品味可能三年后发现它是个死胡同。你今天觉得某个方向没品味可能三年后发现它是突破性的。这意味着TasteVal的评测结果只能反映“当前专家共识下的品味”而不能反映“真正的科研品味”。这两者之间的差距可能比我们想象的要大。但这不意味着TasteVal没有价值。恰恰相反它的价值在于提供了一个讨论框架。在没有TasteVal之前我们讨论“AI有没有科研品味”只能靠感觉。有了TasteVal之后我们至少可以指着具体的数据说“在这个维度上模型A比模型B表现好。”这种可比较性本身就是进步。另一个我觉得值得关注的点是TasteVal可能会揭示出AI科研品味的一个根本性局限。当前的AI模型本质上是“模式匹配器”它们擅长的是从大量数据中提取规律而不是在信息不完整的情况下做出创造性判断。科研品味恰恰需要后者。所以TasteVal的结果可能会显示AI在某些维度上表现不错比如方向选择但在另一些维度上表现很差比如问题重新定义。如果这个假设成立那TasteVal的意义就不只是“评测AI”而是“告诉我们AI在科研中应该扮演什么角色”。也许AI适合做“科研助手”帮人类研究者筛选方向、生成假设、设计实验但不适合做“科研领导者”决定什么方向值得做。这个分工可能才是更合理的。最后再分享一个小技巧如果你在做AI辅助科研的工作不要指望AI能替你做出“有品味”的决策。更好的用法是让AI生成大量选项然后你用你的品味来筛选。AI负责“广度”你负责“深度”。这个分工在实际操作中比让AI独立做决策要靠谱得多。
阅读完成 · 觉得有帮助？
