★ FEATURED ARTICLE 【免费下载链接】Intern-Decision-0.8B项目地址https://ai.gitcode.com/InternLM/Intern-Decision-0.8B点击查看免费下载快速上手一次推理得到什么Intern-Decision-0.8B 是一个多模态结构化决策模型你传入一段共享状态state、一组带选项的问题questions以及可选图片它在一次前向推理中为每个问题返回完整的答案分布。调用入口只有两步from inference import DecisionEngine engine DecisionEngine(devicecuda) # 只加载一次重复使用 response engine.predict(request) # 输入一个请求字典返回一个响应字典predict返回的响应遵循 Jev 信封结构共 5 个顶层键model、answers、usage以及三个扩展字段backend、timing、calibration。新手最常出错的地方就在于把所有字段的最终答案都当成同一个字段去读。实际上每个问题的answers条目里probabilities、confidence、score三者含义完全不同读错字段会导致业务逻辑偏差。下面逐个拆解帮你建立正确的读取姿势。probabilities每个选项的校准后概率分布probabilities是该字段下所有候选选项的概率分布键为选项原始值值为校准后的概率总和恒为 1。它不是最终答案而是模型对每个选项的完整态度是所有其他字段confidence、decision、score的计算源头。以客服工单场景为例请求里定义了三个问题响应节选如下{ team: { type: choice, probabilities: { billing: 0.92, delivery: 0.08 }, confidence: 0.92, decision: billing, choice: billing, source: local }, urgency: { type: score, probabilities: { 0: 0.05, 1: 0.62, 2: 0.33 }, confidence: 0.62, score: 1.33, legend: { 0: Low, 1: Medium, 2: High }, source: local } }三个要点键是选项原始值不是符号。内部推理时选项会被映射为单 token 符号A~Z、a~z、0~9见 inference.py但响应已经映射回你传入的原始值直接按业务值读取即可。概率总和恒为 1且只分布在该问题自己的候选项上不会跨字段。分布是经过校准的默认温度2.747760550703是在 1,728 个校准案例上通过最小化 NLL 拟合出来的详见 README.md 的 Calibration 一节因此概率可以直接用于阈值判断与风险评估而不只是相对排序。confidence最高候选概率注意它的归属confidence的定义很简单该字段所有候选项中最大的那个概率代码实现就是取 argmax 后的概率值inference.pyanswer {type: kind, probabilities: probs, confidence: probs[best]}但新手最容易踩的坑在score 类型上confidence属于最可能的那个类别而报告的期望score数值可能落在类别之间。比如上面urgency的score是 1.33但confidence是 0.62属于Medium这一类并不是1.33 有多大把握。使用场景推荐字段判断模型拿不拿得准、是否转人工confidence获取最终选中的选项decision或 choice 类型的choice需要连续数值做排序/打分score二分类是/否的概率noulyes的概率完整分布、自定义聚合probabilities一个实用技巧把confidence 0.5的请求标记为低置信需人工复核这是该模型输出的天然置信度信号。score概率加权的期望值不是最可能的类别score字段只出现在score类型的问题上它是概率加权的期望数值score Σ(选项数值 × 该选项概率)继续上面的例子0×0.05 1×0.62 2×0.33 ≈ 1.33。这正体现了它与confidence的区别——confidence回答最信哪个类别score回答期望落在什么数值。配套字段legend给出了分数值到描述的映射如上例的{0: Low, 1: Medium, 2: High}方便你在展示层把1.33翻译成偏 High 的 Medium。另外提醒当criteria用列表传入时选项值自动成为0,1, …inference.py用对象传入时键必须是有限数值。score是浮点数可直接参与比较运算。decision、choice 与 noul三个最终答案字段除了三个核心字段响应里还有三个答案类字段按类型各取所需decision所有字段都有。概率最高的选项值并列时按字典序打破平局lexicographic tie-breaking见 inference.py 的argmax实现。choice仅choice类型。选中的选项值实际上就是decision的别名。noul仅noul类型二元判断。yes的概率值介于 0~1 之间可直接当肯定倾向强度使用。calibration 温度为什么概率变陡了响应里的calibration扩展字段记录了校准方式与温度值。Intern-Decision-0.8B 的校准数值序列是README.md Calibration 一节p softmax(candidate_logits) calibrated_p softmax(log(p) / T)这里要特别澄清一个误区它不是采样温度而是候选概率校准。它会使分布更平一些更新confidence、noul概率与期望score但不改变 argmax 决策inference.py 中甚至有断言防止浮点误差改变 argmax。如果你需要未校准的原始候选概率可以用DecisionEngine(temperature1)加载。最小运行示例与响应全貌完整可运行示例README.md Quick start 一节依赖见 requirements.txt需 Python 3.12from inference import DecisionEngine engine DecisionEngine(devicecuda) request { state: The customer was charged twice and asks for the extra payment back., questions: { team: { type: choice, instructions: Which team should handle this request?, criteria: { billing: Payments and refunds, delivery: Shipping and delivery, }, }, urgency: { type: score, instructions: Rate the priority., criteria: [Low, Medium, High], }, refund_requested: { type: noul, instructions: Is the customer asking for a refund?, }, }, } response engine.predict(request) print(response[answers])响应顶层结构一览顶层键含义model实际加载的权重标识Intern-Decision-0.8Banswers每个问题字段一个条目含本文详解的各字段usageinput_tokens、output_tokens、decision_countbackend推理后端当前固定hftiming端到端inference_mscalibration校准方法与温度值注意一个容易误读的点usage.output_tokens和usage.decision_count统计的是被打分的问题字段数而不是生成的文本 token 数——因为该模型不做自由文本生成只执行一次结构化前向打分。常见误区清单 把score当成最可能的类别——它是概率加权的期望值类别归属请看probabilities或decision。把confidence当成对score数值的置信度——它属于最可能的那个类别score 类型尤其要注意。用choice去读 score/noul 问题——choice只出现在choice类型通用答案请读decision。把概率当采样结果——probabilities是校准后的完整分布模型并不调用generate()或采样自由文本。用output_tokens估算生成量——它计的是打分字段数。延伸阅读推理核心与校准逻辑inference.py其中DecisionEngine类在 inference.py响应字段官方说明表README.md Response format 一节对话模板decision占位符渲染chat_template.jinja模型配置Qwen3.5 架构、多模态 tokenizerconfig.json、added_tokens.json掌握probabilities分布、confidence最大概率、score期望值三者的分工后你就能按业务需要灵活地取用 Intern-Decision-0.8B 的输出既拿最终决策也拿可信度信号。赞分享【免费下载链接】Intern-Decision-0.8B项目地址https://ai.gitcode.com/InternLM/Intern-Decision-0.8B点击查看免费下载相关推荐基于 Next.js Edge Middleware 的图片响应示例从边缘网络直接返回图片基于 Next.js Edge Middleware 的图片响应示例从边缘网络直接返回图片 本指南围绕仓库中的 image response 示例 httpsIntern-Decision-0.8B模型架构解读混合线性注意力、248K词表与decision特殊tokenIntern Decision 0.8B模型架构解读混合线性注意力、248K词表与decision 特殊token Intern Decision 0.8B掌握 Typed DecisionsQwen3.5-0.8B-decision 的 noul / choice / score 三种题型完全指南掌握 Typed DecisionsQwen3.5 0.8B decision 的 noul / choice / score 三种题型完全指南 Qwen3.人工智能大模型微调创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
