★ FEATURED ARTICLE 让JEV-27B-VL做出第一次“决策”POST /v1/decide API完全快速入门指南【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VLJEV-27B-VL 是一个开源、开放权重的多模态决策模型。通过一次POST /v1/decide请求它能在单次前向推理内为每个选项返回校准过的概率——无需解析自然语言、无需复杂的提示词技巧文本和图片都支持。这篇文章带新手在 3 个步骤内让 JEV-27B-VL 做出第一次决策。先搞懂决策模型的 System 1 与 System 2JEV-27B-VL 用同一个引擎提供两种能力能力端点你得到什么典型耗时System 1直觉决策POST /v1/decide是/否、2–256 选 1、0–5 打分每个选项一条校准概率约 0.1 sSystem 2深度思考/v1/chat/completions完整的 Qwen3.8-27B 逐步推理支持图像输入数秒/v1/decide就是本文的主角你只提交{kind, state, question, options}服务端负责组装决策模板、读取选项 token、并应用决策头偏置adapter_vllm/decision_head.json与校准温度calibration.json任何 HTTP 客户端都能直接调用。部署 JEV-27B-VL三步启动决策模型服务硬件要求单卡 80 GB 以上显存vLLM 推理。git clone https://gitcode.com/hf_mirrors/autotrust/JEV-27B-VL bash JEV-27B-VL/serve.sh就这么简单。serve.sh 会自动下载模型权重然后启动 serve_decide.py——它就是标准的 vLLM OpenAI 服务保留全部 OpenAI 端点额外挂载了POST /v1/decide路由和GET /v1/decide/info信息端点默认监听:8000。 需要 256K 长上下文时启动前设置MAX_MODEL_LEN262144即可80 GB 卡建议 131072 起。第一次决策一条 curl 看懂请求与响应给 System 1 提一个三选一的问题curl localhost:8000/v1/decide -H Content-Type: application/json -d { kind: choice, state: Customer: my card was charged twice for one coffee., question: Which team should handle this?, options: [billing, shipping, tech support]}响应节选{options: [billing, shipping, tech support], probabilities: [0.9969, 0.0000, 0.0031], choice_index: 0, choice: billing, elapsed_seconds: 0.12, num_model_requests: 1}四个字段的填写口诀字段填什么说明kindnoul/score/choice决策类型见下节state决策所依据的事实字符串、JSON 对象或文本图片混合列表question关于 state 的一个问题只问一件事options2–256 个字符串仅choice需要每个选项一行、不要含换行符三种决策类型noul、score、choice 怎么选noul是/否不需要options返回[false, true]的概率。提问时把 true 写成你希望发生的结果例如客户是在申请退款吗score0–5 打分返回0…5的概率分布期望分即期望值官方误差 MAE 仅 0.098。choice多选一2–256 个选项一次问完。超过 16 个选项时标签自动从 A–P 扩展到 Q–Z、AA、AB…无需重训练响应中adaptation字段会标注wide-labels。 官方实测建议相似的选项各加一行适用场景描述准确率最高 4.8 分而改措辞、加指令几乎没有影响——保持提示词朴素即可。传图做决策多模态请求怎么写把图片混进state列表即可图片用 data URL或https://地址图片会被放在它出现的位置state: [ Photo: , {image: data:image/jpeg;base64,/9j/4AAQ...} ]例如判断这张照片是否展示食物noul或这个商品链接属于哪个分类choice 4 个类目。单条请求最多带 8 张图服务端已按--limit-mm-per-prompt配置大图建议先缩到 448 px 以内以压低延迟。不够自信让模型自动想一遍System 1 概率不够高时可以让同一引擎切到 System 2 思考后融合thinking: auto——仅当领先选项概率低于threshold默认 0.8时启用思考最终概率按 0.5 权重融合快决策与推理结果thinking: on——总是思考return_reasoning: true可取回推理文本随时用GET /v1/decide/info查看当前上限256 选项、校准温度与各模型默认参数。两个常见部署坑必须--max-num-seqs 8超过 8 条并发序列时vLLM 的 LoRA 路径对该多模态模型会返回错误的 System 1 概率serve.sh 已内置此参数超出的请求只是排队。不要用裸/v1/completions读概率模型自带top_k20 / top_p0.95生成配置会截断概率分布serve_decide.py已在内部处理直接用它最省心。接下来可以试试完整模型卡与全部端点示例README.md机器人机械臂抓取、浏览器点击等每步一次决策的演示结果reports/demos/官方提示词写法实测有效的 8 条规则见 README 的Writing System 1 prompts一节一条curl、一次前向、0.1 秒——这就是 JEV-27B-VL 的POST /v1/decide决策 API。把它当作你的分类器、裁判器、推荐排序器从第一条请求开始即可。【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
