wenyi文译模型配置完全指南8大LLM提供商混用与三档路由选出你的最优模型【免费下载链接】wenyi将被语言阻隔的作品带到读者的语言中。Bringing literature into your language.项目地址: https://gitcode.com/gh_mirrors/we/wenyiwenyi文译是一款面向书籍与长文本的 AI 翻译工具支持多 LLM 提供商混用与三档模型路由strong / cheap / fast。本文是 wenyi 模型配置的完全指南从一行 preset 快速上手到按 16 个流水线操作精细选模、跨提供商混用、设置预算与配额帮助你在翻译质量、速度与费用之间选出最优模型组合。1. 为什么 wenyi 需要模型路由翻译一本长篇小说不是一次模型调用而是一条多阶段流水线语言检测、全书预扫、正文翻译、润色、术语抽取、锚点校准、取证式审校……不同环节对模型的要求完全不同正文翻译、证据核验 → 需要最强模型全书摘要、章节梗概 → 追求速度语言检测、初筛审校 → 追求便宜wenyi 把流水线中所有调用 LLM 的环节统一登记为16 个操作operation并通过三档路由把每个操作映射到具体模型上。核心注册逻辑见 operations.py路由解析见 routing.py。16 个内置操作与默认档位操作默认档位用途language.detectcheap检测源语言analysis.stylestrong分析文风、人物、种子术语synopsis.chapter/synopsis.bookfast章节梗概与全书摘要translation.body/translation.titlestrong正文与标题翻译polish.bodystrong强档润色glossary.extract/glossary.align_historyfast术语抽取与历史对齐annotation.aligncheapEPUB 注释位置校准review.scancheap初审与盲审review.verify/review.arbitrate/review.fixstrong证据核验、冲突仲裁、影子修订autofix.verify/autofix.fix继承 review 对应操作发布前复核srt.translatestrong字幕翻译2. 一分钟上手一行 preset 搞定 wenyi 模型配置在 config.yaml 中只需要一行wenyi 会自动展开连接、模型档案和三档映射llm: preset: deepseek该 preset 会生成default_strong、default_cheap、default_fast三个模型档案全部映射到 DeepSeek默认deepseek-flash开启思考模式、reasoning_effort: high。内置 preset 还有preset: gemini和离线可用的preset: fake无需网络和密钥适合跑通流程。 档位名strong/cheap/fast只表达偏好不保证实测质量或价格——同一个 profile 可以同时挂给多个档位。3. 认识 wenyi 支持的 8 大 LLM 提供商wenyi 内置 10 种适配器含离线 fake覆盖主流云端 API 与本地推理引擎全部注册在 registry.py适配器 kind端点 / 密钥环境变量特色模型选项deepseekDEEPSEEK_API_KEYthinking、reasoning_effortlow/high/maxopenaiOPENAI_API_KEY同上openrouterOPENROUTER_API_KEY同上orcarouterORCAROUTER_API_KEY兼容型 reasoning_stylegeminiGEMINI_API_KEYthinking_level/thinking_budget二选一、temperatureopenai-compatible自定义base_urljson_response_fallback、request_overridesollama本地http://localhost:11434/v1本地模型免密钥vllm本地http://localhost:8000/v1自托管推理opencode-goOpenCode Go 网关显式配置模型档案fake无网络离线联调✅ 所有兼容型端点支持reasoning_style: none / deepseek / openai / openrouter方便对接各种网关的推理参数风格。4. 混用提供商providers / models / tiers 三层结构wenyi 的llm配置分三层职责清晰providers.id— 定义连接kind、base_url、api_key_env、timeout默认 600 秒、max_retries默认 4、max_concurrency、可选quota_groupmodels.id— 定义请求档案使用哪个连接、远端model名、max_output_tokens上限、提供商特定optionstiers— 把strong/cheap/fast三档映射到档案 安全规则API 密钥只能通过环境变量提供配置文件中不存放任何凭据。实战示例翻译用 DeepSeek润色与核验交给 Gemini这是一个很典型的混用思路——让不同厂商的模型各干各擅长的事完整说明见 configuration.mdllm: preset: deepseek providers: editorial: kind: gemini api_key_env: GEMINI_API_KEY timeout: 120 max_retries: 2 max_concurrency: 2 models: editor: provider: editorial model: YOUR_EDITOR_MODEL max_output_tokens: 8192 options: thinking_level: high routes: polish.body: {model: editor} review.verify: {model: editor}其他操作保持 preset 的默认三档映射不变autofix.verify会自动继承review.verify已解析的路由无需重复配置。5. 三档路由进阶按操作精细选模每个操作的路由只有两种写法二选一llm: routes: # 方式一直接指定模型档案 polish.body: {model: editor} # 方式二指定档位等价于跟随该操作默认档位时可省略整行 glossary.extract: {tier: cheap}规则要点未知操作、未知字段、失效引用会在发起请求前直接报错——不会静默选错模型无缺失档位的隐式回退三档必须都能解析显式故障转移无状态请求可写fallbacks: [备用档案]仅当可重试的传输错误耗尽重试后才启用认证、配置、输出结构错误不会触发切换可续跑的审校会话review.verify、review.arbitrate、autofix.verify禁止中途换模型防止混合模型证据链6. 用 wenyi models 命令验证你的配置配置完别急着跑全书先用这几条命令零请求验证不构造 SDK、不发网络请求、不需要密钥uv run wenyi models list # 预览全部 16 条路由 uv run wenyi models list --json # 机器可读输出 uv run wenyi models explain --operation review.verify uv run wenyi models check --for translate # 仅校验该阶段可达操作的凭据explain会告诉你某个操作最终落在哪个提供商、端点、模型和推理指纹上——排混用配置问题时最有用。7. 预算、配额与限额给混合模型组合上保险丝多提供商混用时请求量和 token 消耗更不可控。wenyi 提供了三层本地控制示意配置同样来自 configuration.mdllm: providers: default: kind: fake max_concurrency: 2 quota_group: account # 共享配额组 quotas: account: requests_per_minute: 20 tokens_per_minute: 60000 budget: max_requests: 100 max_tokens: 200000 deadline_seconds: 900同一quota_group的连接共享 RPM/TPM 预留避免打爆某个账户限流budget是单次调用的本地预算请求数、token 数、截止时间CtrlC 也能协作式停止用量台账按档位 / 阶段 / 提供商 / 模型四个独立维度记账混用后每笔消耗都查得清8. Web 界面配置模型免编辑 YAML 的另一种方式除了 CLI 的config.yamlwenyi 的Web 设置页面也提供完整的模型注册能力源码见 ProviderSettings.tsx、ModelSelection.tsx提供商连接与模型档案的增删改查、ID 重命名保存时同事务更新所有档位、路由与 fallback 引用三档映射下拉框 每个操作的路由选择器直接显示生效档位首次保存后配置存入 PostgreSQL重启不丢失API 密钥仍走服务器环境变量界面只填变量名⚠️ 边界提醒全局 Settings 管理连接、档案、preset、配额项目配置只能引用已注册的模型 IDllm.tiers、llm.routes、llm.budget。项目特定的 profile 请先在全局设置中注册。9. 三档路由选型建议怎么选最优组合目标推荐玩法省心只用preset: deepseek三档全给同一强模型省钱strong 给旗舰模型cheap/fast 给低价模型如deepseek-flash、本地 Ollama追求质量混用厂商翻译用一家polish.body/review.verify用另一家做独立第二意见全本地ollamavllm两个连接分别挂 cheap/strong 档离线完成整本书限流严格配置quota_groupbudget并降低prescan_concurrency、review_concurrency官方建议选型前先跑独立的公有领域文本做对比路由能力本身并不隐含哪个模型质量更高的排序。老配置迁移从旧版配置升级两条显式迁移命令不会自动转换uv run wenyi models migrate-config old-config.yaml --out routed-config.yaml uv run wenyi models migrate-usage state/BOOK/targets/zh10. 常见问题速答Q改了模型会影响已翻译的章节吗不会。翻译、分析、摘要、SRT 换模型后已完成的工作保留新路由只作用于未完成的调用但审校引擎在可达模型/端点/选项变化时会开新的 run缓存不跨推理指纹复用。Q为什么我的 fallback 不生效认证错误、配置错误、输出结构错误都不触发模型故障转移且可续跑的审校会话本身就禁止 failover。Qmax_output_tokens与思考模式冲突启用思考的 OpenAI 兼容档案低于 4096 的提示会被自动抬到 4096显式的小上限会被拒绝。Qpreset 会联网探测模型能力吗不会。preset 只是本地展开为配置项不发起任何远程查询。写在最后wenyi 的模型配置哲学可以概括为一句话三档兜底操作级覆盖提供商随意混。先用 preset 跑通再用models explain看清每条路由最后按需把最关键的polish.body和review.verify换到最信任的模型上——这就是选出你的最优模型组合的全部路径。更多配置细节可阅读官方文档docs/configuration.md、中文版 docs/zh/configuration.md以及流水线全景 docs/pipeline.md。【免费下载链接】wenyi将被语言阻隔的作品带到读者的语言中。Bringing literature into your language.项目地址: https://gitcode.com/gh_mirrors/we/wenyi创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
阅读完成 · 觉得有帮助?