RAG 部署后回答不准 / 答非所问？3 个常见原因排查

RAG 调优是经验活不同业务表现差异大本文给排查顺序具体参数按你的数据调。按教程把 RAG 搭起来了——文档切块、向量化、检索、喂给大模型一测发现回答完全不对答非所问。很多人第一反应是模型不行就去换更大的模型其实问题八成出在前面三个环节。按顺序查。原因 1检索就没检对chunk 切分问题先看最源头把检索到的片段直接打印出来跟用户问题对一下。如果检索回来的内容根本不相关那后面模型再强也没用——垃圾进、垃圾出。常见坑chunk 切太大一个块里塞了太多内容检索匹配时语义被稀释切太小一句话就一块上下文不完整embedding 模型不对用了个和你业务领域不匹配的向量模型检索天然不准。解决先把 chunk size 调到一个常见的中间值试加上适当重叠换一个更适合你业务语言的 embedding 模型。原因 2检索到了但模型根本没用到prompt 模板问题第二种很隐蔽你打印检索结果发现相关内容明明检回来了但模型回答就是不引用它。常见坑prompt 模板里没把检索到的上下文正确塞进去上下文太长超出模型窗口被截断了关键部分没送到模板里没明确告诉模型只根据提供的资料回答模型开始自由发挥。解决检查 prompt 结构确保上下文真的传进去了、没被截断明确写仅依据以下资料回答资料里没有就说不知道。原因 3检索和 prompt 都对模型能力不够第三种前面两步都查过了检索相关、prompt 也对但生成出来还是绕、还是错。这时候才轮到模型本身。常见情况用了个 7B 小模型做复杂 RAG它理解长上下文、按资料组织答案的能力就是不够。解决换更大一档的模型或者在 prompt 里加几个 few-shot 示例教它怎么依据资料回答。你的 RAG 是哪种现象大概率原因先做什么检索结果就不相关chunk / embedding 问题调 chunk、换向量模型检到了但模型没用prompt 模板问题检查上下文是否真传进去都对但生成还是错模型能力不够换大模型 / 加 few-shot记住顺序先查检索再查 prompt最后才怪模型。大部分答非所问在前两步就解决了。你的 RAG 现在回答准确率怎么样用的什么模型和 embedding评论区说一下我帮你看卡在哪一步。