官方数据与独立估算对不上号从同一经济现象的两套读数看 RAG 知识库该信谁、怎么标一个熟悉又尴尬的场景做 RAG检索增强生成系统的人迟早会撞上这个问题用户问一个事实性问题检索环节召回了两条文档一条说 A另一条说非 A而且两条看起来都挺“权威”。这时候检索器、重排器、生成模型任何一环都可能“默默替用户选边”——通常是比较隐蔽的那一环相似度打分恰好让某一条排在了前面LLM 就顺着它写了下去用户完全不知道另一套说法的存在。这不是假设性的问题。现实世界里“同一事实存在多个互相矛盾的权威来源”是长期存在的真实现象经济数据就是最典型的例子。与其在系统里假装世界只有一个版本的事实不如把这种冲突显式地建模进知识库。下面借一个真实案例展开。案例同一个 5.2%两套叙事根据彭博的报道《中国经济去年真的增长了5.2%吗 并非人人都赞同》围绕 2023 年中国经济增速存在官方数据与独立估算两条并行路线一方面由于对中国官方经济数据的准确性存在由来已久的怀疑“另起炉灶独立估算的做法颇为常见”另一方面官方与独立估算在部分问题上其实一致——比如都认同防疫限制取消后经济确实实现了增长国内航班数量、消费类企业收入等官方数据都显示了这一点也都认同地产建设剧烈下滑、地方融资吃紧、出口走低构成压力。分歧点同样具体报道指出双方看法存在分歧的包括投资数据——官方数据显示制造业和基建支出飙升抵消了房地产造成的拖累。这个案例对 RAG 设计者的价值在于它不是简单的“真 vs 假”而是“口径不同的两套可信读数各自覆盖事实的不同侧面”。如果你的知识库里同时收录了官方统计和第三方分析用户问“去年中国经济怎么样”你怎么办错误做法让相似度排序替用户做决定最常见的隐性失败模式是两条文档都进了上下文但排序靠前的那条主导了生成另一条被 LLM 当作背景噪音忽略。结果用户得到一个斩钉截铁的单一答案却不知道知识库里本来就存在分歧。更糟的是这种选边是偶然的——换个 embedding 模型、换种分块方式答案可能就翻转了。建议一来源可信度分级但分级不等于淘汰在入库阶段就给每个文档打上来源标签至少区分几类官方/一手政府统计、监管公告、企业财报原文。专业二手主流财经媒体、研究机构报告。观点/估算明确标注为分析、预测或独立估算的内容。关键原则低级别来源不删除只降权并打标。经济数据的例子说明“独立估算”与“官方数据”可能长期并存且各有支持者删掉任何一边都会让知识库失去一个视角。分级的目的不是裁判谁对而是让下游知道每条信息“是什么性质的说法”。建议二检索结果中同时呈现冲突读数并标注口径具体可以这样落地冲突检测对同一实体同一指标同一时间的文档做聚类如果数值或结论差异超过阈值标记为“冲突簇”。经济类文档可以用抽取出的数值直接比对非数值结论可以用更宽松的语义判断宁可误报不可漏报。同簇共存命中冲突簇时不按相似度只留一条而是把簇内各来源的代表性片段一起送入上下文每条前面附上来源级别和口径说明例如“官方统计口径”还是“第三方独立估算口径”。生成端约束在 prompt 中要求 LLM 对冲突读数分点呈现、各自注明来源和口径禁止静默择一。如果用户要的是决策建议可以让模型说明“不同口径下结论如何变化”而不是替用户宣布哪个数是“真的”。回到案例用户问“2023 年中国经济表现如何”理想的输出是——增长这一点双方共识投资数据存在官方制造业与基建支出飙升与独立估算对官方投资数据存疑的分歧并注明各自口径。这比一个孤零零的“5.2%”信息量大得多也更诚实。建议三口径与时间元数据要作为一等公民经济数据的另一个坑是“目标”与“实际”的混淆。同一篇彭博报道《中国多数地方政府下调今年通胀目标 从实际出发更加务实》提到中国从 2001 年开始发布年度消费通胀目标发达经济体央行通常将 2% 设为通胀目标而中国央行有多重目标增长、汇率等并无单一通胀目标报道还引述彭博调查的分析师预测中值今年中国 CPI 涨幅料为 0.8%。注意这里面至少有三种性质不同的数字历史实际值、政策目标值、分析师预测中值。如果知识库不给每条数字打上“实际/目标/预测”的口径标签检索时“2% 的通胀目标”和“0.8% 的预测涨幅”就可能被混为一谈生成出荒诞的对比结论。所以元数据至少要包含来源名称、来源级别、数据性质实际/目标/预测/估算、时间范围、统计口径。适用范围与局限这套做法适用于事实密集、存在多来源叙事的领域宏观经济、行业分析、政策解读、医药指南等。对于“API 参数怎么写”这类客观技术事实冲突通常意味着某一方过时了直接按时间戳和官方文档优先级处理即可不需要双轨呈现。局限也很明显冲突检测在非数值、模糊表述的场景下误报率高把多条冲突读数塞进上下文会占用 token也需要更强的生成端指令跟随能力来源分级本身是人工判断带有主观性——你可以规定“官方优先”但不能假装这个规定消除了分歧它只是明确了你的系统采用的编辑立场而这个立场最好也对用户透明。结语RAG 系统的诚实程度不体现在它答得多流畅而体现在它是否把知识库里真实存在的分歧告诉了用户。官方数据与独立估算长期对不上号是世界的常态而非知识库的 bug。把可信度分级、冲突同簇呈现、口径标注做进检索链路让“选边”这件事回到用户手里——这才是一个值得信任的知识库应有的样子。参考资料以下链接为本文使用的公开资料。事实依据与检索摘录保存在本地记录中资料内容与适用范围以原始页面为准。中国经济去年真的增长了5.2%吗 并非人人都赞同中国多数地方政府下调今年通胀目标 从实际出发更加务实
阅读完成 · 觉得有帮助?