国产大模型“文献检索 / 文献引用”可靠性实验分析报告 下

国产大模型“文献检索 / 文献引用”可靠性实验分析报告五、关键发现与归因讨论发现 1幻觉是“默认状态”真实需要额外工程去换把实验1–4 的 104 条输出摊开看60 条不可核验57.7%。只有实验5 的“改进通道”例外。默认配置下的大模型本质上是在“写一篇看起来像文献清单的东西”而不是在检索文献。这与“检索增强RAG能显著提升可信度”的既有认知一致——本实验结果给出了国产模型场景下的具体数值证据。发现 2真实率由“交互通道”主导而非模型排名实验2 全员低分3 个模型真实率为 0实验3 全员高分平均约 77%。若真是模型能力差异不应出现这种“同一批模型整体集体跳档”。最合理的解释是实验3 的任务条件中启用了联网检索 / 内置文献插件 / 限定了高知名度期刊。⚠此为“推断”而非“结论” 要坐实必须在下一轮实验中把“是否联网”“是否可访问知网 / WoS / Scholar”“提示词模板全文”作为固定列记录。发现 3不同模型的失败模式不同需区别对待失败模式典型模型表现处理建议编造型高幻觉文心4.5、文心X1部分轮次输出条数不少真实率低条目“看起来很专业”必须逐条核验不可直接引用沉默型拒答 / 无输出KIMI二次验证 0/0、腾讯元宝多轮 0真实率为 0 是因为干脆没给改用检索工具或换通道较可靠型豆包多轮稳定在 60%–75%可用但仍需抽检发现 4追问式验证能压低幻觉但不能消灭二次验证阶段各模型的“输出总数”普遍下降文心4.5 从 5→4、元宝 3→2说明追问起到了“逼模型剔除不确定项”的作用。这是成本最低的降险手段——用户不必换模型只需在拿到文献清单后追问一句“请逐条说明每条文献的 DOI / 出处无法确认的删除”。但代价是条目变少且对文心X1 这类模型完全无效7 条不变、真实率反升 3 倍。发现 5真实率高 ≠ 覆盖全小样本陷阱实验3 与实验5 的“改进通道”都呈现 100%但样本量极小4–10 条。100% 可能只是“恰好给对了题、且检索通道命中”而非模型在任意主题上都 100%。4 条全对与 4 条全对在统计上完全等价后者完全可能是撞对的。六、实验局限性样本量过小。单个模型单组实验仅产出 1–10 条文献真实率的最小可分辨粒度就是 10 个百分点1/10。文心4.5 的 20% 实际就是“1 条真 / 5 条总数”一位作者的噪声就能翻转结论。任务条件未受控。检索主题、提示词、是否联网、是否开启插件均未标准化详见 3.3实验2–4 的差异无法归因到具体变量——这是本实验最大的硬伤使“跨实验排名”只能作为描述性统计而非因果结论。“真实”的定义依赖核验人的主观判断。题名相近但年份 / 期刊略差算真还是算假本报告采用“四项要素一致”的严格标准可能低估真实率。未做随机化与盲评。模型顺序、核验人员是否知道模型身份均未提供对照存在顺序效应与期望效应。实验5 的“改进策略”定义不完整。“系统调用”具体接了什么库、用了什么索引、覆盖哪些学科数据表中没有记录导致无法复现。时间跨度大。期间模型本身可能已迭代更新。七、结论与建议7.1结论在“默认配置、直接提问”的常见使用方式下5 个国产大模型输出文献的总体真实率仅 42.3%超过一半的引用不可核验。真实率不会被某个“更强的模型”单方面解决只有把“生成”改成“先检索、再基于检索结果回答”才能把真实率拉到可用水平实验50% → 100%。模型之间的差异是次要的、不稳定的、可被交互方式覆盖的。7.2给科研与写作使用者的建议永远不要直接引用大模型给的参考文献。任何一条进论文前必须在数据库里核一遍。优先选带检索通道的产品形态联网搜索、内置论文库、可粘贴 DOI 校验的插件而不是裸聊天窗口——这是 0% 和 100% 的差距。用追问给模型“纠错”要求逐条给出 DOI / 卷期页给不出来的直接视为幻觉。要求“不确定就说不知道”并接受它。KIMI 的“给不出东西”虽然无用但比编造安全。重复测 3 次再下结论——文心X1 的 28.6% vs 85.7% 已经证明单次测量会严重误导。7.3给模型厂商 / 产品方的建议把“真实率”作为对外承诺指标像时延和准确率一样公布而不是只宣传“更聪明”。默认开启检索增强不要让用户在裸生成模式下拿到 12 条全假文献还以为是答案。对外输出必须带出处锚点DOI 超链接 可点击跳转让幻觉在交互层面暴露。本地文献库要持续同步——实验5 中本地库覆盖率仅 50%覆盖率不足会让“检索型”方案退化回“记忆型”方案。补齐实验日志任务主题、提示词全文、是否联网、模型版本号、时间戳缺一项外部就无法复现你的“100% 真实率”。7.4下一步实验设计改进清单固定提示词模板与检索主题做完全随机区组设计每组重复 ≥3 次报告均值与标准差增加“部分真实”中间态判定题名对、期刊错 / 作者错 / 年份错加入对照组以传统数据库检索知网 / WoS / Google Scholar作为“真实率 100% 基准线”扩大样本至每模型 50 条使置信区间收窄到 ±10pp 以内增加盲评核验人不知晓条目来自哪个模型。附录 A原始数据逐条核验汇总共 27 组观测。实验模型真实文献输出总数真实率实验1基础KIMI060.0%实验1基础豆包3475.0%实验1基础腾讯元宝030.0%实验1基础文心4.51520.0%实验1基础文心X12728.6%实验1二验KIMI00无输出分母为 0实验1二验豆包3475.0%实验1二验腾讯元宝020.0%实验1二验文心4.51425.0%实验1二验文心X16785.7%实验2KIMI060.0%实验2豆包4666.7%实验2腾讯元宝040.0%实验2文心4.5050.0%实验2文心X15862.5%实验3KIMI44100.0%实验3豆包11100.0%实验3腾讯元宝61060.0%实验3文心4.53650.0%实验3文心X144100.0%实验4KIMI3560.0%实验4豆包3560.0%实验4腾讯元宝4666.7%实验4文心4.51520.0%实验4文心X1040.0%实验5基础调用0120.0%实验5改进调用系统调用44100.0%附录 B指标定义速查真实率 可核验为真的条目数 ÷ 模型输出的条目总数不含拒答 / 无输出幻觉率 1 − 真实率无输出 模型未给出任何文献条目真实率按分母 0 记为不可用加权真实率 各实验真实条数之和 ÷ 各实验输出总数之和算术平均真实率 各实验真实率的简单平均对小样本敏感仅供对照。