★ FEATURED ARTICLE 去年做智能客服Agent的时候，老板扔了个Excel过来，里面是标注好的"答对讲/答错"的会话记录，让我分析下问题在哪。我第一反应是数一下：答错的占23%，还行。然后就卡壳了——答错的原因五花八门，有的是模型胡说八道，有的是根本没检索到相关文档，有的是用户问题本身就很模糊。一个"答错"的标签，把所有问题混成了一锅粥。后来摸出了门道：别盯着"对或错"，要盯着"在哪一步错了"。一个Agent从收到用户问题到输出答案，中间至少要过四关：理解用户意图 → 检索相关资料 → 生成答案 → 格式化输出。每一关都可能翻车，而且翻车的方式完全不一样。我现在做错误分析，会把每条"答错"的记录拆到这四步里，然后看分布。之前那个客服Agent，统计出来的数据挺有意思的：28%是理解意图错了，32%是检索到的文档不对，35%是生成环节出了问题，剩下5%是输出格式乱了。先说意图理解的坑。用户说"这个东西坏了能退吗"，你的意图识别是"退货咨询"没错，但如果上下文是用户刚问完保修期，那他其实是在问"过了保修期能不能退"。我见过好多Agent，孤立地看每个问题，完全不利用会话历史。修这个的时候没换模型，只是在prompt里加了"参考最近三轮对话上下文重新理解用户问题"，意图识别准确率从82%涨到了94%。检索环节的水最深。我们那个Agent刚上线的时候，检索用的是最简单的向量相似度匹配。有个经典问题：用户搜"发票丢了怎么办"，系统给返回了"发票怎么开"、"发票抬头是什么"的文档，相似度最高的那个"发票挂失流程"反而排第五。后来发现是emb
阅读完成 · 觉得有帮助？
