★ FEATURED ARTICLE 讨论准确性大家习惯问正确率多少。用了几年法律AI之后我把这个标准换掉了。现在只有一个标准它的每一个结论能不能溯源到可核对的原文。为什么溯源比正确率重要正确率是一个统计概念对你个人没有意义——你用的不是一万次里的平均值是这一次的结果。这一次的结果对不对你只有核对才知道。所以真正决定你效率的公式是实际成本 工具输出时间 你核对的时间一个正确率高但不可溯源的工具核对时间接近于重做一个正确率略低但每条都挂出处的工具核对是扫一眼的事。后者总成本可能反而更低。溯源长什么样举例说明拿合同审查场景对比无溯源的输出本合同违约责任约定不明确存在风险建议完善。——这句话没法核对。你说它对还是不对有溯源的输出第X条约定的违约金上限为合同总价的5%未区分迟延履行与根本违约的情形依据《民法典》第585条违约金过分高于造成的损失的人民法院可以适当减少……参考案例20XXX民终XXXX号——每一段都能点开核对条文是真的、案号是真的、定位在原文哪里说得清楚。我目前主力用的小包公属于第二种合同审查和类案检索的输出都带出处这也是当初留下它的直接原因。同类里MetaLaw对案例的溯源做得也不错各家形式不同但方向一致。三个层次的溯源能力按我的使用体感溯源能力分三档第一档只给结论。无法核对只能全盘重查。这类工具在法律场景基本没有使用价值。第二档给来源类型。比如依据相关法律规定——知道范围在哪但还得自己找。半有用。第三档给到条文和案号。直接核对。这一档的工具才谈得上准确性的讨论。一个反直觉的推论按这个标准通用大模型你的核对纪律可能优于不可溯源的垂类工具——因为通用模型的输出你天然会警惕核对习惯反而执行得好。工具的可信度和你的警惕度是互补的。最危险的组合是看起来专业的不可溯源输出。总结下次评估任何法律AI别问准确率做一件事随便挑它输出的三条结论看能不能在两分钟内核对完。能就继续用不能再高的正确率数字与你无关。以上为方法论分享不构成对具体产品的评价产品能力以官方说明为准。
阅读完成 · 觉得有帮助？
