★ FEATURED ARTICLE 【免费下载链接】ExtractBench项目地址https://ai.gitcode.com/hf_mirrors/llamaindex/ExtractBench点击查看免费下载做文档抽取Document Extraction评测时最常见的困惑是模型整体分数不高却说不清到底错在哪。是长文档撑不住扫描件看不清还是跨页表格处理不好ExtractBench是一个面向 Schema 引导式企业文档结构化抽取的评测基准它的五维标签体系任务挑战、感知挑战、表格结构、长度、业务领域可以把低分归因到具体原因而不是只给你一个笼统的总分。一分钟了解 ExtractBench 评测基准ExtractBench 的任务定义很清晰输入一份完整文档born-digital 或扫描件 用户编写的 JSON Schema系统必须返回Schema 校验通过的 JSON且每个值都要给出来源页码和 bounding box 作为证据。数据集规模370 份文档、4,869 页覆盖 8 大业务领域、67 种文档类型每种文档类型有且只有一个 Schema所有同类型文档共享6 个按长度划分的测试集文件例如 short.jsonl252 例≤10 页、medium.jsonl98 例11–50 页、long.jsonl20 例50 页其中 325 份为真实文档、45 份为合成长列表另有 38 份是干净版 降质版配对文档——配对设计是后面归因分析的关键。五维标签体系每个文档打五个独立标签ExtractBench 沿五个相互独立的维度给每份文档打标签tags字段例如challenge:T3.b、domain:D1。因为维度独立低分才能被追溯到真实原因tags: [source:real, challenge:T3.b, length:short, domain:D1]维度一任务挑战challenge——抽取本身难在哪T1 长列表完整性找回跨越多页的重复结构中的每一条记录。典型失败截断、重复/合并行、幻觉记录、值挂错记录T2 大海捞针长文档中找少数几个目标事实。失败模式漏目标、抓错出现次数、同义改写未归一化T3 密集文档标签、空格、复选框、手写、扫描瑕疵挤满一页。典型失败对空白字段脑补出值过度抽取每类还细分了子类T1.a–T1.e、T2.a–T2.d、T3.a–T3.e。三类任务的文档量与预期值量级差异极大任务挑战文档数页数预期值数量T1 长列表完整性1543,710813,792T2 大海捞针391,10910,300T3 密集文档21490531,200一份文档可以带多个任务挑战标签所以行之间有重叠。维度二感知挑战perception——页面是怎么被拍下来的P1旋转或纯图像捕捉P2扫描件图像P3手写内容数据集含 134 份扫描页文档、55 份含手写维度三表格结构structure——表格的坑S1合并/层级表头S2表头不在数据正上方S3表格跨页续排S4超过 1,000 行的超大表格S5单元格内再塞一张表维度四文档长度lengthshort / L1≤10 页medium / L211–50 页long / L350 页该标签与数据集切分category始终一致对应 docs/short/、docs/medium/、docs/long/ 下的 PDF 目录维度五业务领域domainD1 金融与基金持仓145 份、D2 能源监管98、D3 政府采购与海关49、D4 汽车估值27、D5 供应链交易20、D6 医疗结算15、D7 法律与破产10、D8 房产过户披露6。数据集还会额外记录交付要求G1–G4和来源属性source:real325 份 /synthetic45 份。用标签归因低分到底怪谁拿到评测报告后用下面这套思路把低分拆成可执行的结论 分数对比现象归因指向排查方向short 分高、long 分低length:L3 challenge:T1长列表截断、跨页记录合并/丢失同一文档干净版得分高、*_corrupted版得分低perception:P1/P2/P3OCR 与版式感知而非模型抽取逻辑只在 S3/S4 文档上掉分structure:S3/S4跨页表格拼接、超长表上下文管理T3 密集文档分数偏低challenge:T3空白字段误填过度抽取、复选框漏读某 domain 全线偏低domain:Dx领域版式与术语适配降质配对是感知归因的杀手锏38 份文档同时提供干净版和降质重扫版如real_ftx_full.pdf与 real_ftx_full_corrupted.pdf两者的预期值完全一致——分差直接就是捕捉质量退化的影响量。三个指标 × 标签完整阅读评测结果ExtractBench 的评分完全确定性无模型参与报告按 split、tag、system 三个口径输出Unified value F1抽取值是否正确标量字段与记录数组用统一定义Word-level grounding F1值正确且预测框与该字段验收框 IoU ≥ 0.5 才算有证据Page-level grounding F1只需指对来源页读结果时的建议先看 value F1 找抽错什么再看 grounding F1 找能不能证明来源最后用 tags 切片锁定是哪类文档在拖后腿。快速上手加载数据与运行评测from datasets import load_dataset import json ds load_dataset(llamaindex/ExtractBench, splitshort) case ds[0] schema json.loads(case[data_schema]) expected json.loads(case[expected_output])每条记录包含id、pdf源文档路径、data_schema、expected_output、field_rules逐字段评分规则、repeated_structure重复记录的对齐键与tags五个标签。完整字段说明见 README.md评测任务配置见 eval.yaml。跑通一条流水线uv run extract-bench download # 下载 data/split/doc.pdf doc.test.json uv run extract-bench run pipeline # 推理 - 评分 - 按标签出报告小结ExtractBench 用370 份文档、8 大领域、67 种文档类型模拟真实企业级 Schema 引导抽取五维标签相互独立低分可以归因到任务挑战、感知质量、表格结构、长度或领域而不是玄学配合 value F1 与双粒度 grounding F1按 tag 切片阅读报告是最快的调优路径下次模型得分偏低先问一句是哪个 tag 在拖后腿答案往往就在那里。赞分享【免费下载链接】ExtractBench项目地址https://ai.gitcode.com/hf_mirrors/llamaindex/ExtractBench点击查看免费下载相关推荐为什么规格不足的任务必然失败learn-harness-engineering 教你定位能力型 Agent 失败的真正根源为什么规格不足的任务必然失败learn harness engineering 教你定位能力型 Agent 失败的真正根源 本文基于 learn harn为什么你的网络总是连接失败NatTypeTester帮你一键诊断NAT类型为什么你的网络总是连接失败NatTypeTester帮你一键诊断NAT类型 你是否经常遇到在线游戏无法组队、视频通话频繁卡顿、P2P下载速度缓慢的问题这些问网络通信为什么你的BrushNet配置总是失败5分钟搞定模型路径问题为什么你的BrushNet配置总是失败5分钟搞定模型路径问题 你知道吗BrushNet作为ComfyUI中强大的图像修复插件却因为一个小小的模型路径问题让人工智能计算机视觉AI 应用上一篇MediaPipe Tasks Text Web SDK 实战语言检测、文本分类与文本嵌入的 JavaScript API 全解析下一篇jupyter_contrib_nbextensions 的 Exercise2 扩展用滑动开关隐藏/显示练习解答单元格创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
