★ FEATURED ARTICLE 做文档数字化这行久了你会发现一个挺有意思的现象大家聊OCR十有八九都在聊识别率——这个模型认字准不准、那个引擎对模糊图片扛不扛得住。但真正把一堆扫描件、拍照件、PDF丢进流水线跑过一遍的人都知道认字准只是最后一公里前面还有一大段路要走。一段双栏排版的论文你直接喂给识别引擎它大概率会按行从左扫到右把左栏的半句话和右栏的半句话拼成一句莫名其妙的东西一张带表格的报表识别出来是一堆散落的数字行列关系全丢一份带页眉页脚页码的合同每一页都混进一堆无关字符。这些问题靠调识别模型是解决不了的得靠版面分析。这篇记录就是围绕版面分析这个环节展开的。它属于OCR开源项目里经常被单独拎出来、又经常被低估的一块。我打算把版面分析到底在解决什么问题、主流的开源方案各自什么脾气、怎么在自己的项目里把它跑起来、以及实际落地时会踩哪些坑尽量讲透。适合两类人看一类是刚开始搭文档处理流水线、还没意识到版面分析重要性的朋友另一类是已经用上了、但效果总是不太对、想搞清楚问题出在哪的朋友。文中涉及的工具和方案都是开源生态里常见的具体选型你按自己的场景来。1. 版面分析到底在OCR流水线里干什么活先把位置摆正。一个完整的文档识别流水线粗略分可以拆成这么几段图像预处理去噪、纠偏、二值化、版面分析找出页面上的各个区域并判断类型、区域内的文字识别、后处理与结构化输出。版面分析夹在中间它的输出直接决定了后面识别引擎看什么、按什么顺序看。1.1 不做版面分析会发生什么我用一个具体的例子说明。假设你有一张A4纸扫描的学术论文典型双栏布局左上角是标题和作者下面是摘要然后正文分左右两栏中间可能插一张跨栏的图或者表页脚有页码。如果你把整页图直接丢给一个通用文字识别接口它内部通常是按检测框的位置做行排序遇到双栏就会出问题它可能把左栏第一行和右栏第一行当成同一行因为它们的纵坐标接近。结果就是你拿到一段读起来逻辑断裂的文字句子被拦腰截断又错位拼接。再比如表格。表格里的文字识别本身不难难的是恢复结构。你得先知道这块区域是表格才能对它用专门的表格结构识别逻辑如果当成普通文本区处理单元格之间的对应关系就彻底丢了。还有页眉页脚很多正式文档每页都有公司名、文档编号、页码这些内容对正文理解是噪声但如果整页统一识别它们会混进正文流里干扰后续的检索和抽取。所以版面分析的核心价值说白了就三件事分区把页面切成有意义的块、分类判断每块是正文、标题、表格、图片还是页眉页脚、定序给出符合人类阅读习惯的阅读顺序。这三件事做扎实了后面的识别和结构化才有基础。1.2 版面分析和文字检测不是一回事这里有个概念经常被混淆值得单独说清楚。文字检测text detection回答的是哪里有字输出是一堆文字行的包围框版面分析layout analysis回答的是这块区域是什么、它和别的关系怎样输出是区域级别的框加类别。粒度不一样目的也不一样。一个页面可能有几百个文字行框但只有十几个版面区域。文字检测是识别的前置版面分析是理解的前置。有些轻量方案会用文字行框的密度和排列规律去反推版面结构比如一行文字特别长且横跨整页可能是标题文字行密集且等宽排列可能是正文栏。这种启发式方法在简单版面上能用但遇到复杂排版就露怯。真正稳的做法还是用专门的版面分析模型把区域检测和分类一起做掉。1.3 阅读顺序为什么是个独立难题分区和分类做完很多人以为就完事了其实阅读顺序才是最容易翻车的地方。人类看双栏文档眼睛会自动先读完左栏再读右栏遇到跨栏元素会跳过去再回来。但机器不知道这个约定它只看到一堆框的坐标。阅读顺序的确定本质上是在区域之间建立一个偏序关系。简单版面可以按先上后下、先左后右的规则排但一旦有多栏、有跨栏图、有侧边栏注释规则就不够用了。学术论文里图注在图的下方、表注在表的上方这些约定也得考虑进去。有些开源方案会专门训练一个阅读顺序预测模块把区域框和类别作为输入输出一个排序也有方案用简单的几何规则加启发式修正。这块的复杂度经常被低估实际项目里阅读顺序错了下游的信息抽取基本就废了。2. 主流开源版面分析方案的脾气对比开源生态里做版面分析的项目不算少但路数差别挺大。有的走轻量规则路线有的走深度学习检测路线有的干脆把版面分析和文档解析打包成一个完整工具链。选型的时候不能只看指标得看你的文档类型、部署环境和对结构化的要求。下面这张表是我自己整理的一个横向对比参数和结论基于常见实践具体数值你以各项目官方文档为准。方案类型代表思路优势短板适合场景传统图像处理规则投影法、连通域分析无需模型、速度快、可解释对复杂版面鲁棒性差版式固定的票据、表单通用目标检测模型把区域当目标框检测精度较高、类别灵活需要标注数据、模型较重多类型文档混合处理文档专用检测模型针对文档版式优化对小目标、密集区域更稳生态相对小众学术论文、报纸端到端文档解析工具检测识别结构化一体开箱即用、省集成成本定制空间小、依赖多快速验证、通用文档2.1 规则派投影法为什么在固定版式上依然好用投影法的思路特别朴素把图像按行或按列做像素投影文字密集的地方投影值高空白的地方投影值低于是空白处就成了天然的分割线。对于版式高度固定的文档比如某种标准发票、某种固定表单投影法又快又稳还不需要任何模型和标注数据。我在一个票据类项目里就用过这套思路。票据的字段位置基本固定先用投影切出几个大区块再在每个区块里做识别准确率和速度都很理想。但它的边界也很清楚一旦版面有轻微旋转、有跨区的表格线、或者文档类型不统一投影法就会切错。所以规则派适合版式已知且稳定的场景不适合什么文档都来一点的通用场景。用之前先问自己一句我的文档版式是不是真的固定如果答案是大部分是但有例外那规则派只能当预处理不能当主力。2.2 检测派把版面区域当目标来框深度学习路线里最直观的做法就是把版面分析当成目标检测任务正文区、标题区、表格区、图片区各是一个类别模型学的是把这些区域框出来并分类。这条路线的优点是类别体系可以自己定想加公式区页眉区都行只要你有标注数据。代价是标注成本。版面区域的标注比文字行标注粗但依然需要人工画框、定类别几百页起步才能训出一个像样的模型。而且文档版面的长宽比分布很极端——标题可能是又扁又宽的一条正文栏可能是又高又窄的一块通用检测模型里常用的锚框设计未必适配需要针对文档特点调整。这也是为什么有些团队直接用文档专用检测模型而不是拿通用检测框架硬套。2.3 端到端派省事但别指望它什么都对端到端文档解析工具是这几年比较受欢迎的一类输入一张文档图或PDF输出带结构的文本中间的分区、分类、识别、排序它全包了。对快速验证和通用文档处理来说这类工具确实省心几行代码就能跑出结果。但省心的另一面是黑盒。当结果不对的时候你很难定位是分区错了、分类错了还是排序错了。而且这类工具通常对文档类型有隐含假设遇到特别偏门的版式效果会明显下滑。我的建议是端到端工具适合做基线baseline先跑一遍看看整体效果再决定哪些环节需要自己接管。如果你的业务对某类文档的结构化要求很高最终大概率还是要拆开自己控制每个环节。2.4 选型时我实际会看的几个维度光看对比表不够实际选型我会重点确认四件事。第一是类别体系是否覆盖我的需求有些模型只分正文、标题、表格、图片四类但我可能需要区分页眉页脚和脚注。第二是输入分辨率的适配版面分析对分辨率比文字识别更敏感太小的图会让小区域检测不出来。第三是推理速度和部署形态能不能在目标环境跑起来、单页耗时多少。第四是许可证开源不等于随便用商用前一定看清楚。提示选型阶段别急着上最重的模型。先用一小批真实文档跑几个候选方案人工看分区和排序结果比看论文指标有用得多。指标高的模型在你的文档类型上未必最好。3. 把版面分析跑起来从环境到第一版结果这一节讲落地。我按最小可跑通的思路来组织先让流程转起来再谈优化。具体命令和接口以你选定的项目文档为准这里给的是通用路径和关键注意点。3.1 环境准备里最容易被忽略的两件事第一件是图像分辨率。版面分析模型通常在固定输入尺寸上训练比如把短边缩放到某个值。如果你的原始扫描件分辨率很高比如600dpi直接缩放会丢失小区域细节如果分辨率太低小字区域又检测不出来。我的经验是把页面短边控制在1000到1600像素这个区间做版面分析既能保住区域结构又不至于让推理太慢。这个值不是死的得拿你的文档试。第二件是PDF的处理方式。很多文档是PDF但PDF分两类一类是原生带文字层的一类是扫描图。原生PDF可以直接抽取文字和坐标根本不需要走图像识别扫描PDF才需要先渲染成图再做版面分析。实际项目里经常混着来所以流水线第一步应该是判断PDF类型别一股脑全渲染成图白白浪费算力还损失精度。# 判断PDF是否带可抽取文字层的思路示意 import fitz # PyMuPDF def has_text_layer(pdf_path, sample_pages3): doc fitz.open(pdf_path) for i in range(min(sample_pages, len(doc))): page doc[i] text page.get_text().strip() if len(text) 50: # 阈值按实际情况调 return True return False这段逻辑很简单但能帮你省掉大量不必要的图像处理。阈值50是我随手写的实际要按文档类型调比如纯图封面页文字少是正常的多采样几页更稳。3.2 版面分析模型的输入输出长什么样不管用哪个方案版面分析的输入基本都是一张页面图输出是一组区域每个区域包含包围框坐标、类别标签有的方案还会给置信度和阅读顺序序号。坐标通常是相对坐标或绝对像素坐标用之前一定确认清楚不然框会画偏。拿到区域列表后第一件事是可视化验证。把框画回原图上人眼扫一遍比任何指标都直观。我习惯一次抽二三十页不同版式的文档做可视化重点看三类问题有没有该检测的区域漏了、有没有把正文和标题分错、跨栏元素有没有被切碎。这一步花的时间绝对值。3.3 按区域裁剪再识别的基本流程版面分析给出区域后标准流程是按阅读顺序遍历区域对文字类区域裁剪出来送识别对表格区域送表格结构识别对图片区域单独保存或跳过。这里有个细节裁剪时要在框的基础上外扩几个像素避免文字边缘被切掉导致识别丢字。外扩量按分辨率定一般几个像素到十几个像素。# 按区域裁剪并外扩的示意 def crop_with_padding(image, box, pad8): x1, y1, x2, y2 box h, w image.shape[:2] x1 max(0, x1 - pad) y1 max(0, y1 - pad) x2 min(w, x2 pad) y2 min(h, y2 pad) return image[y1:y2, x1:x2]外扩不是越大越好扩太多会把相邻区域的文字带进来反而引入噪声。双栏文档里两栏间距小外扩过量很容易串栏这点要特别注意。3.4 阅读顺序的落地处理如果用的方案自带阅读顺序输出直接用如果没有就得自己排。我的做法是分两步先按区域类别和几何位置做一个初始排序再针对跨栏元素做修正。初始排序可以用先按纵向分带、带内按横向的规则跨栏的大图或大表单独识别出来在排序时把它前后的区域接上。这块没有银弹规则要按你的文档类型调。学术论文和商业报告的排版约定就不一样前者图注在下、表注在上后者可能完全相反。我的建议是先把最常见的几种版式各挑几页手工标出正确阅读顺序然后拿你的排序逻辑去对对不上的地方就是规则要补的地方。4. 实际落地时那些文档里不会写的坑前面讲的是应该怎么做这一节讲实际做起来会怎么翻车。这些经验基本都是从返工里攒出来的文档里通常不会写。4.1 倾斜和透视预处理没做好后面全白搭扫描件轻微倾斜是常态拍照件透视变形更严重。版面分析模型对倾斜有一定容忍度但超过几度区域框就会歪裁剪出来的文字也跟着歪识别率直线下降。所以预处理里的纠偏不能省。纠偏的做法是先估计页面倾斜角可以用文字行方向、也可以用霍夫变换找直线再旋转校正。拍照件还要考虑透视校正用四个角点做透视变换。我踩过的一个坑是纠偏做过头了。有些文档本身有设计性的斜排元素比如斜放的印章、艺术字标题全局纠偏会把这些也掰正反而破坏版面。所以纠偏要判断是整体倾斜还是局部设计前者校正后者保留。这个判断用简单的角度直方图就能做主方向明显集中才校正。4.2 表格和正文粘连分类边界模糊地带表格紧贴正文、没有明显留白的情况非常常见尤其是密集排版的报告。这时候版面分析容易把表格的一部分划进正文或者把正文的一段划进表格。结果就是表格结构识别拿到残缺的表格正文识别混进表格线。处理这类问题我的经验是不要完全信任单一模型的分类结果加一层后处理校验。比如检测到的表格区域检查它内部是否有明显的横竖线结构没有的话降级为正文正文区域如果内部检测到大量规则网格线提升为表格候选。这种交叉校验能救回不少边界错误。另外表格区域裁剪时宁可稍微多留一点边让表格结构识别模块自己去判断边界比切得太紧导致表格缺行缺列要好。4.3 页眉页脚的误判与漏判页眉页脚看着简单实际挺烦人。有的文档页眉就是一行小字有的页眉带logo和装饰线有的页码在页脚居中、有的在角落。版面分析模型如果训练数据里页眉页脚样本不足就容易把它们当正文。我的处理策略是几何先验加内容特征双管齐下。几何上页面顶部和底部一定比例范围内的窄条区域优先怀疑是页眉页脚内容上如果这个区域的文字在多页里重复出现比如公司名、文档标题基本可以确认。多页重复这个特征特别有用单页看不出来跨页一比对就清楚了。实现上可以抽取每页顶部底部区域的文本做哈希出现频率高的标记为页眉页脚。4.4 小目标区域公式、脚注、图注的检测困境公式、脚注、图注这类小区域是版面分析里最容易漏检的。它们面积小、和正文长得像模型稍不留神就归到正文里了。漏检的后果是公式被当正文识别成一堆乱码脚注混进正文干扰阅读图注和图片失去关联。针对这类问题如果业务确实需要就得在训练数据里专门补这类样本或者用专门的公式检测、图注关联逻辑做补充。通用版面分析模型很难对所有小类别都照顾到这是现实。我的建议是分清主次如果公式对你的业务不重要漏了就漏了别为它过度投入如果重要就单独做一块别指望通用模型顺手解决。4.5 多栏文档的串栏问题双栏、三栏文档的串栏是阅读顺序和裁剪环节的高发问题。表现是左栏末尾的文字和右栏开头的文字被拼到一起或者裁剪时把相邻栏的文字带进来。根因通常是栏间分割不干净或者区域框跨了栏。解决思路有两个方向。一是先分栏再分析用投影法或列检测先把页面切成栏每栏单独做版面分析和识别最后按栏顺序拼接。这个思路对规整的多栏文档很有效。二是依赖区域框的精确性要求版面分析输出的正文区域本身就是按栏分开的而不是一整块跨栏区域。前者更可控后者更依赖模型质量。我一般倾向第一种因为分栏这一步用规则就能做得比较稳把不确定性降下来。5. 让版面分析结果真正可用的几个进阶思路跑通只是起点要让版面分析的结果在下游真正好用还有几件事值得做。这些不是必须但做了之后整个流水线的稳定性和可维护性会上一个台阶。5.1 建立自己的版面评估集没有评估集优化就是盲人摸象。我建议从真实业务文档里抽一两百页人工标注区域框和类别形成一个小的评估集。不用很大但要覆盖你的主要文档类型和典型难点多栏、表格密集、页眉页脚复杂等。每次调整模型或规则都在这套评估集上跑一遍看分区准确率和阅读顺序正确率的变化。评估指标不用搞太复杂区域级别的召回率和类别准确率就够用。重点是固定评估集别每次换一批文档评估那样结果没法比较。这套东西搭起来花不了太多时间但能让你后面每一次优化都有据可依。5.2 版面分析结果的结构化输出设计版面分析的输出不该只是框和类别最好设计成带层级和顺序的结构。比如一页文档输出成一个区域列表每个区域带序号、类别、坐标、以及它包含的文字识别后回填。这样下游做信息抽取时可以直接按序号顺序读也可以按类别筛选。更进一步可以把跨页的同类区域关联起来比如把多页的页眉页脚统一标记、把跨页表格拼接。这些结构化设计在项目初期想清楚后面扩展会轻松很多。我见过不少项目一开始只输出裸框后面要做检索和抽取时发现结构信息不够又回头重构成本很高。5.3 规则和模型的混合策略纯模型和纯规则都有短板实际项目里混合用往往效果最好。模型负责主体分区和分类规则负责后处理修正和边界情况兜底。比如模型输出的区域用规则检查有没有重叠、有没有异常小的碎片区域、阅读顺序有没有明显违反几何直觉的地方发现问题就修正。这种混合策略的好处是可控。模型升级换代时规则层可以作为稳定器规则覆盖不到的复杂情况模型来兜。关键是规则要写得克制别写一大堆互相冲突的启发式那样维护起来是灾难。我的原则是每条规则都要能说清楚它解决什么具体问题说不清的就别加。5.4 性能与并发的现实考量版面分析模型推理是有成本的尤其是处理大批量文档时。几个实际优化点一是按需分析原生带文字层的PDF直接走文字抽取不跑图像版面分析二是批处理多页一起送模型比逐页送效率高三是缓存同一文档重复处理时缓存版面结果四是降级策略对版式简单的文档用轻量规则先过一遍复杂的才上重模型。并发方面要注意模型实例的资源占用GPU显存有限时别盲目开高并发容易OOM。我的做法是控制并发数在显存能承受的范围内用队列削峰。这些工程细节看着琐碎但直接决定流水线能不能稳定跑起来。6. 一些收尾的实操体会版面分析这块我最大的体会是它不是一个可以一劳永逸的环节。文档类型一变、版式一复杂之前调好的参数和规则就可能失效。所以与其追求一个万能方案不如把流程设计成可观测、可调整的——每个环节的输出都能可视化、能评估、能替换。另一个体会是关于投入产出的判断。不是所有项目都需要精细的版面分析。如果你的文档版式单一、对结构化要求不高一个轻量方案甚至规则派就够了没必要上重模型。但如果你的业务依赖文档结构比如合同要素抽取、报表数据提取、论文信息整理那版面分析就是地基值得认真对待。先想清楚下游要什么再决定这一层做到什么程度比盲目堆模型务实得多。最后分享一个小习惯每次处理一批新类型文档前先抽几页跑一遍可视化人眼过一遍再批量跑。这个动作花不了几分钟但能提前发现大部分版式适配问题省下后面大量返工。
阅读完成 · 觉得有帮助？
