★ FEATURED ARTICLE 手上有两份带机构名称的名录要合成一张能分析的表最先遇到的往往不是技术问题而是一个判断这两个名字一样的条目到底是不是同一个观测对象。同名不等于同一家。同一个名字可能对应不同地区的两个独立实体同一家机构也可能以全称、简称、曾用名、外文译名或带括号说明的形式出现。合并要判断的是两条记录是否指向同一个对象而不是名字像不像。名称相似只能提示这里值得比较不能作为自动合并的理由确认关系最终要落到具体字段和可回溯的依据上。编号什么时候才算确认依据两边都有登记编号时先比编号但编号本身要过两道检查。一是两边编号属于同一编号体系不同体系的码值放在一起比没有意义二是码值经过核验比如长度、字符集、校验位以及和机构类型、地区字段是否自洽。只有同一体系且核验通过的相同编号才可作为确认同一条记录的依据。即便如此同码仍可能出错码值可能是录入错误地方自建编号也可能撞号。所以确认记录里要写清依据字段和来源便于回溯复核不能因为同码就停止核对。编号不同也不足以否认同一个实体常见三种情形某一侧不提供编号编号字段填写错误或地方自建编号混在同名字段里两侧编号体系不同因而不可比。这三种情形都要在确认记录里写明不能靠“编号不同”一句话带过。编号匹配还要看清两边是否有号。只有一边带号就不能做编号匹配只能走名称、地区与其他字段的候选路线两边只有部分记录带号时只在都有号、同体系且核验通过的那部分做编号匹配其余另行处理。归一、分块与无号记录的回查没有共同编号时先归一再比较。归一包括处理空格、标点与全半角把括号内补充说明、常见后缀和层级词单独存放并把地区、地址、机构类型整理成可比字段。归一只让比较稳定不产生同一性结论。候选生成要说明范围。无编号的条目可以放在同一地区的块内生成候选跨地区记录如果只靠名称不能因为地区字段不同就直接判为不同实体需要另给一条回查路线比如按地址、曾用名或别名、上级单位另行核对并写进方案。分块只是为了缩小比较量分块字段写错的记录会被漏掉所以分块规则要随结果一起记录。假设一份名录给出机构全称与登记编号另一份只有部分记录带编号其余只有简称与地区。先确认两边编号同体系并对码值做过核验再只对两边都有号的记录做编号匹配得到一批确定合并一侧无号的记录按地区分块比较归一后的名称名称相近的放进候选关系并标注依据字段地区字段不同的记录不直接判为不同另按地址或曾用名走一条回查路线。此为假设场景不含真实机构与命中比例。确定合并与候选关系要分两列比较之后输出两类结果分两列存放。确定合并指依据足够明确、可以指定同一主键候选关系指两条记录很可能相关但依据不足以判定需要人工确认并标注依据字段。相似度得分只能用于排序不能说明是同一实体设不设得分界限、界限取多少属于执行取舍界限高低会改变漏判与误判的分布究竟偏向哪一侧要看这批数据的得分分布和可用的对照不能先验断言。两类错误的代价通常不对称把同一实体拆成两条后果偏保守把两个不同实体合成一条属性混在一起后很难从结果上看出问题。但这不等于漏合并一定容易被发现——缺少可对照的第三方清单时漏合并可能长期不被察觉。所以不确定的情形更适合放进候选关系写清依据字段与待确认项。主键要跟分析单位对齐主键还要和分析单位一致分析单位是法人、场所还是集团决定了总部与分支机构该合并还是分开更名前后、上下级单位也属于需要显式判断的情形。合并结果建议保留一张别名表记录归到哪个主键、依据哪些字段、由谁在何时确认原始记录不删除只增加映射。落到需求表述上可以这样写主键字段与分析单位是什么编号匹配的前提是同体系加核验并说明核验了哪些码值特征归一与分块规则如何定、分块字段是什么无号条目在同地区块内生成候选跨地区记录走哪条回查路线确定合并与候选关系分两列输出别名表与确认记录如何留存原始记录保留不动。这样写出来的方案别人拿到后能沿着依据字段逐条复核而不是只看到一个合并后的结果。
阅读完成 · 觉得有帮助？
