非结构化档案确权第一张证政策数据集从版式解析到产权登记的六步处理链摘要非结构化数据最难的不是识别是说不清它是什么。本文以一份政策档案数据集完成产权登记为切口拆出原件层、解析层、结构化层三级目录给出扫描、OCR、清洗、标注、抽取、封版六步处理链的产物与质检参数附一张能过审查的描述准确性填写模板、四类来源合规举证清单以及哪些档案现在就不该碰的判断标准。前言今年 10 月中国档案报报道了一件事浙江省档案馆开发的1981—2015 年《浙江政报》政策数据集在杭州数据交易所完成数据产权登记流程拿到该馆首张数据产权登记证书。报道里提到的处理环节是四步——版面解析、文本清洗、语义标注、字段抽取把非结构化档案转成结构化数据服务政策智能检索、政策演变分析与政务知识图谱建设。这条新闻在数据治理圈子里转得不算多但它的分量不轻。档案是典型的有原件、有数字化、进不了资产台账的数据。过去几年企业做数据资产入表能进表的基本是结构化业务数据订单、客户、交易流水。非结构化那一片——合同、图纸、政策文件、会议纪要、检验报告——体量最大却几乎全部停在资料这个身份上。原因不复杂结构化数据能说清一行代表什么非结构化数据连这一份到底是什么都要解释半天。产权登记要审查的三件事——数据描述的准确性、来源的合规性、产权的明确性——在非结构化场景下每一件都比结构化难一个数量级。本文不谈政策解读只拆工程。一份非结构化档案从扫描件到能提交登记的数据集中间要过哪六道工序、每道工序的产物与质检点是什么、描述怎么写才不被退回。一、非结构化为什么最难确权三个结构性原因先看清难点否则后面的工序设计没有依据。1.1 原件与内容分离结构化数据里这条记录和这条记录的内容是一回事。档案不是。一份 1985 年的政报它的价值分布在三个层面载体层纸张、扫描图像、PDF 文件本身内容层上面印的文字、表格、印章、版式语义层这份文件属于哪类政策、涉及哪些主体、约束什么行为。产权登记登记的到底是哪一层如果只写某档案馆政策文件集 5000 件审查方无法判断边界如果写成5000 件扫描图像的著作权那登记的是汇编作品而不是数据。必须先明确登记对象落在哪一层再谈材料准备。实践中比较稳的做法是登记经过加工形成的结构化数据集原件作为来源凭证随附而不是把原件本身当登记对象。1.2 加工层级叠加每层都产生新的权利事实一份扫描件变成结构化数据集中间至少有五次加工扫描、OCR、清洗、标注、抽取。每一次加工都产生新的权利事实——谁做的、用什么工具、依据什么规则、有没有独创性。结构化数据的加工链通常很短采集→入库→加工非结构化的加工链很长而且每一步的投入都可以资本化也都可以成为权属争议点。这就是为什么很多团队在做成本归集时算不清加工层级没有编号成本就没法挂到具体层上。1.3 上游限制会层层传递政策文件看起来最干净其实不然。政府网站公开的政策文本公开的是阅读权不等于可以任意汇编、加工、再分发。转载限制、汇编授权、标注信息的准确性责任都会随着加工往下传。石家庄市数据局 10 月 9 日的一篇解读里有一句话点得很准数据上游的权利限制会随数据流转层层传递所以登记审查不只是材料形式核对还需要合理审慎的实质判断同时审查有边界“既不能缺位也不能越位对数据商业价值大小作出评价”。这句不缺位不越位对企业很有用它意味着你不需要证明这批数据多值钱但你必须证明它是什么、从哪来、你有什么权利。二、先建三级目录原件层、解析层、结构化层六步工序能跑通的前提是目录结构先立住。我的建议是三层一层都不能省。层级存什么是否可改责任方与其他层的关系原件层扫描图像、原始 PDF、接收登记信息不可修改只可追加档案部门一切下游内容的唯一依据解析层版式块、OCR 文本、坐标、页序可重跑保留历史版本数据工程由原件层派生带source_hash结构化层字段化记录、标签、实体、关系可迭代需版本号数据治理由解析层派生是登记对象2.1 主键设计一物一码不能一物多码三层目录最容易出的问题是编号体系打架。档案有档案号文件有文件哈希数据集有数据集 ID三套编号各管一段最后对不上。一条可用的规则以原件为根向下派生向上可回溯。原件ARC-ZJZB-1985-0001 全宗号-年度-件号 解析ARC-ZJZB-1985-0001#P01 第 1 页版式块 ARC-ZJZB-1985-0001#T01 第 1 个文本块 结构化DS-POLICY-1985-0001-R03 数据集-年度-件号-记录号每个下游 ID 都必须带source_hash指回原件。没有回指的记录一律不进结构化层——它无法证明自己来自哪份原件将来在审查环节就是硬伤。2.2 三层目录各自要留的元数据层级必留字段原件层档号、题名、责任者、形成时间、文种、页数、密级、开放状态、扫描批次、图像哈希解析层解析工具与版本、DPI、页序、块类型正文/表格/印章/图、bbox、OCR 引擎与置信度、人工校对标记结构化层字段名、字段值、抽取方式规则/模型、置信度、校验结果、标签、实体、版本号其中三个字段最容易被省也最容易在登记时卡住文种决定这份文件的法律效力层级、开放状态决定能不能对外提供、人工校对标记决定这份数据的准确性责任归属。三、六步处理链输入、产物、质检点下面按工序走。每一步给出输入、产物、质检点和参数建议。参数是从多个文档类项目里收敛出来的经验值具体数值要按自己的样本调。3.1 第一步扫描与版式还原输入纸质原件或既有电子件。产物300 DPI 以上的单页图像 页序索引。项建议说明分辨率300 DPI 起步含小字号表格或印章用 400 DPI低于 300 DPIOCR 对五号字以下的识别率会明显下滑色彩彩色保留印章与红头正文可转灰度只转黑白会丢掉印章与手写批注倾斜校正倾斜角 1.5° 触发老档案装订边常见 2°~3° 倾斜去噪保留原始图像去噪结果单存一份去噪会改变像素原始件不能覆盖页序按版心页码排缺页登记为异常件政报类连续出版物缺页很常见质检点逐件核对页数与目录记载是否一致抽查 5% 的图像清晰度用可读性而非分辨率判断。坑把去噪后的图当原件归档。三年后要做笔迹或印章鉴定原图已经没了。3.2 第二步OCR 与分层校对输入单页图像。产物带坐标与置信度的文本块。这一步的核心不是识别得多准而是错了能不能被发现。文本类型处理策略校对强度正文OCR 直出 置信度阈值置信度 0.85 的块全量人工复核表格单独走表格识别输出 HTML 保留合并单元格行列数与原件逐格比对印章/红头不作为正文单独标注区域只核对是否存在不识别内容手写批注单独成块标注手写未识别不强行 OCR避免污染检索竖排/繁体指定模型与语言包抽检比例提到 20%分层校对是一个提高效率的做法把校对任务按影响面排序——影响检索命中的标题、发文字号、成文日期先校影响阅读体验的正文错字后校。质检点抽取 100 个关键实体发文字号、日期、金额、机构名人工核对准确率低于 98% 不进入下一步。3.3 第三步文本清洗与去重输入文本块。产物干净正文 重复件清单。清洗规则要写死成配置不要靠人临时改脚本。# 清洗规则示例按顺序执行每步留处理日志RULES[(strip_header_footer,{pattern:r^第\s*\d\s*页.*?共\s*\d\s*页$}),(strip_watermark_text,{keywords:[内部资料,注意保密,仅供内部使用]}),(normalize_whitespace,{full_to_half:True,collapse_spaces:True}),(fix_ocr_confusions,{map:{:0,l:1,O:0}}),# 仅数字上下文中替换(drop_empty_blocks,{min_chars:2}),]去重要分两种很多团队只做了第一种完全重复哈希一致直接合并保留最早入藏的那件近似重复同一文件的不同版本修订版、重印版、影印版。这类不能简单删要建版本族指定权威版本其余标superseded。质检点随机抽 30 件检查页眉页脚是否清除干净、版心文字是否有丢失。页眉页脚必须在解析阶段剔掉如果留到检索阶段过滤每页那句内部资料会出现在每个文本块里直接拉高相似度、挤掉真正的正文。3.4 第四步语义标注与分类输入干净正文。产物分类号、主题词、实体标签。这一步是把一堆文字变成可被检索和统计的数据的关键也是登记时描述准确性的主要依据。分类要对齐国标。GB/T 47949—2026《资产管理 数据资产分类与代码》把数据资产分为结构化、半结构化、非结构化三大类并按大类、中类、小类三级编码逐级细分该标准 2026-09-01 实施具体细类划分以标准正文为准第三方解读提到的细类数量。档案类数据集在这一体系下通常落在非结构化大类再按文种、载体、主题往下挂。标注分三层做不要混在一起层内容方法验收形式标注文种、发文机关、发文字号、成文日期、密级、开放状态规则 正则为主关键字段准确率 ≥ 99%主题标注主题词、政策领域、涉及主体受控词表 模型辅助抽检 10%一致率 ≥ 90%关系标注文件的废止/修订/引用关系规则匹配 人工确认关系完整率 ≥ 95%关系标注是政策数据集真正的价值所在。单份文件谁都能检索能回答这条规定后来被哪份文件改了才有壁垒。做法是在每份文件上抽cites、amends、repeals三类关系形成有向图。坑把模型的自动分类结果直接当最终标签。政策文件的文种通知、批复、函、公告对效力影响很大模型很容易把转发通知和原通知混为一谈。文种必须走规则或人工。3.5 第五步字段抽取与校验输入正文 标注。产物结构化记录。抽哪些字段取决于这份数据集打算怎么用。政策类数据集一般是这样一组字段类型抽取方式校验规则doc_no发文字号正则〔\d{4}〕\d号与标题区一致性校验issue_date成文日期正则 数字转写落在文件年度 ±1 年内issuer发文机关词表匹配必须在机构词表中doc_type文种规则标题后缀枚举值校验effective_date施行日期正文句式匹配≥ 成文日期status效力状态关系统计推导与废止关系一致policy_field政策领域受控词表多标时取前二校验要做三件套缺一不可格式校验正则、枚举、日期范围逻辑校验施行日期不早于成文日期、废止关系不能指向更晚的文件、同一发文字号不能对应两份不同标题交叉校验与原件页眉、与目录记载、与同批次文件互相比对。-- 一条能筛出 80% 问题的逻辑校验SELECTdoc_id,doc_no,issue_date,effective_dateFROMpolicy_recordWHEREeffective_dateissue_dateOR(doc_noISNULLANDdoc_typeIN(通知,批复,公告))ORlength(doc_no)NOTBETWEEN8AND24;质检点字段级准确率抽样。关键字段发文字号、成文日期、发文机关要求 99%一般字段 95%。达不到就不要往下走因为登记审查的第一项就是数据描述准确性。3.6 第六步版本封装与登记输入结构化记录 三层目录。产物可提交登记的数据集包。封版这一步要产出四样东西产物内容作用数据集包结构化文件CSV/Parquet 字段字典登记对象本体说明文档来源、范围、加工过程、字段含义、已知缺陷审查与交易的核心材料质量报告字段准确率、完整率、抽检方法与样本量支撑描述准确性封版凭证全量哈希、封版时间、版本号、操作人证明这一版就是提交的这一版封版之后只允许追加新版本不允许原地改。原因很实际登记审查期间如果数据集还在变审查方核对的和你最终提交的就不是同一份东西一旦被抽查到整个登记的可信度都会被质疑。四、描述准确性怎么写才不返工产权登记审查三个维度里的第一项就是数据描述准确性也是非结构化数据集最常被退回的一项。写的时候按四个要素来。4.1 四个要素要素要写清什么反例正例对象边界时间范围、文种范围、件数、页数“部分政策文件”“1981—2015 年某政报全部正刊共 X 件 Y 页不含增刊与合订本”形态结构化/半结构化/非结构化具体格式“文本数据”“结构化 CSV含 12 个字段UTF-8 编码”加工深度做了哪几层加工“经过整理”“OCR 识别 人工校对 语义标注 字段抽取加工层级见附表”权利边界你有什么权利、受什么限制“拥有全部权利”“持有权、使用权限内部检索与统计不含对外转售”4.2 一张可以直接用的描述表dataset_name:某政报政策数据集1981—2015object_scope:time_range:1981-01-01 ~ 2015-12-31doc_types:[通知,批复,公告,函]count:1240# 件pages:18600# 页excluded:[增刊,合订本,内部参阅件]form:asset_category:非结构化数据经加工形成结构化数据集format:CSV PDF 原件索引fields:12processing:layers:[扫描,OCR校对,清洗去重,语义标注,字段抽取,封版]tools:[扫描300DPI,OCR商用引擎 vX,标注受控词表 人工复核]qc:关键字段准确率 99.2%抽检样本 200 件rights:held:[持有权,使用权]restrictions:[不含对外转售,涉及个人信息的条目已去标识化]source_basis:公开渠道收集政府公开出版物一个容易忽略的细节名称要与范围对应。叫政策数据集却混进了会议纪要或者叫1981—2015实际缺了 1993 年这类不一致在审查里是硬伤比准确率低两个点严重得多。五、来源合规四条路径与举证清单登记审查的第二项是来源合规性。数据形成方式不同举证材料完全不同。来源路径典型场景核心举证材料最容易卡的地方采集生成自建系统产生、设备采集系统日志、采集规则、告知同意记录无法证明何时、由谁、按什么规则采集协议取得采购、合作、授权运营合同、授权书、范围与期限条款合同只写数据使用没写可否加工与再许可公开收集政府公开信息、公开出版物发布主体、公开渠道、获取时间与方式记录把可阅读当成可汇编、可再分发衍生创造加工形成的新数据集加工规则、独创性说明、投入记录说不清哪部分是原始、哪部分是加工增值5.1 公开收集这条路的三个坑档案与政策数据大多走这条路要特别小心三点汇编权与转载限制。单份文件公开不等于整本汇编可以复制发行。要看清发布主体的版权声明与转载要求。标注信息的准确性责任。你给文件打的分类、主题词、效力状态是你自己的判断出错要自己担。所以质量报告不能省。上游限制的传递。如果来源文件本身标注了仅供内部使用那么加工后的数据集也不能对外提供这个限制要写进描述表的restrictions。5.2 权利限制要写传递链审查方最想看到的不是我合法而是我能说清每一层的限制是怎么传下来的。做法是给数据集附一张限制传递表层级权利主体取得方式限制传递到下游的表现原件某档案馆依法接收开放状态受限未开放件不纳入数据集汇编某档案馆自行汇编不得改变原意保留全文不改写数据集申报主体加工形成不含转售权描述表 restrictions 声明这张表比十页说明文档都管用。它把你有什么权利变成了一条可以逐段核对的链。六、工程落地三个能立刻加上的检查6.1 目录字段最小集CREATETABLEdoc_asset(asset_idVARCHAR(64)PRIMARYKEY,-- 一物一码source_hashCHAR(64)NOTNULL,-- 回指原件archive_noVARCHAR(64),-- 档号doc_typeVARCHAR(16),-- 文种issue_dateDATE,open_statusVARCHAR(16),-- 开放/控制/未开放parse_versionVARCHAR(16),ocr_confidenceDECIMAL(4,3),human_reviewedBOOLEANDEFAULTFALSE,-- 人工校对标记asset_categoryVARCHAR(32),-- 对齐 GB/T 47949 大类sub_categoryVARCHAR(32),dataset_versionVARCHAR(16),created_atTIMESTAMPDEFAULTCURRENT_TIMESTAMP);human_reviewed这个布尔字段看着不起眼但它是责任划分的依据。审查方问这份数据的准确性谁保证的答案就是这些标了 reviewed 的是我们人工校对过的没标的是机器直出已在质量报告中说明。6.2 三条质检 SQL-- 1. 无回指的孤儿记录SELECTCOUNT(*)FROMpolicy_record rLEFTJOINdoc_asset aONr.asset_ida.asset_idWHEREa.asset_idISNULL;-- 2. OCR 低置信且未人工校对SELECTCOUNT(*)FROMdoc_assetWHEREocr_confidence0.85ANDhuman_reviewedFALSE;-- 3. 分类号缺失或不在国标枚举内SELECTasset_category,COUNT(*)FROMdoc_assetWHEREasset_categoryNOTIN(结构化数据,半结构化数据,非结构化数据)GROUPBYasset_category;三条全为 0才有资格进入封版。6.3 一个成本口径的建议非结构化数据集的成本归集最容易犯的错是按件平摊。实际上一份 50 页的老档案和一份 2 页的新通知加工成本差十倍。建议按页归集再按件汇总成本项分四类扫描按页、OCR按页商用引擎按调用量、人工校对按页 × 难度系数、标注与抽取按件 × 字段数。这样算出来的单位成本能直接回答这个数据集值多少钱——用成本法估值时这套台账就是底稿。七、哪些档案现在别碰不是所有非结构化数据都适合现在做确权。遇到下面四类先放一放情形原因建议涉密或未开放件无法对外提供登记意义有限单独建内部目录不纳入对外数据集原件缺失、只有复印件来源链断无法证明持有先做来源补证再谈登记权属存在争议如捐赠未过户产权明确性审查过不了先解决民事权利别急着申报上游明确禁止再加工限制会传递到下游只做内部检索不对外提供还有一类特殊情况值得一提政务数据不予产权登记。党政机关履行职责过程中收集产生的数据走公共数据资源登记不走产权登记但经公共数据授权运营后形成的产品和服务可以登记。这条边界在《数据产权登记工作指引试行》的答记者问里说得很明确做政务类数据集的企业要提前分清自己手里的是哪一类。总结非结构化数据确权难的从来不是技术是把一堆文件说成一个边界清楚的数据集。六步处理链只是手段真正决定能不能过审查的是三件事原件能不能回指、加工层级能不能说清、权利限制能不能逐层传递。给三条能马上做的先建三级目录把source_hash和human_reviewed两个字段加上这两项是后面所有审查的基础。封版之后再提交封版之后不再改改动一律走新版本。描述表按边界、形态、加工深度、权利边界四要素写写完让不熟悉这个项目的人读一遍他能不能准确说出这个数据集包含什么、不包含什么——说不出来就重写。你们单位手上的非结构化数据卡在说不清是什么还是说不清从哪来欢迎评论区聊聊具体场景。标签非结构化数据,数据产权登记,数据资产,元数据,数据治理