数据集AI 评测模型评测人工智能OCR【免费下载链接】olmOCR-bench项目地址https://ai.gitcode.com/hf_mirrors/allenai/olmOCR-bench点击查看免费下载 想评估你的 OCR 系统把PDF 转 Markdown的能力有多强本文带你 5 分钟用上olmOCR-bench——Allen AI 出品的 PDF 转 Markdown 评测基准数据集内置 1,403 页 PDF 和 7,010 个测试用例覆盖公式、表格、多栏排版等真实场景帮你快速定位转换效果短板。一、olmOCR-bench 是什么一句话概括olmOCR-bench 是一个专为PDF/扫描件 → Markdown转换任务设计的评测基准它不关心你的模型怎么读 PDF只严格检验输出质量评测维度检查什么举例 文本存在present关键句子是否正确出现在输出中支持模糊匹配与位置约束 文本缺席absent页眉、页脚、页码是否被正确剔除如 Page 3 of 10 不应出现 阅读顺序order标题是否排在正文之前多栏文档的正确顺序 表格精度table单元格数值与相邻关系是否正确值 0.569 应在表头 BO 下方➗ 公式精度math数学公式符号布局是否还原基于渲染边界框匹配数据集涵盖 7 大类真实文档来源包括 arXiv 数学论文、美国国会图书馆旧扫描手稿、报纸多栏排版等对 OCR 系统相当刁钻。二、5分钟搭建评测环境3步走第1步克隆数据集仓库本仓库只包含数据PDF 测试用例克隆即可使用git clone https://gitcode.com/hf_mirrors/allenai/olmOCR-bench第2步安装评测框架评测执行框架由 olmocr 项目提供通过 pip 安装pip install olmocr-bench第3步加载数据并运行数据采用 Hugging Face Datasets 标准格式可通过 eval.yaml 查看内置任务配置overall、arxiv_math、tables 等 8 个任务用 datasets 库按 split 加载即可例如load_dataset(olmOCR-bench, tables)加载表格测试集。接着把你自己的 OCR 系统如 Marker、MinerU、GOT OCR 等对 PDF 输出的 Markdown 喂给框架即可得到按维度汇总的得分——eval.yaml 中evaluation_framework: olmocr-bench就是这一流程的入口声明。 提示仓库内不含评测代码但所有考题都齐全你只需要提供自己的 Markdown 输出。三、看懂 7 大测试集各考什么数据位于 bench_data/ 目录每类文档一个子目录PDF 文件 一个同名 JSONL 文件测试用例。来源与规模如下测试集PDF 页数用例数数据来源arxiv_math5222,927arXiv数学论文公式old_scans_math36458Internet Archive旧扫描数学书table_tests1881,020内部仓库表格密集型文档old_scans98526美国国会图书馆手写/旧印刷headers_footers266753内部仓库页眉页脚剔除multi_column231884内部仓库多栏学术版面long_tiny_text62442Internet Archive小字号密排文本以 bench_data/long_tiny_text.jsonl 为例每条用例长这样{ pdf: long_tiny_text/14a_pg1.pdf, type: present, text: afterlife, a new or continued or transformed existence after death..., max_diffs: 1 }含义pdf指向 bench_data/pdfs/ 下的具体页面type是测试类型text是期望出现的文本max_diffs允许的模糊差异数0 表示必须逐字匹配。四、数据文件地图 ️olmOCR-bench/ ├── README.md # 项目说明与基准结果 ├── eval.yaml # 评测任务配置 └── bench_data/ ├── arxiv_math.jsonl # 各类测试用例JSONL ├── table_tests.jsonl ├── ...共7个 └── pdfs/ ├── arxiv_math/ # 对应 PDF 页面 ├── old_scans/ └── ...共7个想了解更详细的评分细则可直接阅读 README.md 中的Evaluation Criteria章节。五、跑分参考你的系统能拿多少分官方已在同一基准上对主流 OCR 系统跑分节选自 README.md可作为你新系统的对标线系统总体得分olmOCRAnchored77.4Mistral OCR API72.0GPT-4oAnchored69.9MinerU v1.3.1061.5Marker v1.6.259.4Qwen 2.5 VLNo Anchor65.5 可以看到即便头部模型在旧扫描件OldScan和多栏文档MultCol上也有明显失分——这正是 olmOCR-bench 的价值所在帮你发现平均高分掩盖的局部短板。六、常见问题 FAQQ仓库里为什么没有代码A这是纯数据集仓库评测执行器是olmocr-bench框架克隆数据 pip 安装框架即可开工。Q数据可以商用吗A数据集采用ODC-BY-1.0协议需署名建议遵循 Allen AI 的负责任使用准则主要面向科研与教育场景。Q可以只跑某一个子集吗A可以eval.yaml 中每个 split 都是独立任务新手建议先从long_tiny_text442 例PDF 最小仅 252KB入手快速验证流程。小结olmOCR-bench 用 7,010 个细粒度用例把PDF 转 Markdown 好不好变成了一道道可打分的客观题。克隆仓库、安装olmocr-bench、接上你的 OCR 输出5 分钟就能拿到一份专业的 OCR 体检报告。祝跑分顺利赞分享数据集AI 评测模型评测人工智能OCR【免费下载链接】olmOCR-bench项目地址https://ai.gitcode.com/hf_mirrors/allenai/olmOCR-bench点击查看免费下载相关推荐LongMemEval快速上手10分钟搭建环境完成第一次长期记忆评测新手完整教程LongMemEval快速上手10分钟搭建环境完成第一次长期记忆评测新手完整教程 LongMemEval 是一个用于 评测聊天助手长期交互记忆能力 的权模型评测AI 评测人工智能大模型如何快速上手Incus10分钟搭建你的第一个容器环境如何快速上手Incus10分钟搭建你的第一个容器环境 Incus是一款现代化的系统容器和虚拟机管理器它提供了强大而安全的容器管理功能让您能够快速部署和管理虚拟化云原生后端bloom快速上手5分钟搭建第一个LLM行为评估环境bloom快速上手5分钟搭建第一个LLM行为评估环境 Bloom是一款强大的自动化LLM行为评估工具能够帮助开发者快速检测大语言模型的各种行为表现如谄媚、上一篇SUBZERO-MD安全最佳实践隐私保护与合规使用指南下一篇3个方案让科研人员突破百度网盘限速直链提取工具全攻略创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考