olmOCR是由艾伦人工智能研究所（AI2）开发的开源OCR工具，旨在高效地将PDF文件和其他文档转换为结构化的纯文本。
一、主要功能
PDF文本提取与线性化：将PDF文件转换为Dolma风格的JSONL格式文本，保留自然阅读顺序。
复杂内容识别：支持处理表格、数学公式和手写文本，并输出结构化结果。
多节点并行处理：支持通过AWS S3协调多节点任务，适合处理数百万PDF。
GPU加速推理：利用本地GPU和sglang技术，实现高效文档处理。
灵活的工作区管理：支持本地或云端工作区，存储处理结果和中间数据。
评估与过滤工具：提供并排评估工具，比较不同OCR管道版本；支持基于语言的过滤和SEO垃圾信息移除。
模型微调支持：提供Qwen2-VL和Molmo-O的微调代码，方便用户定制模型。
二、技术原理
olmOCR基于大语言模型构建完整的PDF处理流程，采用分布式架构，支持单机和多节点并行处理，并利用sglang实现GPU加速推理。它通过巧妙的提示词工程技术（如ChatGPT 4o）提高文本解析的准确性和效率。
三、应用场景
olmOCR适用于以下场景：
学术文献数字化：高效提取学术论文中的文本和结构化信息。
企业级文档库转换：将企业内部的PDF文档转换为结构化文本，便于后续处理。
AI训练数据集构建：为语言模型训练提供高质量的文本数据。
历史文档内容恢复：处理模糊扫描件和复杂表格，恢复历史文档内容。
四、使用方法
1. 硬件要求
需要配备近期NVIDIA GPU（如RTX 4090、L40S、A100、H100）以及至少30GB的空闲磁盘空间。
2. 安装步骤
在Ubuntu/Debian系统上安装依赖工具和字体。
设置conda环境并安装olmOCR。
如果需要在GPU上运行推理，还需安装sglang。
3. 本地使用示例
转换单个PDF：python -m olmocr.pipeline ./localworkspace --pdfs tests/gnarly_pdfs/horribleocr.pdf。
转换多个PDF：python -m olmocr.pipeline ./localworkspace --pdfs tests/gnarly_pdfs/*.pdf。
查看结果：使用dolmaviewer命令查看提取结果。
4. 多节点/集群使用
如果需要处理海量PDF文档，olmOCR支持通过AWS S3协调多个节点并行处理。
五、适用人群
olmOCR适用于以下人群：
研究人员：需要处理大量学术文献和复杂文档。
企业用户：需要高效转换企业级文档库。
开发者：希望通过开源工具进行二次开发和模型定制。
六、优缺点介绍
优点
开源免费：提供完整代码和文档，方便二次开发。
高效精准：支持GPU加速和多节点并行处理，处理效率高。
功能强大：支持复杂内容识别，如表格、公式和手写文本。
低成本：处理100万页文档的成本仅约190美元。
缺点
使用门槛高：需要多种系统依赖，安装和部署较为复杂。
语言支持有限：目前主要针对英文文档优化。
文档有待完善：仍处于早期开发阶段，部分文档不够详细。
**分类标签：**开源工具、OCR识别、文档处理、自然语言处理