IBM Granite-Docling-258M 是一款专为端到端文档转换设计的开源轻量级视觉语言模型，能高精度提取文档中的表格、公式、代码等内容并保留原始布局。
1、主要功能
支持图像+文本输入，输出结构化文本（如 DocTags、Markdown、HTML）。
精确识别并提取文档中的表格、公式、代码、标题、列表等元素。
保留文档原始布局和阅读顺序，适用于复杂排版文档。
支持多语言（英语为主，实验性支持中文、日语、阿拉伯语）。
可输出 IBM 自定义的 DocTags 格式，便于后续格式转换与数据索引。
2、技术原理
基于 Idefics3 架构，采用 Granite 3（165M）语言模型与 SigLIP2 视觉编码器。
使用 nanoVLM 训练框架，参数量为 258M，兼顾精度与效率。
输出为 DocTags 标记语言，表示文档结构、元素坐标与关系，便于机器解析。
通过大量清洗与过滤训练数据，提升模型稳定性，避免重复令牌等问题。
3、应用场景
企业文档数字化：将PDF、图片等转换为可编辑、可检索的结构化文本。
RAG（检索增强生成）系统：为知识库、问答系统提供高质量文档输入。
教育科研：提取论文、教材中的公式、表格、图表等内容。
法律、金融、医疗等行业：处理结构化报告、合同、发票等文档。
4、使用方法
方式一：使用 Docling 库（推荐）
安装：pip install docling
命令行转换：docling --to html --to md --pipeline vlm --vlm-model granite_docling "your_document.pdf"
Python调用：使用 DocumentConverter 类进行转换。
方式二：使用 Transformers 库
加载模型与处理器，输入图像与指令，生成 DocTags 输出。
方式三：使用 vLLM 批量处理
支持高并发推理，适合大规模文档处理。
方式四：Apple Silicon 优化（MLX）
安装 mlx-vlm，在 Mac 本地高效运行。
5、适用人群
企业开发者：集成文档处理流程，提升自动化水平。
数据科学家：构建RAG系统、知识图谱等应用。
教育工作者与研究人员：处理学术文档、教材、论文等。
AI 开发者与爱好者：探索轻量级多模态模型在实际场景中的应用。
6、优缺点介绍
优点：
模型轻量（258M参数），推理速度快，资源占用低。
支持复杂文档结构识别，输出格式丰富，保留布局信息。
开源免费，支持多种部署方式（Transformers、vLLM、ONNX、MLX）。
针对 Apple Silicon 优化，适合本地部署。
缺点：
多语言支持尚处于实验阶段，非英文文档识别精度可能较低。
对图像质量要求较高，模糊或复杂背景可能影响识别效果。
当前主要支持静态文档，动态或交互式内容处理能力有限。
分类标签推荐：
AI模型、文档识别、视觉语言模型、OCR替代、开源工具、企业数字化、RAG支持、轻量级AI、跨平台部署、结构化输出