Monkeyocr Pro 1.2B

🚀 MonkeyOCR：基于结构-识别-关系三元组范式的文档解析

MonkeyOCR是一款创新的文档解析工具，采用结构-识别-关系（SRR）三元组范式，简化了模块化方法的多工具流程，避免了使用大型多模态模型处理全页文档的低效问题，在中英文文档解析任务中表现出色。

🚀 快速开始

1. 安装MonkeyOCR

conda create -n MonkeyOCR python=3.10
conda activate MonkeyOCR

git clone https://github.com/Yuliang-Liu/MonkeyOCR.git
cd MonkeyOCR

# 安装pytorch，根据你的cuda版本参考https://pytorch.org/get-started/previous-versions/
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124 
pip install -e .

2. 下载模型权重

你可以从Huggingface下载我们的模型：

pip install huggingface_hub

python tools/download_model.py

也可以从ModelScope下载：

pip install modelscope

python tools/download_model.py -t modelscope

3. 推理

# 确保在MonkeyOCR目录下
python parse.py path/to/your.pdf
# 或者以图像作为输入
python parse.py path/to/your/image
# 指定输出路径和模型配置文件路径
python parse.py path/to/your.pdf -o ./output -c config.yaml

输出结果

MonkeyOCR会生成三种类型的输出文件：

1. 处理后的Markdown文件 (your.md)：最终解析的文档内容，以Markdown格式呈现，包含文本、公式、表格等结构化元素。
2. 布局结果文件 (your_layout.pdf)：在原始PDF上绘制的布局结果。
3. 中间块结果文件 (your_middle.json)：一个JSON文件，包含所有检测到的块的详细信息，包括：
   • 块的坐标和位置
   • 块的内容和类型信息
   • 块之间的关系信息

这些文件既提供了最终格式化的输出，也提供了详细的中间结果，便于进一步分析或处理。

4. Gradio演示

# 为Gradio准备环境
pip install gradio==5.23.3
pip install pdf2image==1.17.0

# 启动演示
python demo/demo_gradio.py

修复RTX 3090 / 4090等GPU上的共享内存错误（可选）

我们的3B模型在NVIDIA RTX 3090上运行高效。但是，当使用LMDeploy作为推理后端时，在RTX 3090 / 4090 GPU上可能会遇到兼容性问题，特别是以下错误：

triton.runtime.errors.OutOfResources: out of resource: shared memory

要解决此问题，可以应用以下补丁：

python tools/lmdeploy_patcher.py patch

⚠️ 注意：此命令将修改你环境中LMDeploy的源代码。 要恢复更改，只需运行：

python tools/lmdeploy_patcher.py restore

特别感谢@pineking提供的解决方案！

切换推理后端（可选）

你可以按照以下步骤将推理后端切换为transformers：

1. 安装所需的依赖项（如果尚未安装）：

# 安装flash attention 2，你可以从https://github.com/Dao-AILab/flash-attention/releases/下载相应版本
pip install flash-attn==2.7.4.post1 --no-build-isolation

2. 打开model_configs.yaml文件
3. 将chat_config.backend设置为transformers
4. 根据你的GPU内存容量调整batch_size，以确保性能稳定

示例配置：

chat_config:
  backend: transformers
  batch_size: 10  # 根据你可用的GPU内存进行调整

✨ 主要特性

• 创新的三元组范式：MonkeyOCR采用结构-识别-关系（SRR）三元组范式，简化了多工具流程，避免了使用大型多模态模型处理全页文档的低效问题。
• 优异的性能表现：
  • 与基于管道的方法MinerU相比，在九种中英文文档类型上平均提高了5.1%，其中公式提高了15.0%，表格提高了8.6%。
  • 与端到端模型相比，我们的3B参数模型在英文文档上取得了最佳平均性能，优于Gemini 2.5 Pro和Qwen2.5 VL - 72B等模型。
• 高效的多页处理：对于多页文档解析，我们的方法达到了每秒0.84页的处理速度，超过了MinerU（0.65）和Qwen2.5 VL - 7B（0.12）。

📚 详细文档

介绍

MonkeyOCR采用结构-识别-关系（SRR）三元组范式，简化了模块化方法的多工具流程，避免了使用大型多模态模型处理全页文档的低效问题。

1. 与基于管道的方法MinerU相比，我们的方法在九种中英文文档类型上平均提高了5.1%，其中公式提高了15.0%，表格提高了8.6%。
2. 与端到端模型相比，我们的3B参数模型在英文文档上取得了最佳平均性能，优于Gemini 2.5 Pro和Qwen2.5 VL - 72B等模型。
3. 对于多页文档解析，我们的方法达到了每秒0.84页的处理速度，超过了MinerU（0.65）和Qwen2.5 VL - 7B（0.12）。

MonkeyOCR目前不支持拍摄的文档，但我们将在未来的更新中继续改进。请保持关注！ 目前，我们的模型部署在单个GPU上，因此如果太多用户同时上传文件，可能会出现“此应用程序当前繁忙”等问题。我们正在积极支持Ollama和其他部署解决方案，以确保更多用户获得更流畅的体验。此外，请注意，演示页面上显示的处理时间不仅反映了计算时间，还包括结果上传和其他开销。在高流量期间，此时间可能会更长。MonkeyOCR、MinerU和Qwen2.5 VL - 7B的推理速度是在H800 GPU上测量的。

🚀🚀🚀 中文视频教程（感谢leo009分享！）

• YouTube链接
• 哔哩哔哩链接

🔧 技术细节

基准测试结果

以下是我们的模型在OmniDocBench上的评估结果。MonkeyOCR - 3B使用DocLayoutYOLO作为结构检测模型，而MonkeyOCR - 3B*使用我们训练的结构检测模型，在中文性能上有所提升。

1. 不同任务的端到端评估结果

2. 9种PDF页面类型的端到端文本识别性能

3. MonkeyOCR与闭源和超大型开源VLM模型的比较

📄 许可证

文档中未提及相关内容，故跳过该章节。

💻 使用示例

可视化演示

立即体验我们的演示：点击进入

我们的演示简单易用：

1. 上传一个PDF或图像。
2. 点击“解析 (解析)”，让模型对输入文档进行结构检测、内容识别和关系预测。最终输出将是一个Markdown格式的文档。
3. 选择一个提示并点击“按提示测试”，让模型根据所选提示对图像进行内容识别。

公式文档示例

表格文档示例

报纸示例

财务报告示例

📚 引用

如果你想引用此处发布的基线结果，请使用以下BibTeX条目：

@misc{li2025monkeyocrdocumentparsingstructurerecognitionrelation,
      title={MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm}, 
      author={Zhang Li and Yuliang Liu and Qiang Liu and Zhiyin Ma and Ziyang Zhang and Shuo Zhang and Zidun Guo and Jiarui Zhang and Xinyu Wang and Xiang Bai},
      year={2025},
      eprint={2506.05218},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05218}, 
}