Monkeyocr Pro 1.2B

🚀 MonkeyOCR：基於結構-識別-關係三元組範式的文檔解析

MonkeyOCR是一款創新的文檔解析工具，採用結構-識別-關係（SRR）三元組範式，簡化了模塊化方法的多工具流程，避免了使用大型多模態模型處理全頁文檔的低效問題，在中英文文檔解析任務中表現出色。

🚀 快速開始

1. 安裝MonkeyOCR

conda create -n MonkeyOCR python=3.10
conda activate MonkeyOCR

git clone https://github.com/Yuliang-Liu/MonkeyOCR.git
cd MonkeyOCR

# 安裝pytorch，根據你的cuda版本參考https://pytorch.org/get-started/previous-versions/
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124 
pip install -e .

2. 下載模型權重

你可以從Huggingface下載我們的模型：

pip install huggingface_hub

python tools/download_model.py

也可以從ModelScope下載：

pip install modelscope

python tools/download_model.py -t modelscope

3. 推理

# 確保在MonkeyOCR目錄下
python parse.py path/to/your.pdf
# 或者以圖像作為輸入
python parse.py path/to/your/image
# 指定輸出路徑和模型配置文件路徑
python parse.py path/to/your.pdf -o ./output -c config.yaml

輸出結果

MonkeyOCR會生成三種類型的輸出文件：

1. 處理後的Markdown文件 (your.md)：最終解析的文檔內容，以Markdown格式呈現，包含文本、公式、表格等結構化元素。
2. 佈局結果文件 (your_layout.pdf)：在原始PDF上繪製的佈局結果。
3. 中間塊結果文件 (your_middle.json)：一個JSON文件，包含所有檢測到的塊的詳細信息，包括：
   • 塊的座標和位置
   • 塊的內容和類型信息
   • 塊之間的關係信息

這些文件既提供了最終格式化的輸出，也提供了詳細的中間結果，便於進一步分析或處理。

4. Gradio演示

# 為Gradio準備環境
pip install gradio==5.23.3
pip install pdf2image==1.17.0

# 啟動演示
python demo/demo_gradio.py

修復RTX 3090 / 4090等GPU上的共享內存錯誤（可選）

我們的3B模型在NVIDIA RTX 3090上運行高效。但是，當使用LMDeploy作為推理後端時，在RTX 3090 / 4090 GPU上可能會遇到兼容性問題，特別是以下錯誤：

triton.runtime.errors.OutOfResources: out of resource: shared memory

要解決此問題，可以應用以下補丁：

python tools/lmdeploy_patcher.py patch

⚠️ 注意：此命令將修改你環境中LMDeploy的源代碼。 要恢復更改，只需運行：

python tools/lmdeploy_patcher.py restore

特別感謝@pineking提供的解決方案！

切換推理後端（可選）

你可以按照以下步驟將推理後端切換為transformers：

1. 安裝所需的依賴項（如果尚未安裝）：

# 安裝flash attention 2，你可以從https://github.com/Dao-AILab/flash-attention/releases/下載相應版本
pip install flash-attn==2.7.4.post1 --no-build-isolation

2. 打開model_configs.yaml文件
3. 將chat_config.backend設置為transformers
4. 根據你的GPU內存容量調整batch_size，以確保性能穩定

示例配置：

chat_config:
  backend: transformers
  batch_size: 10  # 根據你可用的GPU內存進行調整

✨ 主要特性

• 創新的三元組範式：MonkeyOCR採用結構-識別-關係（SRR）三元組範式，簡化了多工具流程，避免了使用大型多模態模型處理全頁文檔的低效問題。
• 優異的性能表現：
  • 與基於管道的方法MinerU相比，在九種中英文文檔類型上平均提高了5.1%，其中公式提高了15.0%，表格提高了8.6%。
  • 與端到端模型相比，我們的3B參數模型在英文文檔上取得了最佳平均性能，優於Gemini 2.5 Pro和Qwen2.5 VL - 72B等模型。
• 高效的多頁處理：對於多頁文檔解析，我們的方法達到了每秒0.84頁的處理速度，超過了MinerU（0.65）和Qwen2.5 VL - 7B（0.12）。

📚 詳細文檔

介紹

MonkeyOCR採用結構-識別-關係（SRR）三元組範式，簡化了模塊化方法的多工具流程，避免了使用大型多模態模型處理全頁文檔的低效問題。

1. 與基於管道的方法MinerU相比，我們的方法在九種中英文文檔類型上平均提高了5.1%，其中公式提高了15.0%，表格提高了8.6%。
2. 與端到端模型相比，我們的3B參數模型在英文文檔上取得了最佳平均性能，優於Gemini 2.5 Pro和Qwen2.5 VL - 72B等模型。
3. 對於多頁文檔解析，我們的方法達到了每秒0.84頁的處理速度，超過了MinerU（0.65）和Qwen2.5 VL - 7B（0.12）。

MonkeyOCR目前不支持拍攝的文檔，但我們將在未來的更新中繼續改進。請保持關注！ 目前，我們的模型部署在單個GPU上，因此如果太多用戶同時上傳文件，可能會出現“此應用程序當前繁忙”等問題。我們正在積極支持Ollama和其他部署解決方案，以確保更多用戶獲得更流暢的體驗。此外，請注意，演示頁面上顯示的處理時間不僅反映了計算時間，還包括結果上傳和其他開銷。在高流量期間，此時間可能會更長。MonkeyOCR、MinerU和Qwen2.5 VL - 7B的推理速度是在H800 GPU上測量的。

🚀🚀🚀 中文視頻教程（感謝leo009分享！）

• YouTube鏈接
• 嗶哩嗶哩鏈接

🔧 技術細節

基準測試結果

以下是我們的模型在OmniDocBench上的評估結果。MonkeyOCR - 3B使用DocLayoutYOLO作為結構檢測模型，而MonkeyOCR - 3B*使用我們訓練的結構檢測模型，在中文性能上有所提升。

1. 不同任務的端到端評估結果

2. 9種PDF頁面類型的端到端文本識別性能

3. MonkeyOCR與閉源和超大型開源VLM模型的比較

📄 許可證

文檔中未提及相關內容，故跳過該章節。

💻 使用示例

可視化演示

立即體驗我們的演示：點擊進入

我們的演示簡單易用：

1. 上傳一個PDF或圖像。
2. 點擊“解析 (解析)”，讓模型對輸入文檔進行結構檢測、內容識別和關係預測。最終輸出將是一個Markdown格式的文檔。
3. 選擇一個提示並點擊“按提示測試”，讓模型根據所選提示對圖像進行內容識別。

公式文檔示例

表格文檔示例

報紙示例

財務報告示例

📚 引用

如果你想引用此處發佈的基線結果，請使用以下BibTeX條目：

@misc{li2025monkeyocrdocumentparsingstructurerecognitionrelation,
      title={MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm}, 
      author={Zhang Li and Yuliang Liu and Qiang Liu and Zhiyin Ma and Ziyang Zhang and Shuo Zhang and Zidun Guo and Jiarui Zhang and Xinyu Wang and Xiang Bai},
      year={2025},
      eprint={2506.05218},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05218}, 
}