🚀 MonkeyOCR: 構造認識関係のトリプレットパラダイムによるドキュメント解析

MonkeyOCRは、構造認識関係（SRR）のトリプレットパラダイムを採用しています。これにより、モジュール方式のマルチツールパイプラインを簡素化し、大規模なマルチモーダルモデルを用いた全ページドキュメント処理の非効率性を回避します。

MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm
Zhang Li, Yuliang Liu, Qiang Liu, Zhiyin Ma, Ziyang Zhang, Shuo Zhang, Zidun Guo, Jiarui Zhang, Xinyu Wang, Xiang Bai

🚀 クイックスタート

1. MonkeyOCRのインストール

conda create -n MonkeyOCR python=3.10
conda activate MonkeyOCR

git clone https://github.com/Yuliang-Liu/MonkeyOCR.git
cd MonkeyOCR

# Install pytorch, see https://pytorch.org/get-started/previous-versions/ for your cuda version
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124 
pip install -e .

2. モデルウェイトのダウンロード

Huggingfaceからモデルをダウンロードします。

pip install huggingface_hub

python tools/download_model.py

ModelScopeからもモデルをダウンロードできます。

pip install modelscope

python tools/download_model.py -t modelscope

3. 推論

# Make sure in MonkeyOCR directory
python parse.py path/to/your.pdf
# or with image as input
pyhton parse.py path/to/your/image
# Specify output path and model configs path
python parse.py path/to/your.pdf -o ./output -c config.yaml

出力結果

MonkeyOCRは3種類の出力ファイルを生成します。

1. 処理済みMarkdownファイル (your.md)：最終的に解析されたドキュメント内容がMarkdown形式で保存され、テキスト、数式、テーブルなどの構造化要素が含まれます。
2. レイアウト結果 (your_layout.pdf)：元のPDFにレイアウト結果が描画されたものです。
3. 中間ブロック結果 (your_middle.json)：検出されたすべてのブロックの詳細情報が含まれるJSONファイルで、以下の情報が含まれます。
   • ブロックの座標と位置
   • ブロックの内容とタイプ情報
   • ブロック間の関係情報

これらのファイルは、最終的な整形された出力と詳細な中間結果の両方を提供し、さらなる分析や処理に利用できます。

4. Gradioデモ

# Prepare your env for gradio
pip install gradio==5.23.3
pip install pdf2image==1.17.0

# Start demo
python demo/demo_gradio.py

RTX 3090 / 4090 / ... GPUでの共有メモリエラーの修正 (オプション)

当社の3BモデルはNVIDIA RTX 3090で効率的に動作します。ただし、推論バックエンドとしてLMDeployを使用する場合、RTX 3090 / 4090 GPUで互換性の問題が発生することがあります。特に以下のエラーが発生することがあります。

triton.runtime.errors.OutOfResources: out of resource: shared memory

この問題を回避するために、以下のパッチを適用できます。

python tools/lmdeploy_patcher.py patch

⚠️ 注意: このコマンドは、環境内のLMDeployのソースコードを変更します。 変更を元に戻すには、次のコマンドを実行してください。

python tools/lmdeploy_patcher.py restore

@pinekingに解決策を提供していただき、心より感謝いたします！

推論バックエンドの切り替え (オプション)

以下の手順に従って、推論バックエンドをtransformersに切り替えることができます。

1. 必要な依存関係をインストールします（まだインストールされていない場合）。

   # install flash attention 2, you can download the corresponding version from https://github.com/Dao-AILab/flash-attention/releases/
   pip install flash-attn==2.7.4.post1 --no-build-isolation
   

2. model_configs.yamlファイルを開きます。
3. chat_config.backendをtransformersに設定します。
4. GPUのメモリ容量に応じてbatch_sizeを調整し、安定したパフォーマンスを確保します。

設定例：

chat_config:
  backend: transformers
  batch_size: 10  # Adjust based on your available GPU memory

✨ 主な機能

1. MonkeyOCRは、構造認識関係（SRR）のトリプレットパラダイムを採用しています。これにより、モジュール方式のマルチツールパイプラインを簡素化し、大規模なマルチモーダルモデルを用いた全ページドキュメント処理の非効率性を回避します。
2. パイプラインベースの手法であるMinerUと比較して、9種類の中国語と英語のドキュメントで平均5.1％の改善が見られ、数式では15.0％、テーブルでは8.6％の改善があります。
3. エンドツーエンドモデルと比較して、30億パラメータのモデルが英語ドキュメントで最高の平均パフォーマンスを達成し、Gemini 2.5 ProやQwen2.5 VL - 72Bなどのモデルを上回ります。
4. マルチページドキュメント解析では、毎秒0.84ページの処理速度に達し、MinerU（0.65）やQwen2.5 VL - 7B（0.12）を上回ります。

📚 ドキュメント

導入

MonkeyOCRは、構造認識関係（SRR）のトリプレットパラダイムを採用しています。これにより、モジュール方式のマルチツールパイプラインを簡素化し、大規模なマルチモーダルモデルを用いた全ページドキュメント処理の非効率性を回避します。

1. パイプラインベースの手法であるMinerUと比較して、9種類の中国語と英語のドキュメントで平均5.1％の改善が見られ、数式では15.0％、テーブルでは8.6％の改善があります。
2. エンドツーエンドモデルと比較して、30億パラメータのモデルが英語ドキュメントで最高の平均パフォーマンスを達成し、Gemini 2.5 ProやQwen2.5 VL - 72Bなどのモデルを上回ります。
3. マルチページドキュメント解析では、毎秒0.84ページの処理速度に達し、MinerU（0.65）やQwen2.5 VL - 7B（0.12）を上回ります。

MonkeyOCRは現在、写真ドキュメントをサポートしていませんが、将来的なアップデートで改善を続けていきます。ぜひ期待してください！ 現在、当社のモデルは単一のGPUで展開されているため、同時に多くのユーザーがファイルをアップロードすると、「このアプリケーションは現在ビジーです」などの問題が発生する場合があります。当社は、Ollamaや他の展開ソリューションのサポートに積極的に取り組んでおり、より多くのユーザーにスムーズな体験を提供するよう努めています。また、デモページに表示される処理時間は、計算時間だけでなく、結果のアップロードやその他のオーバーヘッドも含まれています。トラフィックが多い時期には、この時間が長くなる場合があります。MonkeyOCR、MinerU、およびQwen2.5 VL - 7Bの推論速度は、H800 GPUで測定されました。

🚀🚀🚀 中国語のビデオチュートリアル ( leo009 の共有に感謝！)

https://youtu.be/T9oaqp-IaZ0

https://www.bilibili.com/video/BV1sxKhztEx1/

ベンチマーク結果

ここでは、OmniDocBenchでの当社モデルの評価結果を示します。MonkeyOCR - 3BはDocLayoutYOLOを構造検出モデルとして使用していますが、MonkeyOCR - 3B*は中国語のパフォーマンスを向上させた独自の構造検出モデルを使用しています。

1. 異なるタスクのエンドツーエンド評価結果

2. 9種類のPDFページタイプにおけるエンドツーエンドのテキスト認識パフォーマンス

3. MonkeyOCRとクローズドソースおよび超大規模オープンソースVLMの比較

可視化デモ

デモを使ってすぐに体験してみましょう: http://vlrlabmonkey.xyz:7685

当社のデモはシンプルで使いやすいです。

1. PDFまたは画像をアップロードします。
2. 「Parse (解析)」をクリックすると、モデルが入力ドキュメントに対して構造検出、内容認識、関係予測を行います。最終的な出力はMarkdown形式のドキュメントになります。
3. プロンプトを選択し、「Test by prompt」をクリックすると、モデルが選択したプロンプトに基づいて画像の内容認識を行います。

数式ドキュメントの例

テーブルドキュメントの例

新聞の例

財務報告の例

📄 ライセンス

BibTeX形式での引用方法を以下に示します。

@misc{li2025monkeyocrdocumentparsingstructurerecognitionrelation,
      title={MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm}, 
      author={Zhang Li and Yuliang Liu and Qiang Liu and Zhiyin Ma and Ziyang Zhang and Shuo Zhang and Zidun Guo and Jiarui Zhang and Xinyu Wang and Xiang Bai},
      year={2025},
      eprint={2506.05218},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05218}, 
}

謝辞

[MinerU](https:/ などに感謝いたします。