Dolphin

🚀 ドルフィン: 異種アンカープロンプトによる文書画像解析

Dolphin（Document Image Parsing via Heterogeneous Anchor Prompting）は、解析してからパースするパラダイムに従う、新しいマルチモーダル文書画像解析モデルです。このモデルは、テキスト段落、図、数式、表などの複雑に絡み合った要素を扱うために設計された2段階アプローチを通じて、複雑な文書理解の課題に対処します。

🚀 クイックスタート

近日中にデモを公開予定です。お楽しみに！

詳細な使用方法については、GitHubリポジトリを参照してください。

• ページ単位の解析: 文書画像全体に対する解析
• 要素単位の解析: 要素（段落、表、数式）画像に対する解析

✨ 主な機能

文書画像解析は、テキスト段落、図、数式、表などの複雑に絡み合った要素のために困難です。Dolphinは、次の2段階アプローチでこれらの課題に対処します。

1. 第1段階: 自然な読み順で要素シーケンスを生成することによる包括的なページレベルのレイアウト解析
2. 第2段階: 異種アンカーとタスク固有のプロンプトを使用した文書要素の効率的な並列パース

Dolphinは、軽量なアーキテクチャと並列パースメカニズムにより、多様なページレベルと要素レベルのパースタスクで有望なパフォーマンスを達成し、優れた効率性を確保します。

🔧 技術詳細

モデルアーキテクチャ

Dolphinは、トランスフォーマーを使用したビジョンエンコーダーデコーダーアーキテクチャに基づいて構築されています。

• ビジョンエンコーダー: 文書画像から視覚的特徴を抽出するためのSwin Transformerに基づいています。
• テキストデコーダー: 視覚的特徴からテキストをデコードするためのMBartに基づいています。
• プロンプトベースのインターフェース: パースタスクを制御するために自然言語プロンプトを使用します。

このモデルは、Transformersエコシステムとの簡単な統合のために、Hugging FaceのVisionEncoderDecoderModelとして実装されています。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

引用

@inproceedings{dolphin2025,
  title={Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting},
  author={Feng, Hao and Wei, Shu and Fei, Xiang and Shi, Wei and Han, Yingdong and Liao, Lei and Lu, Jinghui and Wu, Binghong and Liu, Qi and Lin, Chunhui and Tang, Jingqun and Liu, Hao and Huang, Can},
  year={2025},
  booktitle={Proceedings of the 65rd Annual Meeting of the Association for Computational Linguistics (ACL)}
}

謝辞

このモデルは、いくつかのオープンソースプロジェクトに基づいて構築されています。

• Hugging Face Transformers
• Donut
• Nougat
• Swin Transformer