Kosmos 2.5

🚀 Kosmos-2.5

Kosmos-2.5は、テキストが多い画像の機械読み取り用のマルチモーダル言語モデルです。大規模なテキスト主体の画像で事前学習され、2つの異なるが協調的な転写タスクで優れた性能を発揮します。

Microsoft Document AI | GitHub

✨ 主な機能

Kosmos-2.5は、テキストが多い画像の機械読み取り用のマルチモーダル言語モデルです。大規模なテキスト主体の画像で事前学習され、以下の2つの異なるが協調的な転写タスクで優れた性能を発揮します。

1. 空間認識テキストブロックの生成：各テキストブロックに画像内の空間座標が割り当てられます。
2. 構造化テキスト出力の生成：スタイルと構造をMarkdown形式に変換します。

この統一されたマルチモーダル言語能力は、共有デコーダーのみの自己回帰型Transformerアーキテクチャ、タスク固有のプロンプト、および柔軟なテキスト表現によって実現されます。Kosmos-2.5は、エンドツーエンドのドキュメントレベルのテキスト認識と画像からMarkdownテキスト生成について評価されています。さらに、このモデルは、教師あり微調整によって異なるプロンプトで任意のテキスト主体の画像理解タスクに容易に適応できるため、テキストが豊富な画像を扱う実世界のアプリケーションに汎用的なツールとなります。この研究は、マルチモーダル大規模言語モデルの将来的な拡張に道を開きます。

Kosmos-2.5: A Multimodal Literate Model

⚠️ 重要提示

これは生成モデルであるため、生成プロセス中に幻覚のリスクがあり、画像内のすべてのOCR/Markdown結果の精度を保証できません。

💻 使用例

基本的な使用法

Markdownタスク：使用方法については、md.pyを参照してください。

OCRタスク：使用方法については、ocr.pyを参照してください。

📚 ドキュメント

Kosmos-2.5をあなたの研究で役立つと思われる場合は、次の論文を引用してください。

@article{lv2023kosmos,
  title={Kosmos-2.5: A multimodal literate model},
  author={Lv, Tengchao and Huang, Yupan and Chen, Jingye and Cui, Lei and Ma, Shuming and Chang, Yaoyao and Huang, Shaohan and Wang, Wenhui and Dong, Li and Luo, Weiyao and others},
  journal={arXiv preprint arXiv:2309.11419},
  year={2023}
}

📄 ライセンス

このプロジェクト自体の内容は、MITライセンスの下で提供されています。

Microsoft Open Source Code of Conduct