Kosmos 2.5

🚀 Kosmos-2.5

Kosmos-2.5是一款用於文本密集型圖像機器閱讀的多模態模型。它在大規模文本密集型圖像上進行預訓練，能夠出色完成兩種不同但相互協作的轉錄任務，為文本豐富圖像的相關實際應用提供了通用解決方案，也為多模態大語言模型的未來發展奠定了基礎。

Microsoft Document AI | GitHub

🚀 快速開始

推理

• Markdown任務：使用說明請參考 md.py。
• OCR任務：使用說明請參考 ocr.py。

✨ 主要特性

Kosmos-2.5是用於文本密集型圖像機器閱讀的多模態模型。在大規模文本密集型圖像上進行預訓練後，Kosmos-2.5在兩項不同但相互協作的轉錄任務中表現出色：

1. 生成具有空間感知的文本塊：為圖像中的每個文本塊分配其在圖像內的空間座標。
2. 生成結構化文本輸出：將樣式和結構轉換為Markdown格式。

這種統一的多模態能力是通過共享的僅解碼器自迴歸Transformer架構、特定任務的提示和靈活的文本表示來實現的。我們在端到端文檔級文本識別和圖像到Markdown文本生成任務上對Kosmos-2.5進行了評估。此外，通過有監督的微調，該模型可以使用不同的提示輕鬆適應任何文本密集型圖像理解任務，使其成為處理富含文本圖像的現實應用的通用工具。這項工作也為多模態大語言模型的未來擴展鋪平了道路。

Kosmos-2.5: A Multimodal Literate Model

📚 詳細文檔

注意事項

⚠️ 重要提示

由於這是一個生成式模型，在生成過程中存在幻覺風險，並且無法保證圖像中所有OCR/Markdown結果的準確性。

引用

如果您在研究中發現Kosmos-2.5很有用，請引用以下論文：

@article{lv2023kosmos,
  title={Kosmos-2.5: A multimodal literate model},
  author={Lv, Tengchao and Huang, Yupan and Chen, Jingye and Cui, Lei and Ma, Shuming and Chang, Yaoyao and Huang, Shaohan and Wang, Wenhui and Dong, Li and Luo, Weiyao and others},
  journal={arXiv preprint arXiv:2309.11419},
  year={2023}
}

📄 許可證

本項目的內容遵循 MIT 許可協議。

Microsoft Open Source Code of Conduct