OCR DocVQA Donut

🚀 Donut (ベースサイズのモデル、DocVQAでファインチューニング済み)

このDonutモデルはDocVQAでファインチューニングされています。Geewokらによる論文 OCR-free Document Understanding Transformer で導入され、このリポジトリ で最初に公開されました。

なお、Donutをリリースしたチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

このモデルは、文書の視覚的質問応答データセットであるDocVQAでファインチューニングされています。詳細なコード例を含むドキュメントは こちら を参照してください。

✨ 主な機能

Donutは、ビジョンエンコーダ（Swin Transformer）とテキストデコーダ（BART）で構成されています。画像が与えられると、エンコーダはまず画像を埋め込みのテンソル（形状はbatch_size, seq_len, hidden_size）にエンコードし、その後デコーダはエンコーダのエンコード結果を条件として、自己回帰的にテキストを生成します。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。