Git Large Coco

🚀 GIT (GenerativeImage2Text)、大型、COCOでファインチューニング済み

GIT（GenerativeImage2Textの略）モデルの大型版で、COCOデータセットでファインチューニングされています。このモデルは、Wangらによる論文 GIT: A Generative Image-to-text Transformer for Vision and Language で紹介され、このリポジトリ で最初に公開されました。

免責事項：GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

GITは、CLIPの画像トークンとテキストトークンの両方を条件とするTransformerデコーダです。このモデルは、多数の（画像、テキスト）ペアに対して「教師強制」を用いて訓練されています。

モデルの目的は、画像トークンと以前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスできます（つまり、双方向のアテンションマスクが使用されます）が、次のテキストトークンを予測する際には、以前のテキストトークンのみにアクセスできます（つまり、テキストトークンには因果的なアテンションマスクが使用されます）。

これにより、このモデルは以下のようなタスクに使用できます。

• 画像およびビデオのキャプション付け
• 画像およびビデオに対する視覚的質問応答（VQA）
• 画像分類（単に画像をモデルに入力し、テキストでクラスを生成させることで）

✨ 主な機能

このモデルは、画像トークンとテキストトークンを組み合わせることで、画像やビデオに関連する様々なタスクを行うことができます。双方向のアテンションマスクと因果的なアテンションマスクを使い分けることで、画像情報とテキスト情報を効果的に処理します。

📚 ドキュメント

想定される使用目的と制限

生のモデルを画像キャプション付けに使用することができます。関心のあるタスクに関するファインチューニング済みのバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

訓練データ

論文からの引用：

事前学習のために0.8Bの画像 - テキストペアを収集しました。これには、COCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)、およびHu et al. (2021a) と同様の収集手順に従った追加の0.6Bのデータが含まれます。

ただし、これは論文中で「GIT」と呼ばれるモデルのためのもので、オープンソース化されていません。

このチェックポイントは「GIT-large」で、2000万の画像 - テキストペアで訓練されたGITの小型バリアントです。

次に、このモデルはCOCOでファインチューニングされました。 詳細については、論文 の表11を参照してください。

前処理

訓練時の前処理の詳細については、元のリポジトリを参照してください。

検証時には、各画像の短辺をリサイズした後、固定サイズの解像度に中央クロッピングを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャンネル全体で正規化します。

評価結果

評価結果については、読者は 論文 を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。