Git Large Vqav2

🚀 GIT (GenerativeImage2Text) 大規模版、VQAv2でファインチューニング済み

GIT（GenerativeImage2Textの略）モデルの大規模版で、VQAv2でファインチューニングされています。このモデルは、Wangらによる論文 GIT: A Generative Image-to-text Transformer for Vision and Language で紹介され、最初は このリポジトリ で公開されました。

免責事項: GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

GIT (GenerativeImage2Text) の大規模版で、VQAv2データセットでファインチューニングされたモデルです。画像やビデオのキャプショニング、視覚的質問応答、画像分類などのタスクに使用できます。

✨ 主な機能

• CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダーで構成されています。
• 大量の（画像、テキスト）ペアを用いて「教師強制」で訓練されています。
• 画像パッチトークンには双方向のアテンションマスクを使用し、テキストトークンには因果的なアテンションマスクを使用しています。

📚 ドキュメント

モデルの説明

GITは、CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダーです。このモデルは、大量の（画像、テキスト）ペアに対して「教師強制」を用いて訓練されています。

モデルの目的は、画像トークンと以前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスでき（すなわち、双方向のアテンションマスクが使用されます）、次のテキストトークンを予測する際には、以前のテキストトークンのみにアクセスできます（すなわち、テキストトークンには因果的なアテンションマスクが使用されます）。

これにより、モデルは以下のようなタスクに使用できます。

• 画像およびビデオのキャプショニング
• 画像およびビデオに対する視覚的質問応答（VQA）
• 画像分類（画像を条件としてモデルにクラスをテキストで生成させるだけで）

想定される用途と制限

生のモデルを視覚的質問応答（VQA）に使用することができます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

訓練データ

論文から引用:

事前学習のために0.8Bの画像 - テキストペアを収集しました。これにはCOCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)、およびHu et al. (2021a) と同様の収集手順に従った追加の0.6Bのデータが含まれます。

ただし、これは論文で「GIT」と呼ばれているモデルに関するもので、オープンソース化されていません。

このチェックポイントは「GIT-large」で、2000万の画像 - テキストペアで訓練されたGITの小規模バリアントです。

次に、モデルはVQAv2でファインチューニングされました。

詳細については、論文 の表11を参照してください。

前処理

訓練時の前処理の詳細については、元のリポジトリを参照してください。

検証時には、各画像の短辺をリサイズした後、固定サイズの解像度に中央クロッピングを行います。次に、フレームはImageNetの平均と標準偏差を用いてRGBチャネル全体で正規化されます。

評価結果

評価結果については、読者に 論文 を参照するようお勧めします。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。