Git Base Vqav2

🚀 GIT (GenerativeImage2Text)、ベースサイズ、VQAv2でファインチューニング済み

GIT（GenerativeImage2Textの略）モデルのベースサイズ版で、VQAv2でファインチューニングされています。このモデルは、Wangらによる論文 GIT: A Generative Image-to-text Transformer for Vision and Language で紹介され、最初は このリポジトリ で公開されました。

免責事項: GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

GITモデルは、画像とテキストの関係を扱うために設計された強力なモデルです。以下では、このモデルの詳細な説明、使用方法、トレーニングデータ、評価結果などを紹介します。

✨ 主な機能

• GITは、CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダです。
• モデルは多数の（画像、テキスト）ペアに対して「教師強制」を使用してトレーニングされています。
• 画像パッチトークンには完全にアクセスでき（双方向注意マスクが使用されます）、次のテキストトークンを予測する際には、前のテキストトークンのみにアクセスできます（テキストトークンには因果的注意マスクが使用されます）。
• このモデルは、画像およびビデオのキャプショニング、画像およびビデオの視覚的質問応答（VQA）、画像分類などのタスクに使用できます。

📚 ドキュメント

モデルの説明

GITは、CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダです。モデルは多数の（画像、テキスト）ペアに対して「教師強制」を使用してトレーニングされています。

モデルの目標は、画像トークンと前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスでき（双方向注意マスクが使用されます）、次のテキストトークンを予測する際には、前のテキストトークンのみにアクセスできます（テキストトークンには因果的注意マスクが使用されます）。

これにより、モデルは以下のようなタスクに使用できます。

• 画像およびビデオのキャプショニング
• 画像およびビデオの視覚的質問応答（VQA）
• 画像分類（単に画像を条件としてモデルにクラスをテキストで生成させることで）

想定される用途と制限

生のモデルを視覚的質問応答（VQA）に使用できます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

トレーニングデータ

論文からの引用:

事前トレーニングには0.8Bの画像 - テキストペアを収集しました。これには、COCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)、およびHu et al. (2021a) と同様の収集手順に従った追加の0.6Bのデータが含まれます。

ただし、これは論文中で「GIT」と呼ばれるモデルのもので、オープンソース化されていません。

このチェックポイントは「GIT - base」で、1000万の画像 - テキストペアでトレーニングされたGITの小さなバリアントです。

次に、モデルはVQAv2でファインチューニングされました。

詳細については、論文 の表11を参照してください。

前処理

トレーニング時の前処理の詳細については、元のリポジトリを参照してください。

検証時には、各画像の短辺をリサイズした後、固定サイズの解像度に中央切り抜きを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャンネル全体で正規化します。

評価結果

評価結果については、読者は 論文 を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。