Git Large Vatex

🚀 GIT (GenerativeImage2Text)、大規模版、VATEXでファインチューニング済み

GIT（GenerativeImage2Textの略）モデルの大規模版で、VATEXでファインチューニングされています。このモデルは、Wangらによる論文GIT: A Generative Image-to-text Transformer for Vision and Languageで紹介され、最初はthis repositoryで公開されました。

免責事項: GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

📚 ドキュメント

モデルの説明

GITは、CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダです。このモデルは、多数の（画像、テキスト）ペアに対して「教師強制」を使用して学習されます。

モデルの目標は、画像トークンと以前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスできます（つまり、双方向の注意マスクが使用されます）が、次のテキストトークンを予測する際には、以前のテキストトークンのみにアクセスできます（つまり、テキストトークンには因果的な注意マスクが使用されます）。

これにより、モデルは以下のようなタスクに使用できます。

• 画像および動画のキャプション付け
• 画像および動画に対する視覚的質問応答（VQA）
• 画像分類（単にモデルを画像に条件付け、テキストでクラスを生成させることで）

想定される使用法と制限

生のモデルを動画のキャプション付けに使用することができます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブを参照してください。

使い方

コード例については、ドキュメントを参照してください。

学習データ

論文から引用：

事前学習のために0.8Bの画像 - テキストペアを収集しました。これには、COCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)、およびHu et al. (2021a)と同様の収集手順に従って収集された追加の0.6Bのデータが含まれます。

ただし、これは論文中で「GIT」と呼ばれるモデルに関するもので、オープンソース化されていません。

このチェックポイントは「GIT-large」で、2000万の画像 - テキストペアで学習されたGITの小規模バリアントです。

次に、モデルはVATEXでファインチューニングされました。 詳細については、論文の表11を参照してください。

前処理

学習時の前処理の詳細については、元のリポジトリを参照してください。

検証時には、各画像の短辺をリサイズした後、固定サイズの解像度に中央切り抜きを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャンネル全体に正規化します。

評価結果

評価結果については、読者は論文を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。