Git Large Msrvtt Qa

🚀 GIT (GenerativeImage2Text)、大型、MSRVTT - QAでファインチューニング済み

GIT（GenerativeImage2Textの略）モデルの大型版で、MSRVTT - QAでファインチューニングされています。このモデルは、Wangらによる論文 GIT: A Generative Image - to - text Transformer for Vision and Language で紹介され、このリポジトリ で最初に公開されました。

免責事項：GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

📚 ドキュメント

モデルの説明

GITは、CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダです。このモデルは、多数の（画像、テキスト）ペアに対して「教師強制」を使用して訓練されています。

モデルの目的は、画像トークンと以前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスできます（つまり、双方向のアテンションマスクが使用されます）が、次のテキストトークンを予測する際には、以前のテキストトークンのみにアクセスできます（つまり、テキストトークンには因果的なアテンションマスクが使用されます）。

これにより、モデルは以下のようなタスクに使用できます。

• 画像および動画のキャプショニング
• 画像および動画に対する視覚的質問応答（VQA）
• 画像分類（単に画像を条件としてモデルに入力し、テキストでクラスを生成させることで）

想定される用途と制限

生のモデルを動画の質問応答（QA）に使用できます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

訓練データ

論文からの引用：

事前訓練のために0.8Bの画像 - テキストペアを収集しました。これには、COCO（Lin et al., 2014）、Conceptual Captions (CC3M)（Sharma et al., 2018）、SBU（Ordonez et al., 2011）、Visual Genome (VG)（Krishna et al., 2016）、Conceptual Captions (CC12M)（Changpinyo et al., 2021）、ALT200M（Hu et al., 2021a）、およびHu et al. (2021a) と同様の収集手順に従った追加の0.6Bのデータが含まれます。

=> ただし、これは論文で「GIT」と呼ばれるモデルに関するもので、オープンソース化されていません。

このチェックポイントは「GIT - base」で、1000万の画像 - テキストペアで訓練されたGITの小型バリアントです。

次に、モデルはMSRVTT - QAでファインチューニングされました。 詳細については、論文 の表11を参照してください。

前処理

訓練中の前処理の詳細については、元のリポジトリを参照してください。 検証中は、各画像の短辺をリサイズした後、固定サイズの解像度に中央切り抜きを行います。次に、フレームはImageNetの平均と標準偏差を使用してRGBチャネル全体で正規化されます。

評価結果

評価結果については、論文 を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。