Microsoft Git Base

🚀 GIT (GenerativeImage2Text)、ベースサイズ

GIT（GenerativeImage2Textの略）モデルのベースサイズ版です。このモデルは、Wangらによる論文 GIT: A Generative Image-to-text Transformer for Vision and Language で紹介され、このリポジトリ で最初に公開されました。

免責事項：GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

モデルの説明

GITは、CLIP画像トークンとテキストトークンの両方を条件とするTransformerデコーダです。このモデルは、多数の（画像、テキスト）ペアに対して「教師強制」を使用して学習されています。

このモデルの目標は、画像トークンと以前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスでき（すなわち、双方向の注意マスクが使用されます）、次のテキストトークンを予測する際には、以前のテキストトークンのみにアクセスできます（すなわち、テキストトークンには因果的な注意マスクが使用されます）。

これにより、このモデルは以下のようなタスクに使用できます。

• 画像およびビデオのキャプション付け
• 画像およびビデオに対する視覚的質問応答（VQA）
• 画像分類（単に画像をモデルに入力し、テキストでクラスを生成させることで）

想定される用途と制限

生のモデルを画像キャプション付けに使用することができます。関心のあるタスクに関するファインチューニング済みのバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

📦 インストール

このREADMEにはインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

論文から引用：

事前学習のために0.8Bの画像 - テキストペアを収集しました。これには、COCO（Linら、2014）、Conceptual Captions (CC3M)（Sharmaら、2018）、SBU（Ordonezら、2011）、Visual Genome (VG)（Krishnaら、2016）、Conceptual Captions (CC12M)（Changpinyoら、2021）、ALT200M（Huら、2021a）、およびHuら（2021a）と同様の収集手順に従った追加の0.6Bのデータが含まれます。

ただし、これは論文中で「GIT」と呼ばれているモデルに関するものであり、オープンソース化されていません。

このチェックポイントは「GIT - base」であり、1000万の画像 - テキストペアで学習されたGITの小さなバリアントです。 詳細については、論文 の表11を参照してください。

前処理

学習時の前処理の詳細については、元のリポジトリを参照してください。 検証時には、各画像の短辺をリサイズした後、固定サイズの解像度にセンタークロップを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャネル全体で正規化します。

評価結果

評価結果については、読者は 論文 を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。