Git Base Finetune

🚀 GIT (GenerativeImage2Text) ベースサイズ

GIT（GenerativeImage2Textの略）モデルのベースサイズ版です。このモデルは、Wangらによる論文 GIT: A Generative Image-to-text Transformer for Vision and Language で紹介され、このリポジトリ で最初に公開されました。

免責事項: GITを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

GITは、CLIPの画像トークンとテキストトークンの両方に条件付けられたTransformerデコーダーです。このモデルは、大量の（画像、テキスト）ペアに対して「教師強制」を用いて学習されています。

モデルの目標は、画像トークンと以前のテキストトークンを与えられたときに、次のテキストトークンを予測することです。

モデルは画像パッチトークンに完全にアクセスでき（すなわち、双方向のアテンションマスクが使用されます）、次のテキストトークンを予測する際には、以前のテキストトークンのみにアクセスできます（すなわち、テキストトークンには因果的なアテンションマスクが使用されます）。

これにより、モデルは以下のようなタスクに使用できます。

• 画像および動画のキャプション付け
• 画像および動画に対する視覚的質問応答（VQA）
• 画像分類（単に画像に条件付けて、モデルにテキストでクラスを生成させることで）

✨ 主な機能

想定される使用法と制限

生のモデルを画像キャプショニングに使用することができます。関心のあるタスクに関する微調整済みのバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

📦 インストール

このREADMEにはインストール手順に関する具体的な内容がありませんので、このセクションは省略されます。

💻 使用例

このREADMEにはコード例が含まれていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

論文からの引用:

事前学習のために0.8Bの画像 - テキストペアを収集しました。これには、COCO (Lin et al., 2014)、Conceptual Captions (CC3M) (Sharma et al., 2018)、SBU (Ordonez et al., 2011)、Visual Genome (VG) (Krishna et al., 2016)、Conceptual Captions (CC12M) (Changpinyo et al., 2021)、ALT200M (Hu et al., 2021a)、およびHu et al. (2021a) と同様の収集手順に従った追加の0.6Bのデータが含まれます。

=> ただし、これは論文で「GIT」と呼ばれているモデルに関するもので、オープンソース化されていません。

このチェックポイントは「GIT - base」で、1000万の画像 - テキストペアで学習されたGITの小さなバリアントです。

詳細については、論文 の表11を参照してください。

前処理

学習時の前処理の詳細については、元のリポジトリを参照してください。

検証時には、各画像の短い辺をリサイズした後、固定サイズの解像度に中央切り抜きを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャネル全体に正規化します。

評価結果

評価結果については、読者に 論文 を参照するように案内します。

🔧 技術詳細

このREADMEには具体的な技術実装の詳細が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。