Blip2 Opt 6.7b

🚀 BLIP-2, OPT-6.7b, 事前学習のみ

BLIP-2モデルは、OPT-6.7b（67億のパラメータを持つ大規模言語モデル）を活用しています。 このモデルは、Liらによる論文 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models で紹介され、最初は このリポジトリ で公開されました。

免責事項: BLIP-2を公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

このセクションでは、BLIP-2モデルの概要と基本的な使用方法を説明します。

✨ 主な機能

BLIP-2モデルは、画像とテキストの関連付けに特化した機能を備えており、以下のようなタスクに使用できます。

• 画像キャプショニング
• 視覚的質問応答 (VQA)
• 画像と会話履歴をプロンプトとして入力することで、チャットのような会話

📚 ドキュメント

モデルの説明

BLIP-2は3つのモデルで構成されています。CLIPのような画像エンコーダ、Querying Transformer (Q-Former)、および大規模言語モデルです。

著者らは、画像エンコーダと大規模言語モデルの重みを事前学習済みのチェックポイントから初期化し、それらを凍結したままQuerying Transformerを学習させます。Querying Transformerは、BERTのようなTransformerエンコーダで、一連の「クエリトークン」をクエリ埋め込みにマッピングします。これにより、画像エンコーダの埋め込み空間と大規模言語モデルの間のギャップを埋めます。

このモデルの目標は、クエリ埋め込みと以前のテキストを与えられたときに、次のテキストトークンを予測することです。

これにより、モデルは以下のようなタスクに使用できます。

• 画像キャプショニング
• 視覚的質問応答 (VQA)
• 画像と以前の会話をプロンプトとしてモデルに入力することで、チャットのような会話

直接利用と下流利用

画像とオプションのテキストを与えられた条件付きテキスト生成に生モデルを使用することができます。興味のあるタスクに関する微調整済みバージョンを探すには、モデルハブ を参照してください。

バイアス、リスク、制限事項、および倫理的考慮事項

BLIP2-OPTは、オフザシェルフのOPTを言語モデルとして使用しています。Metaのモデルカードで述べられているとおり、同じリスクと制限事項を引き継いでいます。

トレーニングデータの多様性（またはその欠如）がモデルの品質に下流的な影響を与える他の大規模言語モデルと同様に、OPT-175Bにはバイアスと安全性の面で制限があります。OPT-175Bは、生成の多様性と幻覚の面でも品質問題を抱えることがあります。一般的に、OPT-175Bは、現代の大規模言語モデルに悩まされる多くの問題から免れることはできません。

BLIP2は、インターネットから収集された画像-テキストデータセット（例：LAION）で微調整されています。その結果、モデル自体は、同等の不適切なコンテンツを生成したり、基盤となるデータに内在するバイアスを再現したりする可能性があります。

BLIP2は実世界のアプリケーションでテストされていません。いかなるアプリケーションにも直接展開すべきではありません。研究者は、まずモデルを展開する特定のコンテキストに関して、モデルの安全性と公正性を慎重に評価する必要があります。

使い方

コード例については、ドキュメント を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。