blip2-flan-t5-xlオープンソースビジュアル言語モデル - 無料で画像説明を生成し、ビジュアル質問応答を実現

ホーム

Blip2 Flan T5 Xl

Salesforceによって開発

BLIP-2はFlan T5-xlを基にした視覚言語モデルで、画像エンコーダーと大規模言語モデルの重みを凍結した状態で事前学習を行い、画像キャプション生成や視覚的質問応答などのタスクをサポートします。

画像生成テキスト

Transformers

英語オープンソースライセンス:MIT #画像キャプション生成 #視覚的質問応答 #凍結パラメータ訓練

ダウンロード数 91.77k

リリース時間 : 2/6/2023

モデル概要

BLIP-2は画像エンコーダー、クエリトランスフォーマー、大規模言語モデルを含み、クエリトランスフォーマーを訓練することで画像とテキストの埋め込み空間のギャップを埋め、画像キャプション生成や視覚的質問応答などのタスクに利用できます。

モデル特徴

凍結事前学習モデル

画像エンコーダーと大規模言語モデルの重みを凍結したまま、クエリトランスフォーマーのみを訓練することで、訓練効率を向上させます。

マルチタスクサポート

画像キャプション生成、視覚的質問応答、チャットのような対話など、様々なタスクをサポートします。

クエリトランスフォーマー

BERTのようなクエリトランスフォーマーを使用してクエリトークンをクエリ埋め込みにマッピングし、画像とテキストの埋め込み空間のギャップを埋めます。

モデル能力

画像キャプション生成

視覚的質問応答

画像テキスト対話

使用事例

画像理解

画像キャプション生成

入力画像に基づいて記述的なテキストを生成します。

視覚的質問応答

画像内容に関する自然言語の質問に答えます。

インタラクティブアプリケーション

画像対話

画像とテキストプロンプトに基づいてチャットのような対話を行います。

🚀 BLIP-2, Flan T5-xl, 事前学習のみ

BLIP-2モデルは、Flan T5-xl（大規模言語モデル）を活用しています。このモデルは、Liらによる論文 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models で紹介され、このリポジトリで最初に公開されました。

免責事項: BLIP-2を公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

このモデルは、画像とオプションのテキストを入力として条件付きテキスト生成に使用できます。興味のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

✨ 主な機能

画像キャプション生成
視覚的質問応答（VQA）
画像と過去の会話をプロンプトとしてモデルに入力することで、チャットのような会話が可能

📚 ドキュメント

モデルの説明

BLIP-2は3つのモデルで構成されています。CLIPのような画像エンコーダ、Querying Transformer（Q-Former）、および大規模言語モデルです。

著者らは、画像エンコーダと大規模言語モデルの重みを事前学習されたチェックポイントから初期化し、凍結したままにしています。一方で、Querying Transformerを訓練します。これは、BERTのようなTransformerエンコーダで、一連の「クエリトークン」をクエリ埋め込みにマッピングし、画像エンコーダの埋め込み空間と大規模言語モデルの間のギャップを埋めます。

このモデルの目標は、クエリ埋め込みと以前のテキストを与えられたときに、次のテキストトークンを予測することです。

drawing

直接利用と下流利用

画像とオプションのテキストを与えて条件付きテキスト生成に生のモデルを使用することができます。興味のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

バイアス、リスク、制限、および倫理的考慮事項

BLIP2-FlanT5は、オフザシェルフのFlan-T5を言語モデルとして使用しています。これは、Flan-T5 から同じリスクと制限を引き継いでいます。

Raeら（2021）によると、Flan-T5を含む言語モデルは、潜在的に有害な方法で言語生成に使用される可能性があります。Flan-T5は、アプリケーション固有の安全性と公平性の懸念を事前に評価せずに、直接アプリケーションで使用すべきではありません。

BLIP2は、インターネットから収集された画像テキストデータセット（例：LAION）で微調整されています。その結果、モデル自体は、同等の不適切なコンテンツを生成したり、基礎となるデータに内在するバイアスを再現したりする可能性があります。

BLIP2は、実世界のアプリケーションでテストされていません。いかなるアプリケーションにも直接展開すべきではありません。研究者は、まず、展開する特定のコンテキストに関連して、モデルの安全性と公平性を慎重に評価する必要があります。

倫理的考慮事項

このリリースは、学術論文をサポートするための研究目的のみです。当社のモデル、データセット、およびコードは、すべての下流の目的に特に設計または評価されていません。このモデルを展開する前に、ユーザーは精度、安全性、および公平性に関する潜在的な懸念を評価し、対処することを強くお勧めします。ユーザーは、AIの一般的な制限を考慮し、適用可能な法律を遵守し、ユースケースを選択する際に、特にエラーや誤用が人々の生活、権利、または安全に重大な影響を与える可能性のある高リスクシナリオについて、ベストプラクティスを活用することをお勧めします。ユースケースに関するさらなるガイダンスについては、当社のAUPおよびAI AUPを参照してください。

💻 使用例

基本的な使用法

コード例については、ドキュメントを参照してください。

CPUでモデルを実行する

クリックして展開

import requests
from PIL import Image
from transformers import BlipProcessor, Blip2ForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip2-flan-t5-xl")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-flan-t5-xl")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

高度な使用法

GPUでモデルを実行する

フル精度で

クリックして展開

# pip install accelerate
import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-flan-t5-xl")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-flan-t5-xl", device_map="auto")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

半精度（`float16`）で

クリックして展開

# pip install accelerate
import torch
import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-flan-t5-xl")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-flan-t5-xl", torch_dtype=torch.float16, device_map="auto")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

8ビット精度（`int8`）で

クリックして展開

# pip install accelerate bitsandbytes
import torch
import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-flan-t5-xl")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-flan-t5-xl", load_in_8bit=True, device_map="auto")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))