Blip2 Opt 2.7b 8bit

🚀 BLIP-2, OPT-2.7b, 事前学習済みモデル

このモデルは、画像からテキストを生成するタスクに特化したBLIP-2モデルで、27億のパラメータを持つ大規模言語モデルであるOPT-2.7bを活用しています。

🚀 クイックスタート

BLIP-2モデルは、CLIPライクな画像エンコーダ、Querying Transformer (Q-Former)、大規模言語モデルの3つのモデルで構成されています。このモデルは、画像キャプション生成や視覚的質問応答（VQA）、チャットのような会話などのタスクに使用できます。

✨ 主な機能

• bitsandbytesによる量子化: 8-bit / fp4 / float16 / Safetensors
• 画像キャプション生成
• 視覚的質問応答（VQA）
• チャットのような会話

📚 ドキュメント

モデルの説明

BLIP-2は、3つのモデルで構成されています。CLIPライクな画像エンコーダ、Querying Transformer (Q-Former)、大規模言語モデルです。著者らは、画像エンコーダと大規模言語モデルの重みを事前学習済みのチェックポイントから初期化し、それらを凍結したままQuerying Transformerを学習させます。Querying Transformerは、一連の「クエリトークン」をクエリ埋め込みにマッピングするBERTライクなTransformerエンコーダで、画像エンコーダの埋め込み空間と大規模言語モデルの間のギャップを埋めます。

モデルの目標は、クエリ埋め込みと以前のテキストを与えて、次のテキストトークンを予測することです。

これにより、モデルは以下のようなタスクに使用できます。

• 画像キャプション生成
• 視覚的質問応答（VQA）
• 画像と以前の会話をプロンプトとしてモデルに入力することによるチャットのような会話

直接利用と下流利用

画像とオプションのテキストを与えて条件付きテキスト生成に生モデルを使用することができます。興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブを参照してください。

バイアス、リスク、制限、倫理的考慮事項

BLIP2-OPTは、オフザシェルフのOPTを言語モデルとして使用しています。Metaのモデルカードで述べられているのと同じリスクと制限を引き継いでいます。

訓練データの多様性（またはその欠如）がモデルの品質に下流的な影響を与える他の大規模言語モデルと同様に、OPT-175Bにはバイアスと安全性の面で制限があります。OPT-175Bはまた、生成の多様性と幻覚の面で品質問題を抱える可能性があります。一般的に、OPT-175Bは、現代の大規模言語モデルを悩ます数多くの問題から免れることはできません。

BLIP2は、インターネットから収集された画像-テキストデータセット（例：LAION）でファインチューニングされています。その結果、モデル自体は、同等の不適切なコンテンツを生成したり、基礎となるデータに内在するバイアスを複製したりする可能性があります。

BLIP2は、実世界のアプリケーションでテストされていません。いかなるアプリケーションにも直接展開すべきではありません。研究者は、まず特定のコンテキストに関するモデルの安全性と公正性を慎重に評価する必要があります。

💻 使用例

基本的な使用法

コード例については、ドキュメントを参照してください。

CPUでのモデルの実行

import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

GPUでのモデルの実行

フル精度での実行

# pip install accelerate
import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b", device_map="auto")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

半精度（float16）での実行

# pip install accelerate
import torch
import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b", torch_dtype=torch.float16, device_map="auto")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

8ビット精度（int8）での実行

# pip install accelerate bitsandbytes
import torch
import requests
from PIL import Image
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b", load_in_8bit=True, device_map="auto")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

📄 ライセンス

このモデルはMITライセンスの下で提供されています。