🚀 BLIP: 統一的なビジョン言語理解と生成のための言語画像事前学習のブートストラッピング
このモデルは、COCOデータセットで事前学習された画像キャプショニング用のモデルです(ViTベースのバックボーンを持つベースアーキテクチャ)。
 |
BLIP公式リポジトリからの画像引用 |
🚀 クイックスタート
このモデルは、条件付きおよび非条件付きの画像キャプショニングに使用できます。
✨ 主な機能
このモデルは、多くのビジョン言語タスクの性能向上に貢献します。既存の多くの事前学習モデルが理解ベースまたは生成ベースのタスクのいずれかに特化しているのに対し、BLIPはビジョン言語の理解と生成の両方のタスクに柔軟に対応できます。また、ウェブから収集されたノイズの多い画像テキストペアを効果的に利用し、多くのビジョン言語タスクで最先端の結果を達成しています。
📦 インストール
このモデルを使用するには、transformers
ライブラリが必要です。必要に応じてrequests
とPillow
もインストールしてください。
pip install transformers requests pillow
💻 使用例
基本的な使用法
CPUでのモデル実行
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration
processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg'
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')
text = "a photography of"
inputs = processor(raw_image, text, return_tensors="pt")
out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
inputs = processor(raw_image, return_tensors="pt")
out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
GPUでのモデル実行
フル精度での実行
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration
processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base").to("cuda")
img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg'
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')
text = "a photography of"
inputs = processor(raw_image, text, return_tensors="pt").to("cuda")
out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
inputs = processor(raw_image, return_tensors="pt").to("cuda")
out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
半精度(float16
)での実行
import torch
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration
processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base", torch_dtype=torch.float16).to("cuda")
img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg'
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')
text = "a photography of"
inputs = processor(raw_image, text, return_tensors="pt").to("cuda", torch.float16)
out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
inputs = processor(raw_image, return_tensors="pt").to("cuda", torch.float16)
out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
📚 ドキュメント
TL;DR
論文の著者は、概要で以下のように書いています。
ビジョン言語事前学習(VLP)は、多くのビジョン言語タスクの性能を向上させました。しかし、既存のほとんどの事前学習モデルは、理解ベースのタスクまたは生成ベースのタスクのいずれかにのみ優れています。さらに、性能向上は主に、ウェブから収集されたノイズの多い画像テキストペアを使用したデータセットの拡大によって達成されており、これは最適な監督ソースではありません。本論文では、ビジョン言語の理解と生成の両方のタスクに柔軟に転移できる新しいVLPフレームワークであるBLIPを提案します。BLIPは、キャプションをブートストラップすることでノイズの多いウェブデータを効果的に利用します。具体的には、キャプショナーが合成キャプションを生成し、フィルターがノイズの多いキャプションを除去します。我々は、画像テキスト検索(平均recall@1で+2.7%)、画像キャプショニング(CIDErで+2.8%)、VQA(VQAスコアで+1.6%)など、幅広いビジョン言語タスクで最先端の結果を達成しました。また、BLIPはゼロショットでビデオ言語タスクに直接転移させた場合にも強い汎化能力を示します。コード、モデル、およびデータセットが公開されています。
🔧 技術詳細
このモデルは、COCOデータセットで事前学習された画像キャプショニング用のモデルです。ベースアーキテクチャはViTベースのバックボーンを持ち、ビジョン言語の理解と生成の両方のタスクに柔軟に対応できます。また、ウェブから収集されたノイズの多い画像テキストペアを効果的に利用するために、キャプションをブートストラップする手法を用いています。
📄 ライセンス
このモデルは、BSD 3条項ライセンスの下で提供されています。
⚠️ 重要提示
このリリースは学術論文のサポートを目的とした研究用です。当社のモデル、データセット、およびコードは、すべての下流の目的に特に設計または評価されていません。ユーザーは、このモデルをデプロイする前に、精度、安全性、および公正性に関連する潜在的な問題を評価し、対処することを強くお勧めします。ユーザーは、AIの一般的な制限を考慮し、適用可能な法律を遵守し、特にエラーや誤用が人々の生活、権利、または安全に重大な影響を与える可能性のある高リスクシナリオのユースケースを選択する際には、ベストプラクティスを利用することをお勧めします。ユースケースに関する詳細なガイダンスについては、当社のAUPおよびAI AUPを参照してください。
BibTex and citation info
@misc{https://doi.org/10.48550/arxiv.2201.12086,
doi = {10.48550/ARXIV.2201.12086},
url = {https://arxiv.org/abs/2201.12086},
author = {Li, Junnan and Li, Dongxu and Xiong, Caiming and Hoi, Steven},
keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}