オープンソースのBLIP-VQA-Baseビジュアル言語モデル - 無料でデプロイし、ビジュアル質問応答の難題を解決

ホーム

Blip Vqa Base

Salesforceによって開発

BLIPは統一された視覚言語事前学習フレームワークで、視覚質問応答タスクに優れており、言語-画像共同トレーニングによりマルチモーダル理解と生成能力を実現

テキスト生成画像

Transformers

オープンソースライセンス:Bsd-3-clause #マルチモーダル理解生成 #ゼロショット転移 #画像テキスト相互作用

ダウンロード数 1.9M

リリース時間 : 12/12/2022

モデル概要

ViTアーキテクチャに基づく視覚質問応答モデルで、画像内容を理解し関連質問に回答可能、条件付き/無条件画像キャプション生成をサポート

モデル特徴

統一理解と生成

視覚言語理解タスクと生成タスクを同時にサポートし、従来モデルの単一能力制限を突破

キャプションブートストラップ機構

ジェネレータで合成キャプションテキストを生成し、フィルタでノイズデータを除去することでトレーニングデータ品質を効果的に向上

ゼロショット転移能力

映像言語タスクなどの新領域で優れた汎化性能を発揮

モデル能力

画像内容理解

視覚質問応答

画像キャプション生成

マルチモーダル推論

使用事例

インテリジェントアシスタンス

視覚障害者支援

質問応答形式で視覚障害ユーザーに画像内容を説明

画像中の物体数を正確識別（例：1匹の犬を正しく識別）

コンテンツモデレーション

画像コンテンツ審査

画像内容を自動分析し特定質問に回答

🚀 BLIP: 統一的なビジョン言語理解と生成のための言語画像事前学習のブートストラッピング

視覚的質問応答に対して学習されたBLIPのモデルカード - 基本アーキテクチャ（ViTベースのバックボーンを使用）。

このモデルは、条件付きおよび非条件付きの画像キャプショニングに使用できます。


BLIPの公式リポジトリからの画像

🚀 クイックスタート

TL;DR

論文の著者は、概要で次のように書いています。

ビジョン言語事前学習（VLP）は、多くのビジョン言語タスクの性能を向上させてきました。しかし、既存のほとんどの事前学習モデルは、理解ベースのタスクまたは生成ベースのタスクのどちらか一方でのみ優れた性能を発揮します。さらに、性能向上は主に、ウェブから収集されたノイズの多い画像テキストペアを用いたデータセットの拡大によって達成されており、これは最適ではない監督ソースです。本論文では、ビジョン言語理解と生成タスクの両方に柔軟に適用できる新しいVLPフレームワークであるBLIPを提案します。BLIPは、キャプショナーが合成キャプションを生成し、フィルターがノイズの多いものを除去することで、ノイズの多いウェブデータを効果的に利用します。画像テキスト検索（平均recall@1で+2.7%）、画像キャプショニング（CIDErで+2.8%）、VQA（VQAスコアで+1.6%）など、幅広いビジョン言語タスクで最先端の結果を達成しています。また、BLIPは、ゼロショットでビデオ言語タスクに直接適用した場合にも、強い汎化能力を示します。コード、モデル、データセットが公開されています。

💻 使用例

基本的な使用法

このモデルを条件付きおよび非条件付きの画像キャプショニングに使用できます。

PyTorchモデルの使用

CPUでモデルを実行する

クリックして展開

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForQuestionAnswering

processor = BlipProcessor.from_pretrained("Salesforce/blip-vqa-base")
model = BlipForQuestionAnswering.from_pretrained("Salesforce/blip-vqa-base")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 1

GPUでモデルを実行する

フル精度で実行

クリックして展開

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForQuestionAnswering

processor = BlipProcessor.from_pretrained("Salesforce/blip-vqa-base")
model = BlipForQuestionAnswering.from_pretrained("Salesforce/blip-vqa-base").to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 1

半精度（`float16`）で実行

クリックして展開

import torch
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForQuestionAnswering

processor = BlipProcessor.from_pretrained("ybelkada/blip-vqa-base")
model = BlipForQuestionAnswering.from_pretrained("ybelkada/blip-vqa-base", torch_dtype=torch.float16).to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

question = "how many dogs are in the picture?"
inputs = processor(raw_image, question, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 1

🔧 技術的考察

このリリースは、学術論文のサポートのための研究目的のみを対象としています。当社のモデル、データセット、コードは、すべての下流の目的に特に設計または評価されていません。ユーザーは、このモデルを展開する前に、精度、安全性、公正性に関連する潜在的な懸念事項を評価し、対処することを強く推奨します。ユーザーは、AIの一般的な制限を考慮し、適用可能な法律を遵守し、特にエラーや誤用が人々の生活、権利、または安全に重大な影響を与える可能性のある高リスクシナリオの場合には、ベストプラクティスを活用することをお勧めします。ユースケースに関する詳細なガイダンスについては、当社のAUPおよびAI AUPを参照してください。

📄 ライセンス

このモデルはBSD 3条項ライセンスの下で提供されています。

BibTexと引用情報

@misc{https://doi.org/10.48550/arxiv.2201.12086,
  doi = {10.48550/ARXIV.2201.12086},
  
  url = {https://arxiv.org/abs/2201.12086},
  
  author = {Li, Junnan and Li, Dongxu and Xiong, Caiming and Hoi, Steven},
  
  keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}