オープンソースのPic2Storyモデル - BLIPに基づく画像記述の生成と理解を実現し、無料で使いやすい

ホーム

Pic2story

abhijit2111によって開発

BLIPは統一された視覚-言語事前学習フレームワークで、画像キャプション生成と理解タスクに優れており、ガイド付き記述生成を通じてノイズネットワークデータを効果的に活用します

画像生成テキスト

Transformers

オープンソースライセンス:Bsd-3-clause #マルチモーダル理解生成 #ゼロショットビデオ転移 #ノイズデータフィルタリング

ダウンロード数 140

リリース時間 : 4/9/2024

モデル概要

このモデルはCOCOデータセットで事前学習された画像キャプション生成モデルで、ViT大型バックボーンネットワークアーキテクチャを採用し、条件付きおよび無条件の画像キャプション生成をサポートします

モデル特徴

統一視覚-言語フレームワーク

視覚-言語理解と生成タスクに柔軟に転移可能

ガイド付き記述生成

記述ジェネレータとフィルタを通じてノイズネットワークデータを効果的に活用

マルチタスク適応

画像キャプション生成、画像テキスト検索、視覚的質問応答など多様なタスクをサポート

モデル能力

画像キャプション生成

視覚-言語理解

条件付きテキスト生成

無条件テキスト生成

使用事例

コンテンツ生成

自動画像タグ付け

画像に記述的なテキストを生成

COCOデータセットでCIDEr指標2.8%向上

情報検索

画像テキスト検索

テキストクエリに基づいて関連画像をマッチング

平均リコール@1が2.7%向上

インテリジェントQA

視覚的質問応答

画像内容に関する質問に回答

VQAスコア1.6%向上

🚀 BLIP: 統一されたビジョン言語理解と生成のための言語画像事前学習のブートストラッピング

このモデルは、画像をテキストに変換するためのもので、COCOデータセットで事前学習された画像キャプショニングモデルです。バックエンドのパラメータを少し調整してテスト用にしています。特に、返答の長さを増やしています。


画像はBLIPの公式リポジトリから引用。画像ソース: https://github.com/salesforce/BLIP

🚀 クイックスタート

このモデルは、条件付きおよび条件なしの画像キャプショニングに使用できます。

✨ 主な機能

柔軟にビジョン言語理解と生成タスクに転用できる新しいVLPフレームワークです。
ノイズの多いウェブデータを効果的に利用し、合成キャプションを生成し、ノイズを除去します。
幅広いビジョン言語タスクで最先端の結果を達成します。

📚 ドキュメント

TL;DR

論文の著者は、概要で次のように書いています。

ビジョン言語事前学習（VLP）は、多くのビジョン言語タスクのパフォーマンスを向上させています。しかし、ほとんどの既存の事前学習モデルは、理解ベースのタスクまたは生成ベースのタスクのいずれかでのみ優れています。さらに、パフォーマンスの向上は、ウェブから収集されたノイズの多い画像テキストペアを使用してデータセットを拡大することで主に達成されていますが、これは最適な監督ソースではありません。この論文では、BLIPという新しいVLPフレームワークを提案します。これは、ビジョン言語理解と生成タスクの両方に柔軟に転用できます。BLIPは、キャプショナーが合成キャプションを生成し、フィルターがノイズを除去することで、ノイズの多いウェブデータを効果的に利用します。画像テキスト検索（平均recall@1で+2.7%）、画像キャプショニング（CIDErで+2.8%）、VQA（VQAスコアで+1.6%）など、幅広いビジョン言語タスクで最先端の結果を達成します。また、BLIPは、ゼロショット方式でビデオ言語タスクに直接転用する際にも強い汎化能力を示します。コード、モデル、データセットが公開されています。

💻 使用例

基本的な使用法

PyTorchモデルをCPUで実行する場合

クリックして展開

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-large")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-large")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

# 条件付き画像キャプショニング
text = "a photography of"
inputs = processor(raw_image, text, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

# 条件なし画像キャプショニング
inputs = processor(raw_image, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

PyTorchモデルをGPUで実行する場合

フル精度で実行する場合

クリックして展開

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-large")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-large").to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

# 条件付き画像キャプショニング
text = "a photography of"
inputs = processor(raw_image, text, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

# 条件なし画像キャプショニング
inputs = processor(raw_image, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))

半精度（`float16`）で実行する場合

クリックして展開

import torch
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-large")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-large", torch_dtype=torch.float16).to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

# 条件付き画像キャプショニング
text = "a photography of"
inputs = processor(raw_image, text, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
# >>> a photography of a woman and her dog

# 条件なし画像キャプショニング
inputs = processor(raw_image, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
# >>> a woman sitting on the beach with her dog

📄 ライセンス

このモデルは、BSD 3条項ライセンスの下で提供されています。

BibTexと引用情報

@misc{https://doi.org/10.48550/arxiv.2201.12086,
  doi = {10.48550/ARXIV.2201.12086},
  
  url = {https://arxiv.org/abs/2201.12086},
  
  author = {Li, Junnan and Li, Dongxu and Xiong, Caiming and Hoi, Steven},
  
  keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}