Fusecap Image Captioning

🚀 FuseCap: 拡張された融合画像キャプションのための大規模言語モデルの活用

意味的に豊かな画像キャプションを生成するために設計されたフレームワークです。

🚀 クイックスタート

リソース

• 💻 プロジェクトページ：詳細については、公式のプロジェクトページをご覧ください。
• 📝 論文を読む：論文はこちらで見つけることができます。
• 🚀 デモ：FuseCapを使用して学習させたBLIPベースのモデルのデモを試してみてください。
• 📂 コードリポジトリ：FuseCapのコードはGitHubリポジトリで見つけることができます。
• 🗃️ データセット：融合キャプションのデータセットはこちらからアクセスできます。

モデルの実行

以下のコードを使用して、BLIPベースのモデルを実行できます。

💻 使用例

基本的な使用法

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration
import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
processor = BlipProcessor.from_pretrained("noamrot/FuseCap")
model = BlipForConditionalGeneration.from_pretrained("noamrot/FuseCap").to(device)

img_url = 'https://huggingface.co/spaces/noamrot/FuseCap/resolve/main/bike.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

text = "a picture of "
inputs = processor(raw_image, text, return_tensors="pt").to(device)

out = model.generate(**inputs, num_beams = 3)
print(processor.decode(out[0], skip_special_tokens=True))

🔜 今後のアップデート

このプロジェクトの公式コードベース、データセット、および学習済みモデルは近日公開予定です。

📚 ドキュメント

BibTeX

@inproceedings{rotstein2024fusecap,
  title={Fusecap: Leveraging large language models for enriched fused image captions},
  author={Rotstein, Noam and Bensa{\"\i}d, David and Brody, Shaked and Ganz, Roy and Kimmel, Ron},
  booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision},
  pages={5689--5700},
  year={2024}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。