Fusecap Image Captioning

🚀 FuseCap：利用大語言模型生成豐富的融合圖像描述

FuseCap 是一個旨在生成語義豐富的圖像描述的框架，能夠為圖像提供更精準、豐富的文本描述。

🚀 快速開始

我們基於 BLIP 的模型可以使用以下代碼運行：

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration
import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
processor = BlipProcessor.from_pretrained("noamrot/FuseCap")
model = BlipForConditionalGeneration.from_pretrained("noamrot/FuseCap").to(device)

img_url = 'https://huggingface.co/spaces/noamrot/FuseCap/resolve/main/bike.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

text = "a picture of "
inputs = processor(raw_image, text, return_tensors="pt").to(device)

out = model.generate(**inputs, num_beams = 3)
print(processor.decode(out[0], skip_special_tokens=True))

✨ 主要特性

FuseCap 框架專為生成語義豐富的圖像描述而設計，能夠藉助大語言模型的能力，為圖像生成更具深度和豐富度的描述信息。

📚 詳細文檔

資源鏈接

• 💻 項目頁面：如需更多詳情，請訪問官方 項目頁面。
• 📝 閱讀論文：你可以在 這裡 找到相關論文。
• 🚀 演示體驗：可以嘗試我們基於 BLIP 並使用 FuseCap 訓練的模型 演示。
• 📂 代碼倉庫：FuseCap 的代碼可以在 GitHub 倉庫 中找到。
• 🗃️ 數據集：融合描述數據集可以從 這裡 獲取。

即將更新內容

該項目的官方代碼庫、數據集和訓練好的模型即將發佈。

BibTeX 引用

@inproceedings{rotstein2024fusecap,
  title={Fusecap: Leveraging large language models for enriched fused image captions},
  author={Rotstein, Noam and Bensa{\"\i}d, David and Brody, Shaked and Ganz, Roy and Kimmel, Ron},
  booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision},
  pages={5689--5700},
  year={2024}
}

📄 許可證

本項目採用 MIT 許可證。