Blip Image Captioning

🚀 圖像到文本生成模型

本項目是一個圖像到文本生成模型，基於Blip架構，利用MMInstruction/M3IT數據集訓練，可根據輸入圖像生成描述性文本。

🚀 快速開始

依賴安裝

確保你已經安裝了transformers、torch和Pillow庫。如果沒有安裝，可以使用以下命令進行安裝：

pip install transformers torch pillow

代碼運行

以下是使用該模型進行圖像描述生成的示例代碼：

from transformers import BlipProcessor, BlipForConditionalGeneration
import torch
from PIL import Image

processor = BlipProcessor.from_pretrained("prasanna2003/blip-image-captioning")
if processor.tokenizer.eos_token is None:
    processor.tokenizer.eos_token = '<|eos|>'
model = BlipForConditionalGeneration.from_pretrained("prasanna2003/blip-image-captioning")

image = Image.open('file_name.jpg').convert('RGB')

prompt = """Instruction: Generate a single line caption of the Image.
output: """

inputs = processor(image, prompt, return_tensors="pt")

output = model.generate(**inputs, max_length=100)
print(processor.tokenizer.decode(output[0]))

代碼說明

1. 模型和處理器加載：使用BlipProcessor和BlipForConditionalGeneration從預訓練模型中加載處理器和模型。
2. 圖像讀取：使用PIL庫打開並轉換圖像為RGB格式。
3. 輸入提示：定義一個提示，要求模型生成圖像的單行描述。
4. 輸入處理：使用處理器將圖像和提示轉換為模型可以接受的輸入張量。
5. 文本生成：使用模型生成描述性文本，並使用處理器的分詞器進行解碼輸出。

📦 模型信息