Image Caption Generator

🚀 圖像字幕生成器

本模型旨在解決為圖像生成描述性字幕的問題，通過在特定數據集上進行訓練，能夠根據輸入的圖像輸出準確且有意義的文字描述，為圖像理解和信息傳遞提供了有效的解決方案。

🚀 快速開始

本模型在 Flickr8k 數據集上進行訓練，可根據給定的圖像生成字幕。 它在評估集上取得了以下結果：

• 評估損失：0.2536
• 評估運行時間：25.369
• 每秒評估樣本數：63.818
• 每秒評估步數：8.002
• 輪數：4.0
• 步數：3236

📦 安裝指南

使用transformers庫運行此模型，可按照以下步驟操作：

1. 從模型中心加載預訓練模型

from transformers import VisionEncoderDecoderModel, ViTFeatureExtractor, AutoTokenizer
import torch
from PIL import Image

model_name = "bipin/image-caption-generator"

# 加載模型
model = VisionEncoderDecoderModel.from_pretrained(model_name)
feature_extractor = ViTFeatureExtractor.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained("gpt2")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

2. 加載要生成字幕的圖像（注意：將 img_name 的值替換為你選擇的圖像）

### 將值替換為你的圖像
img_name = "flickr_data.jpg"
img = Image.open(img_name)
if img.mode != 'RGB':
    img = img.convert(mode="RGB")

3. 對圖像進行預處理

pixel_values = feature_extractor(images=[img], return_tensors="pt").pixel_values
pixel_values = pixel_values.to(device)

4. 生成字幕

max_length = 128
num_beams = 4

# 獲取模型預測結果
output_ids = model.generate(pixel_values, num_beams=num_beams, max_length=max_length)

# 解碼生成的預測結果
preds = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(preds)

📚 詳細文檔

訓練過程

訓練此模型的具體過程可參考 此處。

訓練超參數

訓練期間使用了以下超參數：

框架版本

• Transformers 4.16.2
• Pytorch 1.9.1
• Datasets 1.18.4
• Tokenizers 0.11.6