Image Caption Generator

🚀 画像キャプション生成器

このモデルは、画像を入力としてキャプションを生成するために、Flickr8k データセットで学習されています。

評価セットでは以下の結果を達成しています：

• eval_loss: 0.2536
• eval_runtime: 25.369
• eval_samples_per_second: 63.818
• eval_steps_per_second: 8.002
• epoch: 4.0
• step: 3236

🚀 クイックスタート

💻 使用例

基本的な使用法

# Load the pre-trained model from the model hub
from transformers import VisionEncoderDecoderModel, ViTFeatureExtractor, AutoTokenizer
import torch
from PIL import Image

model_name = "bipin/image-caption-generator"

# load model
model = VisionEncoderDecoderModel.from_pretrained(model_name)
feature_extractor = ViTFeatureExtractor.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained("gpt2")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# Load the image for which the caption is to be generated(note: replace the value of `img_name` with image of your choice)
### replace the value with your image
img_name = "flickr_data.jpg"
img = Image.open(img_name)
if img.mode != 'RGB':
    img = img.convert(mode="RGB")

# Pre-process the image
pixel_values = feature_extractor(images=[img], return_tensors="pt").pixel_values
pixel_values = pixel_values.to(device)

# Generate the caption
max_length = 128
num_beams = 4

# get model prediction
output_ids = model.generate(pixel_values, num_beams=num_beams, max_length=max_length)

# decode the generated prediction
preds = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(preds)

📚 ドキュメント

学習手順

このモデルの学習手順については、こちら を参照してください。

学習ハイパーパラメータ

学習時に使用されたハイパーパラメータは以下の通りです：

フレームワークのバージョン

• Transformers 4.16.2
• Pytorch 1.9.1
• Datasets 1.18.4
• Tokenizers 0.11.6