Vit Base Patch16 224 Turkish Gpt2

🚀 vit-base-patch16-224-turkish-gpt2

この画像符号化器 - 復号器モデルは、エンコーダとしてgoogle/vit-base-patch16-224を、デコーダとしてytu-ce-cosmos/turkish-gpt2を使用しています。また、トルコ語の画像キャプションを生成するために、flickr8k-turkishデータセットでファインチューニングされています。

🚀 クイックスタート

このモデルを使って画像のキャプションを生成することができます。以下に使用例を示します。

💻 使用例

基本的な使用法

import torch
from transformers import VisionEncoderDecoderModel, ViTImageProcessor, AutoTokenizer
from PIL import Image

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_id = "atasoglu/vit-base-patch16-224-turkish-gpt2"
img = Image.open("example.jpg")

feature_extractor = ViTImageProcessor.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = VisionEncoderDecoderModel.from_pretrained(model_id)
model.to(device)

features = feature_extractor(images=[img], return_tensors="pt")
pixel_values = features.pixel_values.to(device)

generated_captions = tokenizer.batch_decode(
    model.generate(pixel_values, max_new_tokens=20),
    skip_special_tokens=True,
)

print(generated_captions)

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。