Vit Base Patch16 224 Turkish Gpt2 Medium

🚀 vit-base-patch16-224-turkish-gpt2-medium

本視覺編解碼器模型採用 google/vit-base-patch16-224 作為編碼器，ytu-ce-cosmos/turkish-gpt2-medium 作為解碼器。它在 flickr8k-turkish 數據集上進行了微調，能夠生成土耳其語的圖像描述。

🚀 快速開始

模型概述

本模型是一個視覺編解碼器，結合了特定的編碼器和解碼器，並在特定數據集上微調，用於生成土耳其語的圖像描述。

使用示例

import torch
from transformers import VisionEncoderDecoderModel, ViTImageProcessor, AutoTokenizer
from PIL import Image

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_id = "atasoglu/vit-base-patch16-224-turkish-gpt2-medium"
img = Image.open("example.jpg")

feature_extractor = ViTImageProcessor.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = VisionEncoderDecoderModel.from_pretrained(model_id)
model.to(device)

features = feature_extractor(images=[img], return_tensors="pt")
pixel_values = features.pixel_values.to(device)

generated_captions = tokenizer.batch_decode(
    model.generate(pixel_values, max_new_tokens=20),
    skip_special_tokens=True,
)

print(generated_captions)

信息表格

📄 許可證

本項目採用 Apache-2.0 許可證。