Hindi Image Captioning

🚀 ヒンディー語画像キャプション生成モデル

このモデルは、VIT エンコーダと GPT2-Hindi デコーダを用いたエンコーダ・デコーダ方式の画像キャプション生成モデルです。これは、画像キャプション生成タスクに ViT + GPT2-Hindi を使用する最初の試みです。モデルの学習には、Kaggle で入手可能な Flickr8k ヒンディー語データセットを使用しました。

このモデルは、Huggingface が主催する HuggingFace コースコミュニティウィークの期間中に学習されました。

🚀 クイックスタート

💻 使用例

基本的な使用法

import torch
import requests
from PIL import Image
from transformers import ViTFeatureExtractor, AutoTokenizer, \
                         VisionEncoderDecoderModel

if torch.cuda.is_available():
    device = 'cuda'
else:
    device = 'cpu'

url = 'https://shorturl.at/fvxEQ'
image = Image.open(requests.get(url, stream=True).raw)

encoder_checkpoint = 'google/vit-base-patch16-224'
decoder_checkpoint = 'surajp/gpt2-hindi'
model_checkpoint = 'team-indain-image-caption/hindi-image-captioning'
feature_extractor = ViTFeatureExtractor.from_pretrained(encoder_checkpoint)
tokenizer = AutoTokenizer.from_pretrained(decoder_checkpoint)
model = VisionEncoderDecoderModel.from_pretrained(model_checkpoint).to(device)

#Inference
sample = feature_extractor(image, return_tensors="pt").pixel_values.to(device)
clean_text = lambda x: x.replace('<|endoftext|>','').split('\n')[0]

caption_ids = model.generate(sample, max_length = 50)[0]
caption_text = clean_text(tokenizer.decode(caption_ids))
print(caption_text)

📚 ドキュメント

📦 学習データ

モデルの学習には、Kaggle で入手可能な元の Flickr8k データセットを翻訳したバージョンである Flickr8k ヒンディー語データセットを使用しました。

🔧 学習手順

このモデルは、Huggingface が主催する HuggingFace コースコミュニティウィークの期間中に学習されました。学習は Kaggle GPU 上で行われました。

🔧 学習パラメータ

👥 チームメンバー

• Sean Benhur
• Herumb Shandilya