Vit Gpt2 Image Captioning COCO FineTuned

🚀 vit-gpt2-image-captioning_COCO_FineTuned

このリポジトリには、COCOデータセットで学習された、画像キャプション生成用の微調整済みViT - GPT2モデルが含まれています。このモデルは、画像特徴抽出にVision Transformer (ViT) を、テキスト生成にGPT - 2を組み合わせて、画像から説明的なキャプションを生成します。

✨ 主な機能

このモデルは、入力画像内の物体とコンテキストに基づいてキャプションを生成します。COCOデータセットで微調整されており、多様な画像と詳細な注釈が含まれているため、様々な画像キャプション生成タスクに適しています。

📦 インストール

このモデルを使用するには、以下のライブラリをインストールする必要があります。

pip install torch torchvision transformers
from transformers import VisionEncoderDecoderModel, ViTImageProcessor, GPT2Tokenizer
import torch
from PIL import Image

💻 使用例

基本的な使用法

# 微調整済みモデルとトークナイザーを読み込む
model = VisionEncoderDecoderModel.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
processor = ViTImageProcessor.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

# 画像を前処理する
image = Image.open("path_to_image.jpg")
inputs = processor(images=image, return_tensors="pt")

# キャプションを生成する
pixel_values = inputs.pixel_values
output = model.generate(pixel_values)
caption = tokenizer.decode(output[0], skip_special_tokens=True)

print("Generated Caption:", caption)

入力画像と生成されたキャプションの例

入力画像:

生成されたキャプション: "A group of people walking down the street with umbrellas in their hands."

📚 ドキュメント

モデル概要

モデルの詳細

このモデルのアーキテクチャは、2つの主要なコンポーネントで構成されています。

• Vision Transformer (ViT): 入力画像から特徴マップを抽出する強力な画像エンコーダー。
• GPT - 2: 人間に近いテキストを生成する言語モデルで、抽出された画像特徴に基づいてキャプションを生成するように微調整されています。

このモデルは以下のことを学習しています。

• 画像から物体やシーンを認識する。
• 文法的に正しく、文脈的に正確なキャプションを生成する。

微調整の詳細

• データセット: COCOデータセット (common objects in context)
• 画像サイズ: 224x224ピクセル
• 学習時間: GPUで約12時間 (バッチサイズとハードウェアに依存)
• 微調整戦略: COCOの学習分割を使用して、ViT - GPT2モデルを5エポック微調整しました。

モデルの性能

このモデルは、様々な画像キャプション生成ベンチマークで良好な性能を発揮します。ただし、その性能は入力画像の多様性と品質に大きく依存します。必要に応じて、より特定のドメインに対してモデルをさらに微調整または再学習することをおすすめします。

制限事項

• このモデルは、非常に曖昧または抽象的な画像に対して正確なキャプションを生成するのに苦労する場合があります。
• 主にCOCOデータセットで学習されているため、学習データと類似したコンテキストの画像でより良い性能を発揮する可能性があります。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

謝辞

• COCOデータセット: このモデルは、画像キャプション生成タスクで広く使用されているCOCOデータセットで学習されました。
• Hugging Face: モデルを共有し、Transformerベースのモデルを簡単に使用できるプラットフォームを提供しています。

お問い合わせ

ご質問がある場合は、Ashok Kumarまでお問い合わせください。