Vit Gpt2 Image Captioning COCO FineTuned

🚀 vit-gpt2-image-captioning_COCO_FineTuned

本倉庫包含經過微調的ViT - GPT2圖像描述模型，該模型在COCO數據集上進行了訓練。此模型結合了用於圖像特徵提取的視覺變換器（ViT）和用於文本生成的GPT - 2，能夠根據圖像生成描述性的文字說明。

🚀 快速開始

你可以使用Hugging Face的transformers庫將此模型用於圖像描述任務。以下是加載模型併為輸入圖像生成描述的示例代碼。

📦 安裝指南

要使用此模型，你需要安裝以下庫：

pip install torch torchvision transformers
from transformers import VisionEncoderDecoderModel, ViTImageProcessor, GPT2Tokenizer
import torch
from PIL import Image

💻 使用示例

基礎用法

# 加載微調後的模型和分詞器
model = VisionEncoderDecoderModel.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
processor = ViTImageProcessor.from_pretrained("ashok2216/vit-gpt2-image-captioning_COCO_FineTuned")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

# 預處理圖像
image = Image.open("path_to_image.jpg")
inputs = processor(images=image, return_tensors="pt")

# 生成描述
pixel_values = inputs.pixel_values
output = model.generate(pixel_values)
caption = tokenizer.decode(output[0], skip_special_tokens=True)

print("Generated Caption:", caption)

輸入圖像示例

輸入圖像：

生成的描述： "A group of people walking down the street with umbrellas in their hands."

📚 詳細文檔

模型概述

此模型根據圖像中識別出的對象和上下文為輸入圖像生成描述。它在COCO數據集上進行了微調，該數據集包含各種帶有詳細註釋的圖像，適用於各種圖像描述任務。

模型細節

模型架構主要由兩個組件組成：

• 視覺變換器（ViT）：一個強大的圖像編碼器，用於從輸入圖像中提取特徵圖。
• GPT - 2：一個語言模型，用於生成類似人類的文本，並經過微調以根據提取的圖像特徵生成描述。

該模型經過訓練以實現以下功能：

• 從圖像中識別對象和場景。
• 生成語法正確且上下文準確的描述。

微調細節

• 數據集：COCO數據集（上下文中的常見對象）
• 圖像大小：224x224像素
• 訓練時間：在GPU上約12小時（取決於批量大小和硬件）
• 微調策略：我們使用COCO訓練集對ViT - GPT2模型進行了5個輪次的微調。

模型性能

此模型在各種圖像描述基準測試中表現良好。然而，其性能高度依賴於輸入圖像的多樣性和質量。如有必要，建議針對更特定的領域進一步微調或重新訓練該模型。

侷限性

• 該模型在為高度模糊或抽象的圖像生成準確描述時可能會遇到困難。
• 它主要在COCO數據集上進行訓練，對於與訓練數據上下文相似的圖像可能表現更好。

📄 許可證

此模型遵循MIT許可證。

🙏 致謝

• COCO數據集：該模型在廣泛用於圖像描述任務的COCO數據集上進行訓練。
• Hugging Face：提供了共享模型的平臺，並方便了基於變換器模型的使用。

📞 聯繫我們

如有任何問題，請聯繫Ashok Kumar。