Kosmos 2 PokemonCards Trl Merged

🚀 Transformersライブラリ

Transformersライブラリは、画像からテキストを生成するための強力なツールです。このライブラリを使えば、画像に関する情報をテキスト形式で取得できます。

🚀 クイックスタート

このライブラリを使って画像からテキストを生成する方法を紹介します。以下のコード例を参考にしてください。

💻 使用例

基本的な使用法

from transformers import AutoProcessor, Kosmos2ForConditionalGeneration
import torch
from io import BytesIO
import requests
from PIL import Image

processor = AutoProcessor.from_pretrained("microsoft/kosmos-2-patch14-224")
my_model = Kosmos2ForConditionalGeneration.from_pretrained("Mit1208/Kosmos-2-PokemonCards-trl-merged", device_map="auto",low_cpu_mem_usage=True)

# load image
image_url = "https://images.pokemontcg.io/sm9/24_hires.png"
response = requests.get(image_url)
# Read the image from the response content
image = Image.open(BytesIO(response.content))

prompt = "Pokemon name is"

inputs = processor(text=prompt, images=image, return_tensors="pt").to("cuda:0")
with torch.no_grad():
    # autoregressively generate completion
    generated_ids = my_model.generate(**inputs, max_new_tokens=30,)
# convert generated token IDs back to strings
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_text.split("</image>")[-1].split(" and")[0] + ".")

'''
Output: Pokemon name is Wartortle.
'''

✨ 主な機能

• 画像からテキストを生成する機能を提供します。
• 事前学習済みのモデルを利用して、高精度なテキスト生成が可能です。

📚 ドキュメント

モデル詳細

• 開発者: [https://huggingface.co/Mit1208]
• ファインチューニング元のモデル: [microsoft/kosmos-2-patch14-224]

学習詳細

学習に関する詳細は、こちらのリンクを参照してください。 https://github.com/mit1280/fined-tuning/blob/main/Kosmos_2_fine_tune_PokemonCards_trl.ipynb

推論詳細

推論に関する詳細は、こちらのリンクを参照してください。 https://github.com/mit1280/fined-tuning/blob/main/kosmos2_fine_tuned_inference.ipynb

制限事項

このモデルは無料のColabバージョンを使ってファインチューニングされたため、学習には300サンプルのみを85エポック使用しました。モデルは頻繁に幻想を生成するため、後処理が必要です。この問題を解決する別のアプローチは、学習データを更新すること - 会話データを使用するまたはトークナイザのパディングトークンをトークナイザのeosトークンに更新することです。

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。