Rgb Language Cap

🚀 空間認識型ビジョン言語(VL)モデル

このモデルは、画像内のエンティティ間の空間的関係に関する追加情報を含むCOCOデータセットの画像を使用して学習された、画像からテキストを生成するためのシーケンス-to-シーケンスモデルです。アーキテクチャは、ViTエンコーダとGPT2デコーダで構成されています。

🚀 クイックスタート

必要条件

モデルのダウンロードと実行方法

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
from transformers import pipeline
image_captioner = pipeline("image-to-text", model="sadassa17/rgb-language_cap", max_new_tokens=200, device=device)
filename = 'path/to/file'
generated_captions = image_captioner(filename)
print(generated_captions)

このモデルは、最大200トークンで可能な限り多くの単語を生成するように学習されており、これはおおよそ5文に相当します。通常、6文目は切り捨てられます。

出力は常に「Object1」は「Object2」の「左/右など」にある、という形式になります。

💻 使用例

最大5つのキャプションを生成する場合

import os
def print_up_to_n_sentences(captions, n):
    for caption in captions:
        generated_text = caption.get('generated_text', '')
        sentences = generated_text.split('.')
        result = '.'.join(sentences[:n])
        #print(result)
    return result
filename = 'path/to/file'

generated_captions = image_captioner(filename)
captions = print_up_to_n_sentences(generated_captions, 5)
print(captions)

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。