Rgb Language Cap

🚀 空間認識型ビジョン言語（VL）モデル

このモデルは、画像内のエンティティ間の空間関係に関する追加情報を含むCOCOデータセットの画像で学習された、画像キャプショニング用のシーケンス-to-シーケンスモデルです。アーキテクチャは、ViTエンコーダとGPT2デコーダで構成されています。

🚀 クイックスタート

必要条件

• 4GBのGPU RAM
• CUDA対応のDocker

モデルのダウンロードと実行方法

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
from transformers import pipeline
image_captioner = pipeline("image-to-text", model="voxreality/rgb-language_cap", max_new_tokens=200, device=device)
filename = 'path/to/file'
generated_captions = image_captioner(filename)
print(generated_captions)

このモデルは、最大200トークンで可能な限り多くの単語を生成するように学習されており、これはおおよそ5文に相当し、6文目は通常切り捨てられます。

出力は常に「Object1」は「Object2」の「左/右など」にある、という形式になります。

💻 使用例

基本的な使用法

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
from transformers import pipeline
image_captioner = pipeline("image-to-text", model="voxreality/rgb-language_cap", max_new_tokens=200, device=device)
filename = 'path/to/file'
generated_captions = image_captioner(filename)
print(generated_captions)

高度な使用法

最大5つのキャプションを生成する場合

import os
def print_up_to_n_sentences(captions, n):
    for caption in captions:
        generated_text = caption.get('generated_text', '')
        sentences = generated_text.split('.')
        result = '.'.join(sentences[:n])
        #print(result)
    return result
filename = 'path/to/file'

generated_captions = image_captioner(filename)
captions = print_up_to_n_sentences(generated_captions, 5)
print(captions)

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

情報一覧