Rgb Language Cap

🚀 空間感知視覺語言（VL）模型

我們正在創建一個空間感知的視覺語言（VL）模型。該模型在COCO數據集的圖像上進行訓練，包含了有關圖像中實體之間空間關係的額外信息。這是一個用於圖像字幕生成的序列到序列模型，其架構為 ViT編碼器和GPT2解碼器。

🚀 快速開始

運行要求

下載和運行方式

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
from transformers import pipeline
image_captioner = pipeline("image-to-text", model="voxreality/rgb-language_cap", max_new_tokens=200, device=device)
filename = 'path/to/file'
generated_captions = image_captioner(filename)
print(generated_captions)

該模型經過訓練，會盡可能生成更多的單詞，最多200個標記，大約相當於5個句子，而第6個句子通常會被截斷。

輸出通常為這種形式：“Object1” 在 “Object2” 的 “左/右等” 位置。

💻 使用示例

基礎用法

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
from transformers import pipeline
image_captioner = pipeline("image-to-text", model="voxreality/rgb-language_cap", max_new_tokens=200, device=device)
filename = 'path/to/file'
generated_captions = image_captioner(filename)
print(generated_captions)

高級用法

如果你想生成最多5條特定數量的字幕，可以使用以下代碼：

import os
def print_up_to_n_sentences(captions, n):
    for caption in captions:
        generated_text = caption.get('generated_text', '')
        sentences = generated_text.split('.')
        result = '.'.join(sentences[:n])
        #print(result)
    return result
filename = 'path/to/file'

generated_captions = image_captioner(filename)
captions = print_up_to_n_sentences(generated_captions, 5)
print(captions)

📄 許可證

本項目採用Apache-2.0許可證。