Rgb Language Cap

🚀 空間感知視覺語言（VL）模型

本項目致力於創建一個空間感知視覺語言（VL）模型。該模型在COCO數據集圖像上進行訓練，能夠處理圖像實體間的空間關係信息。它是一個用於圖像描述的序列到序列模型，採用了ViT編碼器和GPT2解碼器的架構。

🚀 快速開始

運行要求

下載和運行方式

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
from transformers import pipeline
image_captioner = pipeline("image-to-text", model="sadassa17/rgb-language_cap", max_new_tokens=200, device=device)
filename = 'path/to/file'
generated_captions = image_captioner(filename)
print(generated_captions)

模型輸出說明

模型經過訓練，可生成最多200個標記的文本，大約相當於5個句子，第6個句子通常會被截斷。輸出格式通常為：“Object1” 在 “Object2” 的 “左/右等” 位置。

生成指定數量描述

如果你想生成最多5條描述，可以使用以下代碼：

import os
def print_up_to_n_sentences(captions, n):
    for caption in captions:
        generated_text = caption.get('generated_text', '')
        sentences = generated_text.split('.')
        result = '.'.join(sentences[:n])
        #print(result)
    return result
filename = 'path/to/file'

generated_captions = image_captioner(filename)
captions = print_up_to_n_sentences(generated_captions, 5)
print(captions)

📄 許可證

本項目採用MIT許可證。