TVC 7B

🚀 TVC-7B

TVC-7B 模型基於 Qwen2-VL-7B-Instruct 模型，擁有 70 億參數，上下文窗口達 8K 個標記。它支持中英雙語，可用於圖像文本到文本的轉換任務，在長鏈推理和多模態處理方面表現出色。

🚀 快速開始

from vllm import LLM, SamplingParams
from PIL import Image

model_name = "Allen8/TVC-72B"
llm = LLM(
        model=model_name,
        trust_remote_code=True,
        tensor_parallel_size=8,
    )

question = "Hint: Please answer the question requiring an integer answer and provide the final value, e.g., 1, 2, 3, at the end.
Question: Subtract all red things. Subtract all tiny matte balls. How many objects are left?
Please answer the question using a long-chain reasoning style and think step by step."
placeholder = "<|image_pad|>"
prompt = ("<|im_start|>system
You are a helpful assistant.<|im_end|>
"
f"<|im_start|>user
<|vision_start|>{placeholder}<|vision_end|>"
f"{question}<|im_end|>
"
"<|im_start|>assistant
")

sampling_params = SamplingParams(
    temperature=0.0,
    top_k=1,
    top_p=1.0,
    stop_token_ids=[],
    repetition_penalty=1.05,
    max_tokens=8192
)

image = Image.open("images/case1.png")
inputs = {
            "prompt": prompt,
            "multi_modal_data": {
                "image": image
            },
        }

outputs = llm.generate([inputs], sampling_params=sampling_params)
print(outputs[0].outputs[0].text)

✨ 主要特性

• 基於 Qwen2-VL-7B-Instruct 架構，擁有 70 億參數。
• 支持 8K 標記的上下文窗口，適用於長鏈推理任務。
• 支持中英雙語，具備多模態處理能力。

📚 詳細文檔

模型概述

TVC 模型是基於 Qwen2-VL-7B-Instruct 模型的 70 億參數模型，上下文窗口為 8K 標記。

• 倉庫地址：https://github.com/sun-hailong/TVC
• 項目頁面：https://sun-hailong.github.io/projects/TVC/
• 支持語言：英語、中文
• 論文鏈接：https://arxiv.org/abs/2503.13360

模型架構

軟硬件信息

• 硬件：64 * NVIDIA Tesla H20
• 編排工具：HuggingFace Trainer
• 代碼框架：Pytorch

框架版本

• Transformers 4.46.1
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.20.3

📄 許可證

本模型採用 Apache-2.0 許可證。

🔖 引用

如果您使用了該模型，請引用以下論文：

@article{sun2024mitigating,
    title={Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning},
    author={Sun, Hai-Long and Sun, Zhun and Peng, Houwen and Ye, Han-Jia},
    journal={arXiv preprint arXiv:2503.13360},
    year={2025}
}