Chattruth 7B

🚀 ChatTruth-7B

ChatTruth-7B はQwen-VLをベースに、精心設計されたデータを用いて最適化訓練されています。Qwen-VLと比較すると、このモデルは大解像度で大幅な性能向上を達成しています。また、Restore Moduleを独自に提案することで、大解像度での計算量を大幅に削減しています。

📦 インストール

• transformers 4.32.0
• python 3.8以上
• pytorch 1.13以上
• CUDA 11.4以上

🚀 クイックスタート

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import torch
torch.manual_seed(1234)
model_path = 'ChatTruth-7B' # your downloaded model path.

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# use cuda device
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="cuda", trust_remote_code=True).eval()

model.generation_config = GenerationConfig.from_pretrained(model_path, trust_remote_code=True)
model.generation_config.top_p = 0.01

query = tokenizer.from_list_format([
    {'image': 'demo.jpeg'},
    {'text': '图片中的文字是什么'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)

# 昆明太厉害了