Cogvlm2 Llama3 Chat 19B Int4

🚀 CogVLM2

CogVLM2 是新一代的模型系列，基于 Meta-Llama-3-8B-Instruct 构建，在多个基准测试中表现优异，支持 8K 内容长度和高分辨率图像，还提供了支持中英双语的开源模型版本。

🚀 快速开始

以下是一个使用 CogVLM2 模型进行对话的简单示例。更多用例可在我们的 GitHub 上找到。

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/cogvlm2-llama3-chat-19B-int4"
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
TORCH_TYPE = torch.bfloat16 if torch.cuda.is_available() and torch.cuda.get_device_capability()[
    0] >= 8 else torch.float16

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_PATH,
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=TORCH_TYPE,
    trust_remote_code=True,
    low_cpu_mem_usage=True,
).eval()

text_only_template = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {} ASSISTANT:"

while True:
    image_path = input("image path >>>>> ")
    if image_path == '':
        print('You did not enter image path, the following will be a plain text conversation.')
        image = None
        text_only_first_query = True
    else:
        image = Image.open(image_path).convert('RGB')

    history = []

    while True:
        query = input("Human:")
        if query == "clear":
            break

        if image is None:
            if text_only_first_query:
                query = text_only_template.format(query)
                text_only_first_query = False
            else:
                old_prompt = ''
                for _, (old_query, response) in enumerate(history):
                    old_prompt += old_query + " " + response + "\n"
                query = old_prompt + "USER: {} ASSISTANT:".format(query)
        if image is None:
            input_by_model = model.build_conversation_input_ids(
                tokenizer,
                query=query,
                history=history,
                template_version='chat'
            )
        else:
            input_by_model = model.build_conversation_input_ids(
                tokenizer,
                query=query,
                history=history,
                images=[image],
                template_version='chat'
            )
    inputs = {
        'input_ids': input_by_model['input_ids'].unsqueeze(0).to(DEVICE),
        'token_type_ids': input_by_model['token_type_ids'].unsqueeze(0).to(DEVICE),
        'attention_mask': input_by_model['attention_mask'].unsqueeze(0).to(DEVICE),
        'images': [[input_by_model['images'][0].to(DEVICE).to(TORCH_TYPE)]] if image is not None else None,
    }
    gen_kwargs = {
        "max_new_tokens": 2048,
        "pad_token_id": 128002,
    }
    with torch.no_grad():
        outputs = model.generate(**inputs, **gen_kwargs)
        outputs = outputs[:, inputs['input_ids'].shape[1]:]
        response = tokenizer.decode(outputs[0])
        response = response.split("<|end_of_text|>")[0]
        print("\nCogVLM2:", response)
    history.append((query, response))

✨ 主要特性

• 性能提升：在 TextVQA、DocVQA 等多个基准测试中相比上一代 CogVLM 开源模型有显著提升。
• 长内容支持：支持 8K 内容长度。
• 高分辨率图像支持：支持图像分辨率高达 1344 * 1344。
• 双语支持：提供支持 中文和英文 的开源模型版本。

🔧 技术细节

CogVlM2 Int4 模型需要 16G GPU 内存，并且必须在带有 Nvidia GPU 的 Linux 系统上运行。

📚 详细文档

基准测试

与上一代 CogVLM 开源模型相比，我们的开源模型在多个榜单上取得了良好的成绩。其出色的性能可与一些非开源模型相媲美，如下表所示：

所有评测均未使用任何外部 OCR 工具（“仅像素”）。

📄 许可证

本模型根据 CogVLM2 许可证 发布。对于基于 Meta Llama 3 构建的模型，请同时遵守 LLAMA3 许可证。

📚 引用

如果您认为我们的工作有帮助，请考虑引用以下论文：

@misc{wang2023cogvlm,
      title={CogVLM: Visual Expert for Pretrained Language Models}, 
      author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},
      year={2023},
      eprint={2311.03079},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}