Cogvlm2 Llama3 Chat 19B Int4

🚀 CogVLM2

CogVLM2 是新一代的模型系列，基於 Meta-Llama-3-8B-Instruct 構建，在多個基準測試中表現優異，支持 8K 內容長度和高分辨率圖像，還提供了支持中英雙語的開源模型版本。

🚀 快速開始

以下是一個使用 CogVLM2 模型進行對話的簡單示例。更多用例可在我們的 GitHub 上找到。

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/cogvlm2-llama3-chat-19B-int4"
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
TORCH_TYPE = torch.bfloat16 if torch.cuda.is_available() and torch.cuda.get_device_capability()[
    0] >= 8 else torch.float16

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_PATH,
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=TORCH_TYPE,
    trust_remote_code=True,
    low_cpu_mem_usage=True,
).eval()

text_only_template = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {} ASSISTANT:"

while True:
    image_path = input("image path >>>>> ")
    if image_path == '':
        print('You did not enter image path, the following will be a plain text conversation.')
        image = None
        text_only_first_query = True
    else:
        image = Image.open(image_path).convert('RGB')

    history = []

    while True:
        query = input("Human:")
        if query == "clear":
            break

        if image is None:
            if text_only_first_query:
                query = text_only_template.format(query)
                text_only_first_query = False
            else:
                old_prompt = ''
                for _, (old_query, response) in enumerate(history):
                    old_prompt += old_query + " " + response + "\n"
                query = old_prompt + "USER: {} ASSISTANT:".format(query)
        if image is None:
            input_by_model = model.build_conversation_input_ids(
                tokenizer,
                query=query,
                history=history,
                template_version='chat'
            )
        else:
            input_by_model = model.build_conversation_input_ids(
                tokenizer,
                query=query,
                history=history,
                images=[image],
                template_version='chat'
            )
    inputs = {
        'input_ids': input_by_model['input_ids'].unsqueeze(0).to(DEVICE),
        'token_type_ids': input_by_model['token_type_ids'].unsqueeze(0).to(DEVICE),
        'attention_mask': input_by_model['attention_mask'].unsqueeze(0).to(DEVICE),
        'images': [[input_by_model['images'][0].to(DEVICE).to(TORCH_TYPE)]] if image is not None else None,
    }
    gen_kwargs = {
        "max_new_tokens": 2048,
        "pad_token_id": 128002,
    }
    with torch.no_grad():
        outputs = model.generate(**inputs, **gen_kwargs)
        outputs = outputs[:, inputs['input_ids'].shape[1]:]
        response = tokenizer.decode(outputs[0])
        response = response.split("<|end_of_text|>")[0]
        print("\nCogVLM2:", response)
    history.append((query, response))

✨ 主要特性

• 性能提升：在 TextVQA、DocVQA 等多個基準測試中相比上一代 CogVLM 開源模型有顯著提升。
• 長內容支持：支持 8K 內容長度。
• 高分辨率圖像支持：支持圖像分辨率高達 1344 * 1344。
• 雙語支持：提供支持 中文和英文 的開源模型版本。

🔧 技術細節

CogVlM2 Int4 模型需要 16G GPU 內存，並且必須在帶有 Nvidia GPU 的 Linux 系統上運行。

📚 詳細文檔

基準測試

與上一代 CogVLM 開源模型相比，我們的開源模型在多個榜單上取得了良好的成績。其出色的性能可與一些非開源模型相媲美，如下表所示：

所有評測均未使用任何外部 OCR 工具（“僅像素”）。

📄 許可證

本模型根據 CogVLM2 許可證 發佈。對於基於 Meta Llama 3 構建的模型，請同時遵守 LLAMA3 許可證。

📚 引用

如果您認為我們的工作有幫助，請考慮引用以下論文：

@misc{wang2023cogvlm,
      title={CogVLM: Visual Expert for Pretrained Language Models}, 
      author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},
      year={2023},
      eprint={2311.03079},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}