Cogvlm2 Llama3 Chat 19B

🚀 CogVLM2

我們推出了新一代的CogVLM2系列模型，該系列模型在圖像和文本理解等多個方面有顯著提升，支持大內容長度和高分辨率圖像，還提供了支持中英雙語的開源版本，能為圖像理解和對話等任務提供強大助力。

👋 微信 · 💡在線演示 · 🎈GitHub頁面 · 📑 論文

📍可在 智譜AI開放平臺 體驗更大規模的CogVLM模型。

✨ 主要特性

我們推出了新一代的 CogVLM2 系列模型，並開源了兩個基於 Meta-Llama-3-8B-Instruct 構建的模型。與上一代CogVLM開源模型相比，CogVLM2系列開源模型有以下改進：

1. 在 TextVQA、DocVQA 等多個基準測試中取得顯著提升。
2. 支持 8K 內容長度。
3. 支持最高 1344 * 1344 的圖像分辨率。
4. 提供支持 中文和英文 的開源模型版本。

你可以在下表中查看CogVLM2系列開源模型的詳細信息：

📚 詳細文檔

基準測試

與上一代CogVLM開源模型相比，我們的開源模型在多個榜單中取得了優異成績。其出色的性能可與一些非開源模型相媲美，如下表所示：

所有評測均未使用任何外部OCR工具（“僅像素”）。

🚀 快速開始

以下是一個如何使用CogVLM2模型進行對話的簡單示例。更多用例可在我們的 GitHub 上找到。

基礎用法

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/cogvlm2-llama3-chat-19B"
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
TORCH_TYPE = torch.bfloat16 if torch.cuda.is_available() and torch.cuda.get_device_capability()[0] >= 8 else torch.float16

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_PATH,
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=TORCH_TYPE,
    trust_remote_code=True,
).to(DEVICE).eval()

text_only_template = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {} ASSISTANT:"

while True:
    image_path = input("image path >>>>> ")
    if image_path == '':
        print('You did not enter image path, the following will be a plain text conversation.')
        image = None
        text_only_first_query = True
    else:
        image = Image.open(image_path).convert('RGB')

    history = []

    while True:
        query = input("Human:")
        if query == "clear":
            break

        if image is None:
            if text_only_first_query:
                query = text_only_template.format(query)
                text_only_first_query = False
            else:
                old_prompt = ''
                for _, (old_query, response) in enumerate(history):
                    old_prompt += old_query + " " + response + "\n"
                query = old_prompt + "USER: {} ASSISTANT:".format(query)
        if image is None:
            input_by_model = model.build_conversation_input_ids(
                tokenizer,
                query=query,
                history=history,
                template_version='chat'
            )
        else:
            input_by_model = model.build_conversation_input_ids(
                tokenizer,
                query=query,
                history=history,
                images=[image],
                template_version='chat'
            )
        inputs = {
            'input_ids': input_by_model['input_ids'].unsqueeze(0).to(DEVICE),
            'token_type_ids': input_by_model['token_type_ids'].unsqueeze(0).to(DEVICE),
            'attention_mask': input_by_model['attention_mask'].unsqueeze(0).to(DEVICE),
            'images': [[input_by_model['images'][0].to(DEVICE).to(TORCH_TYPE)]] if image is not None else None,
        }
        gen_kwargs = {
            "max_new_tokens": 2048,
            "pad_token_id": 128002,  
        }
        with torch.no_grad():
            outputs = model.generate(**inputs, **gen_kwargs)
            outputs = outputs[:, inputs['input_ids'].shape[1]:]
            response = tokenizer.decode(outputs[0])
            response = response.split("<|end_of_text|>")[0]
            print("\nCogVLM2:", response)
        history.append((query, response))

📄 許可證

該模型遵循CogVLM2 許可證 發佈。對於基於Meta Llama 3構建的模型，請同時遵守 LLAMA3許可證。

📑 引用

如果您覺得我們的工作有幫助，請考慮引用以下論文：

@misc{hong2024cogvlm2,
  title={CogVLM2: Visual Language Models for Image and Video Understanding},
  author={Hong, Wenyi and Wang, Weihan and Ding, Ming and Yu, Wenmeng and Lv, Qingsong and Wang, Yan and Cheng, Yean and Huang, Shiyu and Ji, Junhui and Xue, Zhao and others},
  year={2024},
  eprint={2408.16500},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@misc{wang2023cogvlm,
      title={CogVLM: Visual Expert for Pretrained Language Models}, 
      author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},
      year={2023},
      eprint={2311.03079},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}