Cogvlm Grounding Generalist Hf

🚀 CogVLM

CogVLM は強力なオープンソースの視覚言語モデル（VLM）です。CogVLM-17B は 100 億の視覚パラメータと 70 億の言語パラメータを持ち、NoCaps、Flicker30k captioning、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA、TDIUC といった 10 の古典的なクロスモーダルベンチマークで最先端の性能を達成しています。また、VQAv2、OKVQA、TextVQA、COCO captioning などでは 2 位となり、PaLI-X 55B を上回るか同等の性能を発揮しています。あなたはオンラインの デモ を通じて、CogVLM のマルチモーダル対話を体験することができます。

🚀 クイックスタート

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, LlamaTokenizer

tokenizer = LlamaTokenizer.from_pretrained('lmsys/vicuna-7b-v1.5')
model = AutoModelForCausalLM.from_pretrained(
    'THUDM/cogvlm-grounding-generalist-hf',
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to('cuda').eval()

query = 'Can you provide a description of the image and include the coordinates [[x0,y0,x1,y1]] for each mentioned object?'
image = Image.open(requests.get('https://github.com/THUDM/CogVLM/blob/main/examples/4.jpg?raw=true', stream=True).raw).convert('RGB')
inputs = model.build_conversation_input_ids(tokenizer, query=query, images=[image])
inputs = {
    'input_ids': inputs['input_ids'].unsqueeze(0).to('cuda'),
    'token_type_ids': inputs['token_type_ids'].unsqueeze(0).to('cuda'),
    'attention_mask': inputs['attention_mask'].unsqueeze(0).to('cuda'),
    'images': [[inputs['images'][0].to('cuda').to(torch.bfloat16)]],
}
gen_kwargs = {"max_length": 2048, "do_sample": False}

with torch.no_grad():
    outputs = model.generate(**inputs, **gen_kwargs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(outputs[0]))

📚 ドキュメント

CogVLM モデルは 4 つの基本的なコンポーネントで構成されています。視覚トランスフォーマー（ViT）エンコーダ、MLP アダプタ、事前学習された大規模言語モデル（GPT）、そして視覚エキスパートモジュールです。詳細については 論文 を参照してください。

📄 ライセンス

このリポジトリ内のコードは Apache-2.0 ライセンス の下でオープンソースとなっています。一方、CogVLM モデルの重みを使用する場合は、モデルライセンス に従う必要があります。

📖 引用

もし私たちの研究が役に立った場合は、以下の論文を引用していただけると幸いです。

@article{wang2023cogvlm,
      title={CogVLM: Visual Expert for Pretrained Language Models}, 
      author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},
      year={2023},
      eprint={2311.03079},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}