Glm 4vq

🚀 マルチモーダルマルチリンガル (3ML)

このモデルは、glm-4v-9b モデルの4bit量子化バージョンです（9GB未満）。文書、画像、チャートの質問応答に優れており、GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max、Claude 3 Opusを上回る性能を発揮します。元のモデルの一部が変更されており、Google Colabの無料版で実行できます。

試してみる

![Github Source]

⚠️ 重要提示

文書と画像の理解に最適な性能を得るには、英語または中国語を使用してください。モデルはサポートされている任意の言語でのチャットも処理できます。

GLM-4V-9Bについて

GLM-4V-9Bは、視覚理解能力を備えたマルチモーダル言語モデルです。関連する古典的なタスクの評価結果は以下の通りです。

このリポジトリは、GLM-4V-9Bモデルの4bit量子化バージョンのモデルリポジトリで、8K のコンテキスト長をサポートしています。

🚀 クイックスタート

Colabモデルまたは以下のPythonスクリプトを使用してください。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

device = "cuda"

modelPath="nikravan/glm-4vq"
tokenizer = AutoTokenizer.from_pretrained(modelPath, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    modelPath,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True,
    device_map="auto"
)

query ='explain all the details in this picture'
image = Image.open("a3.png").convert('RGB')
#image=""
inputs = tokenizer.apply_chat_template([{"role": "user", "image": image, "content": query}],
                                       add_generation_prompt=True, tokenize=True, return_tensors="pt",
                                       return_dict=True)  # chat with image mode

inputs = inputs.to(device)

gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}
with torch.no_grad():
    outputs = model.generate(**inputs, **gen_kwargs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(outputs[0]))

```markdown
| プロパティ | 詳細 |
|----------|---------|
| サポート言語 | en, de, fr, fa, ar, tr, es, it, zh, ko, ja, hi |
| 評価指標 | accuracy |
| パイプラインタグ | document-question-answering |
| タグ | text-generation-inference |