Minicpm O 2 6 Int4

🚀 MiniCPM-o 2.6 int4

このプロジェクトは、携帯電話上でのビジョン、音声、マルチモーダルライブストリーミングに対応したGPT - 4oレベルのMLLM（マルチモーダル大規模言語モデル）です。MiniCPM - o 2.6のint4量子化バージョンを提供し、これを使用することでGPUメモリの使用量を約9GBに抑えることができます。

🚀 クイックスタート

コードの準備とAutoGPTQのインストール

私たちはminicpm - o 2.6の推論を公式にサポートするためのPRを提出中です。以下のコマンドを実行してコードを準備し、AutoGPTQをインストールします。

git clone https://github.com/OpenBMB/AutoGPTQ.git && cd AutoGPTQ
git checkout minicpmo

# install AutoGPTQ
pip install -vvv --no-build-isolation -e .

MiniCPM - o - 2_6 - int4の使用方法

モデルの初期化部分をAutoGPTQForCausalLM.from_quantizedに変更します。

import torch
from transformers import AutoModel, AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM

model = AutoGPTQForCausalLM.from_quantized(
    'openbmb/MiniCPM-o-2_6-int4',
    torch_dtype=torch.bfloat16,
    device="cuda:0",
    trust_remote_code=True,
    disable_exllama=True,
    disable_exllamav2=True
)
tokenizer = AutoTokenizer.from_pretrained(
    'openbmb/MiniCPM-o-2_6-int4',
    trust_remote_code=True
)

model.init_tts()

使用方法の詳細は[MiniCPM - o - 2_6#usage](https://huggingface.co/openbmb/MiniCPM - o - 2_6#usage)を参照してください。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModel, AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM

model = AutoGPTQForCausalLM.from_quantized(
    'openbmb/MiniCPM-o-2_6-int4',
    torch_dtype=torch.bfloat16,
    device="cuda:0",
    trust_remote_code=True,
    disable_exllama=True,
    disable_exllamav2=True
)
tokenizer = AutoTokenizer.from_pretrained(
    'openbmb/MiniCPM-o-2_6-int4',
    trust_remote_code=True
)

model.init_tts()