Minicpm O 2 6 Int4

🚀 MiniCPM-o 2.6 int4

一款可在手機上運行的，用於視覺、語音和多模態直播的GPT - 4o級別多語言大模型

🚀 快速開始

✨ 主要特性

• 多模態支持：支持視覺、語音、多圖、視頻、音頻等多種模態，可用於OCR、語音克隆、即時語音對話、ASR、TTS等場景。
• 多語言能力：支持多種語言。
• 低顯存需求：int4量化版本僅需約9GB GPU顯存。

📦 安裝指南

準備代碼並安裝AutoGPTQ

我們正在提交PR以正式支持MiniCPM - o 2.6推理。

git clone https://github.com/OpenBMB/AutoGPTQ.git && cd AutoGPTQ
git checkout minicpmo

# 安裝AutoGPTQ
pip install -vvv --no-build-isolation -e .

💻 使用示例

基礎用法

使用MiniCPM - o - 2_6 - int4時，將模型初始化部分改為AutoGPTQForCausalLM.from_quantized。

import torch
from transformers import AutoModel, AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM

model = AutoGPTQForCausalLM.from_quantized(
    'openbmb/MiniCPM-o-2_6-int4',
    torch_dtype=torch.bfloat16,
    device="cuda:0",
    trust_remote_code=True,
    disable_exllama=True,
    disable_exllamav2=True
)
tokenizer = AutoTokenizer.from_pretrained(
    'openbmb/MiniCPM-o-2_6-int4',
    trust_remote_code=True
)

model.init_tts()

使用參考請見 MiniCPM - o - 2_6#usage

📚 詳細文檔