Pixtral 12b Nf4

🚀 圖像文本轉換模型 Pixtral-12b-NF4

本項目是一個圖像文本轉換模型，基於 mistral-community/pixtral-12b 模型轉換而來，採用了 BitsAndBytes 的 NF4（4 位）量化技術，無需雙重量化。該模型可用於圖像描述生成等任務，具有一定的性能和效果。

🚀 快速開始

本模型由 mistral-community/pixtral-12b 使用 BitsAndBytes 結合 NF4（4 位）量化轉換而來，未使用雙重量化。加載此模型需要安裝 bitsandbytes 庫。

💻 使用示例

基礎用法

以下是一個圖像描述生成的示例代碼：

from transformers import LlavaForConditionalGeneration, AutoProcessor, BitsAndBytesConfig
from PIL import Image
import time

# Load model
model_id = "SeanScripts/pixtral-12b-nf4"
model = LlavaForConditionalGeneration.from_pretrained(
    model_id,
    use_safetensors=True,
    device_map="cuda:0"
)
# Load tokenizer
processor = AutoProcessor.from_pretrained(model_id)

# Caption a local image
IMG_URLS = [Image.open("test.png").convert("RGB")]
PROMPT = "<s>[INST]Caption this image:\n[IMG][/INST]"

inputs = processor(images=IMG_URLS, text=PROMPT, return_tensors="pt").to("cuda")
prompt_tokens = len(inputs['input_ids'][0])
print(f"Prompt tokens: {prompt_tokens}")

t0 = time.time()
generate_ids = model.generate(**inputs, max_new_tokens=512)
t1 = time.time()
total_time = t1 - t0
generated_tokens = len(generate_ids[0]) - prompt_tokens
time_per_token = generated_tokens/total_time
print(f"Generated {generated_tokens} tokens in {total_time:.3f} s ({time_per_token:.3f} tok/s)")

output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

性能表現

在 4090 顯卡上，該模型每秒大約能生成 10 - 12 個 token（未使用 Flash Attention），生成的圖像描述效果不錯，不過測試樣本數量有限。模型運行大約需要 10GB 的顯存。

相關資源

你可以從以下鏈接獲取用於運行此模型的 ComfyUI 自定義節點： https://github.com/SeanScripts/ComfyUI-PixtralLlamaVision

📄 許可證

本項目採用 Apache-2.0 許可證。