🚀 Llama-3.2-11B-Vision-Instruct-nf4模型
本項目基於meta-llama/Llama-3.2-11B-Vision-Instruct
模型轉換而來,使用了BitsAndBytes
庫進行NF4(4位)量化,未使用雙重量化。它可用於圖像文本到文本的轉換任務,能為圖像生成描述性文字。
🚀 快速開始
本模型由 meta-llama/Llama-3.2-11B-Vision-Instruct 轉換而來,使用了 BitsAndBytes 進行 NF4(4 位)量化,不使用雙重量化。加載該模型需要 bitsandbytes
庫。
📦 安裝指南
加載此模型需要安裝 bitsandbytes
庫,你可以使用以下命令進行安裝:
pip install bitsandbytes
💻 使用示例
基礎用法
以下是一個圖像描述生成的示例代碼:
from transformers import MllamaForConditionalGeneration, AutoProcessor, BitsAndBytesConfig
from PIL import Image
import time
model_id = "SeanScripts/Llama-3.2-11B-Vision-Instruct-nf4"
model = MllamaForConditionalGeneration.from_pretrained(
model_id,
use_safetensors=True,
device_map="cuda:0"
)
processor = AutoProcessor.from_pretrained(model_id)
IMAGE = Image.open("test.png").convert("RGB")
PROMPT = """<|begin_of_text|><|start_header_id|>user<|end_header_id|>
Caption this image:
<|image|><|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""
inputs = processor(IMAGE, PROMPT, return_tensors="pt").to(model.device)
prompt_tokens = len(inputs['input_ids'][0])
print(f"Prompt tokens: {prompt_tokens}")
t0 = time.time()
generate_ids = model.generate(**inputs, max_new_tokens=256)
t1 = time.time()
total_time = t1 - t0
generated_tokens = len(generate_ids[0]) - prompt_tokens
time_per_token = generated_tokens/total_time
print(f"Generated {generated_tokens} tokens in {total_time:.3f} s ({time_per_token:.3f} tok/s)")
output = processor.decode(generate_ids[0][prompt_tokens:]).replace('<|eot_id|>', '')
print(output)
高級用法
你可以從以下鏈接獲取一組用於運行此模型的 ComfyUI 自定義節點:
https://github.com/SeanScripts/ComfyUI-PixtralLlamaVision
📄 許可證
本項目使用的許可證為 llama3.2。
屬性 |
詳情 |
模型類型 |
圖像文本到文本轉換模型 |
基礎模型 |
meta-llama/Llama-3.2-11B-Vision-Instruct |
庫名稱 |
transformers |