Pixtral Large Instruct 2411 Hf Quantized.w4a16

🚀 Pixtral-Large-Instruct-2411-hf-quantized.w4a16

このプロジェクトは、neuralmagic/Pixtral-Large-Instruct-2411-hf の量子化バージョンです。モデルの重みを量子化することで最適化され、vLLM を使用して効率的にデプロイでき、視覚 - テキスト関連の研究タスクに適しています。

🚀 クイックスタート

モデルの概要

• モデルアーキテクチャ：neuralmagic/Pixtral-Large-Instruct-2411-hf
  • 入力：視覚 - テキスト
  • 出力：テキスト
• モデルの最適化：
  • 重みの量子化：INT4
  • 活性化の量子化：FP16
• 公開日：2025 年 2 月 24 日
• バージョン：1.0
• モデル開発者：Neural Magic

モデル最適化の説明

このモデルは、neuralmagic/Pixtral-Large-Instruct-2411-hf の重みを INT4 データ型に量子化したもので、vLLM >= 0.5.2 を使用して推論を行うことができます。

デプロイ

vLLM を使用したデプロイ

このモデルは、vLLM バックエンドを使用して効率的にデプロイできます。以下はサンプルコードです。

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# prepare model
llm = LLM(
    model="neuralmagic/Pixtral-Large-Instruct-2411-hf-quantized.w4a16",
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# prepare inputs
question = "What is the content of this image?"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
    },
}

# generate response
print("========== SAMPLE GENERATION ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"PROMPT  : {outputs[0].prompt}")
print(f"RESPONSE: {outputs[0].outputs[0].text}")
print("==========================================")

vLLM は OpenAI 互換サービスもサポートしています。詳細については ドキュメント を参照してください。

モデルの作成

このモデルは llm-compressor を使用して作成されました。以下はモデル作成のコード断片です。

import requests
import torch
from PIL import Image
from transformers import AutoProcessor
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.transformers import oneshot
from llmcompressor.transformers.tracing import TraceableLlavaForConditionalGeneration
from compressed_tensors.quantization import QuantizationArgs, QuantizationType, QuantizationStrategy, ActivationOrdering, QuantizationScheme

    
# Load model.
model_id = "neuralmagic/Pixtral-Large-Instruct-2411-hf"
model = TraceableLlavaForConditionalGeneration.from_pretrained(
    model_id, device_map="auto", torch_dtype="auto"
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

# Oneshot arguments
DATASET_ID = "flickr30k"
DATASET_SPLIT = {"calibration": "test[:512]"}
NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048
dampening_frac=0.01

# Define a oneshot data collator for multimodal inputs.
def data_collator(batch):
    assert len(batch) == 1
    return {
        "input_ids": torch.LongTensor(batch[0]["input_ids"]),
        "attention_mask": torch.tensor(batch[0]["attention_mask"]),
        "pixel_values": torch.tensor(batch[0]["pixel_values"]),
    }

recipe = GPTQModifier(
    targets="Linear",
    config_groups={
        "config_group": QuantizationScheme(
            targets=["Linear"],
            weights=QuantizationArgs(
                num_bits=4,
                type=QuantizationType.INT,
                strategy=QuantizationStrategy.GROUP,
                group_size=128,
                symmetric=True,
                dynamic=False,
                actorder=ActivationOrdering.WEIGHT,
            ),
        ),
    },
    sequential_targets=["MistralDecoderLayer"],
    ignore=["re:.*lm_head", "re:vision_tower.*", "re:multi_modal_projector.*"],
    update_size=NUM_CALIBRATION_SAMPLES,
    dampening_frac=dampening_frac,
)

SAVE_DIR=f"{model_id.split('/')[1]}-quantized.w4a16"

# Perform oneshot
oneshot(
    model=model,
    tokenizer=model_id,
    dataset=DATASET_ID,
    splits=DATASET_SPLIT,
    recipe=recipe,
    max_seq_length=MAX_SEQUENCE_LENGTH,
    num_calibration_samples=NUM_CALIBRATION_SAMPLES,
    trust_remote_code_model=True,
    data_collator=data_collator,
    output_dir=SAVE_DIR
)

モデルの評価

モデルは mistral-evals を使用して視覚関連タスクの評価を行い、lm_evaluation_harness を使用して一部のテキストベースのベンチマークテストを行います。評価コマンドは以下の通りです。

vllm serve neuralmagic/pixtral-12b-quantized.w8a8 --tensor_parallel_size 1 --max_model_len 25000 --trust_remote_code --max_num_seqs 8 --gpu_memory_utilization 0.9 --dtype float16 --limit_mm_per_prompt image=7

python -m eval.run eval_vllm \
        --model_name neuralmagic/pixtral-12b-quantized.w8a8 \
        --url http://0.0.0.0:8000 \
        --output_dir ~/tmp \
        --eval_name <vision_task_name>

lm_eval \
  --model vllm \
  --model_args pretrained="<model_name>",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=<n>,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True \
  --tasks mmlu \
  --num_fewshot 5 \
  --batch_size auto \
  --output_path output_dir

lm_eval \
  --model vllm \
  --model_args pretrained="<model_name>",dtype=auto,max_model_len=4096,max_gen_toks=2048,max_num_seqs=128,tensor_parallel_size=<n>,gpu_memory_utilization=0.9 \
  --tasks mgsm_cot_native \
  --apply_chat_template \
  --num_fewshot 0 \
  --batch_size auto \
  --output_path output_dir

正確率

📄 ライセンス

このモデルは、Mistral AI 研究ライセンス（Mistral AI Research License）の下で提供されています。ライセンスの詳細は以下の通りです。

Mistral AI 研究ライセンス

Mistral モデル、派生作品、または出力を本契約で明示的に許可されていない目的で使用する場合は、Mistral AI に許可を求める必要があります。Mistral AI は独自の判断で許可を与えるかどうかを決定します。このような許可について議論するには、ウェブサイトの問い合わせフォーム https://mistral.ai/contact/ を通じて Mistral AI に連絡してください。

1. 範囲と承諾

1.1. 契約の範囲：本契約は、あなたがどのような方法で Mistral モデルのコピーを入手したかに関係なく、あなたが Mistral モデルを使用、修正、または配布するすべての場合に適用されます。

1.2. 承諾：Mistral モデルにアクセスし、使用し、修正し、配布すること、または Mistral モデルの派生作品を作成、使用、または配布することにより、あなたは本契約に拘束されることに同意します。

1.3. 第三者を代表した承諾：あなたがあなたの雇用主または他の個人もしくは団体を代表して本契約を承諾する場合、あなたは彼らを代表して行動し、本契約を承諾する権限があることを保証し、宣言します。この場合、本契約の「あなた」はあなたの雇用主またはその他の個人もしくは団体を指します。

2. 許可

2.1. 権利の付与：以下の第 3 条に従うことを条件として、Mistral AI はあなたに、非排他的、無料、世界規模、再許諾不可、譲渡不可の限定的な許可を与え、あなたが以下の第 2.2 条で定められた条件の下で、Mistral モデルおよび Mistral AI が作成したまたは Mistral AI のために作成された派生作品を使用、複製、修正、配布し、Mistral モデルの派生作品を作成することを許可します。

2.2. Mistral モデルおよび Mistral AI が作成したまたは Mistral AI のために作成された派生作品の配布：以下の第 3 条に従うことを条件として、あなたは以下の条件の下で、Mistral モデルおよび/または Mistral AI が作成したまたは Mistral AI のために作成された派生作品のコピーを配布することができます。あなたは、配布する Mistral モデルおよび/または Mistral AI が作成したまたは Mistral AI のために作成された派生作品の第三者受領者に本契約のコピーを提供し、Mistral モデルおよび/または Mistral AI が作成したまたは Mistral AI のために作成された派生作品を使用するすべての権利は、Mistral AI が締結する Mistral AI 研究許諾契約に基づいて第三者受領者に直接付与されることを明確に規定する必要があります。あなたは、Mistral モデルのすべてのコピーにおいて、そのコピーの一部として配布される「通知」テキストファイルに、「Mistral AI によって Mistral AI 研究ライセンスの下で許可されています」という帰属声明を含める必要があります。

2.3. あなたが作成したまたはあなたのために作成された派生作品の配布：以下の第 3 条に従うことを条件として、あなたは追加または異なる条項および条件に基づいて、あなたが作成したまたはあなたのために作成された派生作品を配布することができます。ただし、いかなる場合も、Mistral モデルおよび/または Mistral AI が作成したまたは Mistral AI のために作成された派生作品の使用および修正は、本契約の条項および条件に従うものとします。あなたは、あなたが作成したまたはあなたのために作成された派生作品に、関連する Mistral モデルを修正したことを明示的に声明する必要があります。また、あなたが第三者受領者に対して、あなたが作成したまたはあなたのために作成された派生作品に関連して課すすべての条項および条件は、第三者受領者が Mistral AI 研究ライセンスに基づいて Mistral モデルまたは Mistral AI が作成したまたは Mistral AI のために作成された派生作品を使用する権利を制限してはならず、またそのライセンスのいかなる条項および条件とも抵触してはなりません。

3. 制限

3.1. 虚偽の表明：書面による許可がない限り、あなたは、あなたが独自の名義および責任で配布する、あなたが作成したまたはあなたのために作成された派生作品および/または Mistral モデルの修正バージョンが、Mistral AI の公式製品であると、または Mistral AI によって承認、許可、または検証されていると、いかなる方法でも虚偽の表明または暗示をしてはなりません。

3.2. 使用制限：あなたは、Mistral モデル、派生作品（Mistral AI によって作成されたかどうかに関係なく）、および出力を研究目的のみに使用することができます。

4. 知的財産権

4.1. 商標：本契約では商標に関する許可は付与されておらず、Mistral モデルに関連して、あなたは、Mistral AI またはその関連会社が所有するまたは関連するいかなる名称または標識も使用してはなりません。ただし、(i) Mistral モデルおよび Mistral AI が作成したまたは Mistral AI のために作成された派生作品を説明および配布する際に合理的かつ慣習的に必要な場合、および (ii) 本契約で要求される帰属目的の場合を除きます。

4.2. 出力：私たちは出力に対していかなる所有権も主張しません。あなたは、あなたが生成する出力およびその後の使用について、本契約の規定に従って完全な責任を負います。すべての出力は、本契約の第 3 条で定められた制限の対象となります。

4.3. 派生作品：本契約を締結することにより、あなたは、あなたが作成するまたはあなたのために作成される可能性のあるすべての派生作品が、本契約の第 3 条で定められた制限の対象となることを受け入れます。

5. 責任

5.1. 責任の制限：適用される法律が要求する場合（故意および重大過失行為など）または書面で同意する場合を除き、いかなる場合も、Mistral AI は、本契約または Mistral モデルおよび派生作品の使用または使用不能に起因するあなたのいかなる損害に対しても責任を負いません。これには、直接的、間接的、特別的、偶発的、または結果的な損害（データの喪失、信用の損失、期待利益または節約の損失、操業停止、コンピュータの故障または不具合、またはマルウェアまたはセキュリティホールによる損害など）が含まれます。たとえ Mistral AI がそのような損害の可能性を知っていた場合でも同様です。

5.2. 補償：あなたは、Mistral モデルおよび派生作品の使用または配布に起因するまたは関連するすべての請求、損害、または損失から、Mistral AI を補償し、免責することに同意します。

6. 保証

6.1. 免責事項：適用される法律が要求する場合または Mistral AI が事前に書面で同意する場合を除き、Mistral AI は、Mistral モデルおよび派生作品を「現状のまま」で提供し、いかなる明示的または暗示的な保証または条件も提供しません。これには、所有権、非侵害、市場性、または特定の目的に適合することに関する保証または条件が含まれます。Mistral AI は、Mistral モデルおよび派生作品がエラーなく動作すること、あなたまたは第三者の要求を満たすこと、安全であること、またはあなたまたは第三者が何らかの結果を達成したり、何らかのコンテンツを生成したりすることを可能にすることを代表または保証しません。あなたは、Mistral モデルおよび派生作品を使用または配布する適切性を判断し、本契約に基づくあなたの権利の行使に関連するすべてのリスクを負う責任があります。

7. 終了

7.1. 期間：本契約は、あなたが本契約を承諾した日または関連する Mistral モデルまたは派生作品にアクセスした日から有効となり、以下の条項に基づいて終了するまで有効です。

7.2. 終了：あなたが本契約に違反した場合、Mistral AI はいつでも本契約を終了することができます。本契約が終了した場合、あなたはすべての Mistral モデルおよび派生作品の使用を停止し、そのすべてのコピーを永久に削除する必要があります。以下の条項の関連部分は、本契約のいかなる終了または期限切れ後も、それぞれの目的を達成するために必要な期間有効です（たとえば、責任条項は適用される時効期間が終了するまで有効です）。第 5 条（責任）、第 6 条（保証）、第 7 条（終了）、および第 8 条（一般条項）。

7.3. 訴訟：あなたが私たちまたは他のいかなる団体に対して、モデルまたは派生作品またはその一部があなたが所有するまたは許諾できる知的財産権または他の権利を侵害していると主張するいかなる訴訟または手続き（訴訟における交差請求または反訴を含む）を提起した場合、本契約によってあなたに付与されたすべての許可は、その訴訟または請求が提起された日から直ちに終了します。

8. 一般条項

8.1. 適用法律：本契約はフランス法に準拠し、法律選択原則は適用されません。国際連合国際商品売買契約条約は本契約に適用されません。

8.2. 管轄裁判所：本契約に関するすべての紛争について、パリの裁判所が排他的な管轄権を有します。

8.3. 分割可能性：本契約のいずれかの条項が無効、違法、または執行不能と判断された場合、残りの条項は影響を受けず、その条項がここに記載されていなかったかのように引き続き有効です。

9. 定義

• 契約：Mistral モデル、派生作品、および出力のアクセス、使用、および配布を規制するための本 Mistral AI 研究許諾契約を指します。
• 派生作品：(i) Mistral モデルのいかなる修正バージョン（そのカスタマイズまたは微調整バージョンを含むがこれに限定されない）、(ii) Mistral モデルに基づく作品、または (iii) その他の派生作品を指します。
• 配布：本契約の第 3 条に従って、Mistral モデルおよび/または派生作品（該当する場合）のコピーをいかなる方法でも提供、供給、または利用可能にすることを指します。
• Mistral AI、「私たち」、または「私たちの」：パリ商業登記所に登録されているフランスの簡易株式会社である Mistral AI を指し、登録番号は 952 418 325、登録住所は 15, rue des Halles, 75001 Paris です。
• Mistral モデル：基礎となる大規模言語モデルおよびその要素を指し、アルゴリズム、ソフトウェア、命令チェックポイント、パラメータ、ソースコード（推論コード、評価コード、および該当する場合は微調整コード）、および Mistral AI が本契約に基づいて提供する関連するすべての要素（技術文書、マニュアル、および使用および操作説明を含む（ある場合））を含みます。
• 研究目的：Mistral モデル、派生作品、または出力のいかなる使用であって、(a) 個人、科学、または学術研究のためにのみ行われ、(b) 非営利および非商業目的であり、いかなる商業活動または事業運営とも直接的または間接的に関連していないものを指します。説明のために、研究目的には、(1) 会社に雇用または契約された個人または請負業者が日常の業務で行う Mistral モデル、派生作品、または出力のいかなる使用、または (2) 商業団体がいかなる媒体または形式（ホスティングまたは管理サービス（SaaS、クラウドインスタンスなど）またはソフトウェア層を含むがこれに限定されない）で、有料か無料かを問わず、Mistral モデル、派生作品、または出力を配布することは含まれません。
• 出力：ユーザーが提供するプロンプト（すなわち、テキスト命令）が Mistral モデルまたは派生作品の操作によって生成するすべてのコンテンツを指します。疑義を避けるために、出力には Mistral モデルのいかなるコンポーネント（Mistral モデルの微調整バージョン、重み、またはパラメータなど）も含まれません。
• あなた：Mistral AI と本契約を締結する個人または団体を指します。

Mistral AI は、モデルを提供し、ライセンスを実施するためにあなたの個人データを処理します。あなたが商業団体に所属している場合、私たちはあなたにモデルに関する通信を送信することもあります。あなたの権利およびデータ処理に関する詳細については、プライバシーポリシー を参照してください。