Mistral 7B Instruct V0.3 AWQ

🚀 mistralai/Mistral-7B-Instruct-v0.3 AWQ

Mistral-7B-Instruct-v0.3のAWQ量子化モデルで、高速な推論を実現します。

🚀 クイックスタート

このセクションでは、Mistral-7B-Instruct-v0.3 AWQモデルの基本的な使い方を説明します。

✨ 主な機能

• Mistral-7B-Instruct-v0.3は、Mistral-7B-v0.3をインストラクションファインチューニングした大規模言語モデル（LLM）です。
• Mistral-7B-v0.2と比較して、以下の変更があります。
  • 語彙数を32768に拡張
  • v3トークナイザーをサポート
  • 関数呼び出しをサポート

📦 インストール

必要なパッケージをインストールするには、以下のコマンドを実行します。

pip install --upgrade autoawq autoawq-kernels

💻 使用例

基本的な使用法

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

model_path = "solidrust/Mistral-7B-Instruct-v0.3-AWQ"
system_message = "You are Mistral-7B-Instruct-v0.3, incarnated as a powerful AI. You were created by mistralai."

# Load model
model = AutoAWQForCausalLM.from_quantized(model_path,
                                          fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(model_path,
                                          trust_remote_code=True)
streamer = TextStreamer(tokenizer,
                        skip_prompt=True,
                        skip_special_tokens=True)

# Convert prompt to tokens
prompt_template = """\
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "You're standing on the surface of the Earth. "\
        "You walk one mile south, one mile west and one mile north. "\
        "You end up exactly where you started. Where are you?"

tokens = tokenizer(prompt_template.format(system_message=system_message,prompt=prompt),
                  return_tensors='pt').input_ids.cuda()

# Generate output
generation_output = model.generate(tokens,
                                  streamer=streamer,
                                  max_new_tokens=512)

高度な使用法

このモデルは、AWQという効率的で正確かつ高速な低ビット重み量子化方法を使用しています。現在は4ビット量子化をサポートしており、GPTQと比較して、同等またはそれ以上の品質で、より高速な推論を提供します。

AWQモデルは現在、LinuxとWindowsでNVidia GPUのみサポートされています。macOSユーザーは、代わりにGGUFモデルを使用してください。

以下の環境でサポートされています。

• Text Generation Webui - Loader: AutoAWQを使用
• vLLM - バージョン0.2.2以降ですべてのモデルタイプをサポート
• Hugging Face Text Generation Inference (TGI)
• Transformers バージョン4.35.0以降で、Transformersをサポートする任意のコードまたはクライアントから使用可能
• AutoAWQ - Pythonコードから使用する場合

📚 ドキュメント

モデル情報

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。