Openhercules 2.5 Mistral 7B AWQ

🚀 hydra-project/OpenHercules-2.5-Mistral-7B AWQ

このモデルは、hydra-projectによって作成されたOpenHercules-2.5-Mistral-7BのAWQ量子化バージョンです。複数のモデルをマージして構築され、テキスト生成タスクに適しています。

🚀 クイックスタート

• モデル作成者: hydra-project
• オリジナルモデル: OpenHercules-2.5-Mistral-7B

✨ 主な機能

OpenHercules-2.5-Mistral-7Bは、LazyMergekitを使用して以下のモデルをマージしたものです。

• Locutusque/Hercules-2.5-Mistral-7B
• teknium/OpenHermes-2.5-Mistral-7B

📦 インストール

必要なパッケージをインストール

pip install --upgrade autoawq autoawq-kernels

💻 使用例

基本的な使用法

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

model_path = "solidrust/OpenHercules-2.5-Mistral-7B-AWQ"
system_message = "You are Senzu, incarnated as a powerful AI."

# モデルをロード
model = AutoAWQForCausalLM.from_quantized(model_path,
                                          fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(model_path,
                                          trust_remote_code=True)
streamer = TextStreamer(tokenizer,
                        skip_prompt=True,
                        skip_special_tokens=True)

# プロンプトをトークンに変換
prompt_template = """\
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "You're standing on the surface of the Earth. "\
        "You walk one mile south, one mile west and one mile north. "\
        "You end up exactly where you started. Where are you?"

tokens = tokenizer(prompt_template.format(system_message=system_message,prompt=prompt),
                  return_tensors='pt').input_ids.cuda()

# 出力を生成
generation_output = model.generate(tokens,
                                  streamer=streamer,
                                  max_new_tokens=512)

🔧 技術詳細

AWQについて

AWQは、効率的で正確かつ非常に高速な低ビット重み量子化手法で、現在は4ビット量子化をサポートしています。GPTQと比較すると、最も一般的に使用されるGPTQ設定と同等またはそれ以上の品質で、Transformerベースの推論をより高速に行うことができます。

AWQモデルは現在、LinuxとWindowsでNVidia GPUのみをサポートしています。macOSユーザーは、代わりにGGUFモデルを使用してください。

以下の環境でサポートされています。

• Text Generation Webui - Loader: AutoAWQを使用
• vLLM - すべてのモデルタイプをサポートするにはバージョン0.2.2以降
• Hugging Face Text Generation Inference (TGI)
• Transformers バージョン4.35.0以降、Transformersをサポートする任意のコードまたはクライアントから
• AutoAWQ - Pythonコードから使用する場合

📚 ドキュメント

プロンプトテンプレート: ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

その他の量子化形式

Bartowskiによるexl2とgguf形式: https://huggingface.co/bartowski/OpenHercules-2.5-Mistral-7B-exl2 https://huggingface.co/bartowski/OpenHercules-2.5-Mistral-7B-GGUF

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。