Openhercules 2.5 Mistral 7B AWQ

🚀 hydra-project/OpenHercules-2.5-Mistral-7B AWQ

OpenHercules-2.5-Mistral-7B AWQ 是一個經過量化處理的模型，它結合了多個優秀模型的特性，在文本生成任務上表現出色。本項目提供了該模型的詳細信息、使用方法以及相關的量化格式說明。

🚀 快速開始

安裝必要的包

pip install --upgrade autoawq autoawq-kernels

Python 代碼示例

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

model_path = "solidrust/OpenHercules-2.5-Mistral-7B-AWQ"
system_message = "You are Senzu, incarnated as a powerful AI."

# 加載模型
model = AutoAWQForCausalLM.from_quantized(model_path,
                                          fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(model_path,
                                          trust_remote_code=True)
streamer = TextStreamer(tokenizer,
                        skip_prompt=True,
                        skip_special_tokens=True)

# 將提示轉換為令牌
prompt_template = """\
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "You're standing on the surface of the Earth. "\
        "You walk one mile south, one mile west and one mile north. "\
        "You end up exactly where you started. Where are you?"

tokens = tokenizer(prompt_template.format(system_message=system_message,prompt=prompt),
                  return_tensors='pt').input_ids.cuda()

# 生成輸出
generation_output = model.generate(tokens,
                                  streamer=streamer,
                                  max_new_tokens=512)

✨ 主要特性

• 模型融合：OpenHercules-2.5-Mistral-7B 是通過 LazyMergekit 合併以下模型得到的：
  • Locutusque/Hercules-2.5-Mistral-7B
  • teknium/OpenHermes-2.5-Mistral-7B
• 高效量化：採用 AWQ 量化方法，這是一種高效、準確且快速的低比特權重量化方法，目前支持 4 位量化。與 GPTQ 相比，它在基於 Transformer 的推理中速度更快，並且在質量上與最常用的 GPTQ 設置相當或更好。
• 多平臺支持：目前支持 Linux 和 Windows 系統，僅適用於 NVidia GPU。macOS 用戶請使用 GGUF 模型。
• 多庫支持：支持多個流行的庫，包括 Text Generation Webui、vLLM、Hugging Face Text Generation Inference (TGI)、Transformers 和 AutoAWQ。

📦 模型信息

📚 詳細文檔

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

其他量化格式

exl2 和 gguf 格式由 Bartowski 提供：

• exl2 格式
• gguf 格式

模型評估結果

該模型在多個數據集上進行了評估，以下是部分評估結果：

📄 許可證

本模型使用的許可證為 apache-2.0。