Openhercules 2.5 Mistral 7B AWQ

🚀 hydra-project/OpenHercules-2.5-Mistral-7B AWQ

OpenHercules-2.5-Mistral-7B AWQ 是一个经过量化处理的模型，它结合了多个优秀模型的特性，在文本生成任务上表现出色。本项目提供了该模型的详细信息、使用方法以及相关的量化格式说明。

🚀 快速开始

安装必要的包

pip install --upgrade autoawq autoawq-kernels

Python 代码示例

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

model_path = "solidrust/OpenHercules-2.5-Mistral-7B-AWQ"
system_message = "You are Senzu, incarnated as a powerful AI."

# 加载模型
model = AutoAWQForCausalLM.from_quantized(model_path,
                                          fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(model_path,
                                          trust_remote_code=True)
streamer = TextStreamer(tokenizer,
                        skip_prompt=True,
                        skip_special_tokens=True)

# 将提示转换为令牌
prompt_template = """\
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "You're standing on the surface of the Earth. "\
        "You walk one mile south, one mile west and one mile north. "\
        "You end up exactly where you started. Where are you?"

tokens = tokenizer(prompt_template.format(system_message=system_message,prompt=prompt),
                  return_tensors='pt').input_ids.cuda()

# 生成输出
generation_output = model.generate(tokens,
                                  streamer=streamer,
                                  max_new_tokens=512)

✨ 主要特性

• 模型融合：OpenHercules-2.5-Mistral-7B 是通过 LazyMergekit 合并以下模型得到的：
  • Locutusque/Hercules-2.5-Mistral-7B
  • teknium/OpenHermes-2.5-Mistral-7B
• 高效量化：采用 AWQ 量化方法，这是一种高效、准确且快速的低比特权重量化方法，目前支持 4 位量化。与 GPTQ 相比，它在基于 Transformer 的推理中速度更快，并且在质量上与最常用的 GPTQ 设置相当或更好。
• 多平台支持：目前支持 Linux 和 Windows 系统，仅适用于 NVidia GPU。macOS 用户请使用 GGUF 模型。
• 多库支持：支持多个流行的库，包括 Text Generation Webui、vLLM、Hugging Face Text Generation Inference (TGI)、Transformers 和 AutoAWQ。

📦 模型信息

📚 详细文档

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

其他量化格式

exl2 和 gguf 格式由 Bartowski 提供：

• exl2 格式
• gguf 格式

模型评估结果

该模型在多个数据集上进行了评估，以下是部分评估结果：

📄 许可证

本模型使用的许可证为 apache-2.0。