Cxllin StableHermes 3b Gguf

🚀 StableHermes-3b - GGUF

StableHermes-3b - GGUF 是基于 StableLM 的模型，能为用户提供准确且详细的多领域见解。该模型有多种量化变体可供选择，以满足不同的需求。

🚀 快速开始

模型基本信息

• 模型创建者：cxllin
• 原始模型：StableHermes-3b

✨ 主要特性

StableLM 模型特性

• 这是一个基于 StableLM 的模型，StableLM 是 Stability AI 推出的一系列语言模型。

模型通用特性

• 30 亿参数：先进的架构强调精确性和细节。
• 多样化的训练数据：受益于 GPTeacher 数据集、WizardLM、Airoboros GPT - 4、Camel - AI 的领域专家数据集等。
• 开源数据集：OpenHermes 是 Hermes 数据集的首批微调版本之一，拥有完全开源的数据集。
• 先进的 Transformer 解码器架构：基于 GPT - NeoX 的仅解码器语言模型结构。

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cxllin/StableHermes-3b")
model = AutoModelForCausalLM.from_pretrained(
  "cxllin/StableHermes-3b",
  trust_remote_code=True,
  torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("Describe the potential implications of quantum computing on the future of cybersecurity.", return_tensors="pt").to("cuda")
tokens = model.generate(
  **inputs,
  max_new_tokens=64,
  temperature=0.75,
  top_p=0.95,
  do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

📚 详细文档

关于 GGUF 格式

gguf 是当前由 ggml 库使用的文件格式。越来越多的软件正在使用它，因此可以使用此模型。使用 ggml 库的核心项目是 Georgi Gerganov 的 llama.cpp 项目。

量化变体

有大量的量化文件可供选择，以满足您的特定需求。以下是如何为您选择最佳选项：

• 旧版量化：Q4_0、Q4_1、Q5_0、Q5_1 和 Q8 是 旧版 量化类型。尽管如此，它们仍得到完全支持，因为在某些情况下，某些模型与现代 K - 量化不兼容。现在有一个新选项，即使对于以前“不兼容”的模型也可以使用 K - 量化，尽管这涉及一些回退解决方案，使它们不是真正的 K - 量化。更多详细信息可以在受影响的模型描述中找到（主要指 Falcon 7b 和 Starcoder 模型）。
• K - 量化：K - 量化的设计理念是，在模型的特定部分采用不同级别的量化可以优化性能、文件大小和内存负载。因此，如果可能的话，请使用 K - 量化。使用 Q6_K 时，您可能会发现很难辨别与原始模型的质量差异——向您的模型两次提出相同的问题，您可能会遇到更大的质量差异。

🔧 技术细节

StableLM 模型技术细节

当前（截至 2023 - 11 - 15）Llama.cpp 的实现仅支持这些 StableLM 模型的 GPU 卸载最多 34 层。如果 -ngl 大于 34，模型将立即崩溃。不过，模型在没有任何 GPU 加速的情况下也能正常工作。

📄 许可证

本模型采用 MIT 许可证。

其他信息

训练评估

支持作者工作

作者正在筹备赞助/众筹活动，正在评估 Kickstarter、Patreon 或新的 GitHub Sponsors 平台，希望得到大家的支持和贡献，以保证此类模型的持续可用性。

作者相关链接