Cxllin StableHermes 3b Gguf

🚀 StableHermes-3b - GGUF

StableHermes-3b - GGUF 是基於 StableLM 的模型，能為用戶提供準確且詳細的多領域見解。該模型有多種量化變體可供選擇，以滿足不同的需求。

🚀 快速開始

模型基本信息

• 模型創建者：cxllin
• 原始模型：StableHermes-3b

✨ 主要特性

StableLM 模型特性

• 這是一個基於 StableLM 的模型，StableLM 是 Stability AI 推出的一系列語言模型。

模型通用特性

• 30 億參數：先進的架構強調精確性和細節。
• 多樣化的訓練數據：受益於 GPTeacher 數據集、WizardLM、Airoboros GPT - 4、Camel - AI 的領域專家數據集等。
• 開源數據集：OpenHermes 是 Hermes 數據集的首批微調版本之一，擁有完全開源的數據集。
• 先進的 Transformer 解碼器架構：基於 GPT - NeoX 的僅解碼器語言模型結構。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cxllin/StableHermes-3b")
model = AutoModelForCausalLM.from_pretrained(
  "cxllin/StableHermes-3b",
  trust_remote_code=True,
  torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("Describe the potential implications of quantum computing on the future of cybersecurity.", return_tensors="pt").to("cuda")
tokens = model.generate(
  **inputs,
  max_new_tokens=64,
  temperature=0.75,
  top_p=0.95,
  do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

📚 詳細文檔

關於 GGUF 格式

gguf 是當前由 ggml 庫使用的文件格式。越來越多的軟件正在使用它，因此可以使用此模型。使用 ggml 庫的核心項目是 Georgi Gerganov 的 llama.cpp 項目。

量化變體

有大量的量化文件可供選擇，以滿足您的特定需求。以下是如何為您選擇最佳選項：

• 舊版量化：Q4_0、Q4_1、Q5_0、Q5_1 和 Q8 是 舊版 量化類型。儘管如此，它們仍得到完全支持，因為在某些情況下，某些模型與現代 K - 量化不兼容。現在有一個新選項，即使對於以前“不兼容”的模型也可以使用 K - 量化，儘管這涉及一些回退解決方案，使它們不是真正的 K - 量化。更多詳細信息可以在受影響的模型描述中找到（主要指 Falcon 7b 和 Starcoder 模型）。
• K - 量化：K - 量化的設計理念是，在模型的特定部分採用不同級別的量化可以優化性能、文件大小和內存負載。因此，如果可能的話，請使用 K - 量化。使用 Q6_K 時，您可能會發現很難辨別與原始模型的質量差異——向您的模型兩次提出相同的問題，您可能會遇到更大的質量差異。

🔧 技術細節

StableLM 模型技術細節

當前（截至 2023 - 11 - 15）Llama.cpp 的實現僅支持這些 StableLM 模型的 GPU 卸載最多 34 層。如果 -ngl 大於 34，模型將立即崩潰。不過，模型在沒有任何 GPU 加速的情況下也能正常工作。

📄 許可證

本模型採用 MIT 許可證。

其他信息

訓練評估

支持作者工作

作者正在籌備贊助/眾籌活動，正在評估 Kickstarter、Patreon 或新的 GitHub Sponsors 平臺，希望得到大家的支持和貢獻，以保證此類模型的持續可用性。

作者相關鏈接