Cxllin StableHermes 3b Gguf

🚀 StableHermes-3b - GGUF

このモデル説明は、常に最新かつ包括的な情報を提供するために改善されています。このモデルは質問応答タスクに最適化されており、多くのユーザーに役立つ情報を提供します。

🚀 クイックスタート

このモデルを使用する前に、必要なライブラリをインストールする必要があります。以下のコードを参考に、モデルをロードして使用してください。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cxllin/StableHermes-3b")
model = AutoModelForCausalLM.from_pretrained(
  "cxllin/StableHermes-3b",
  trust_remote_code=True,
  torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("Describe the potential implications of quantum computing on the future of cybersecurity.", return_tensors="pt").to("cuda")
tokens = model.generate(
  **inputs,
  max_new_tokens=64,
  temperature=0.75,
  top_p=0.95,
  do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

✨ 主な機能

• モデル作成者: cxllin
• 元のモデル: StableHermes-3b
• StableLMベース: このモデルはStableLMに基づいています。StablelmはStability AIによる言語モデルのファミリーです。
• 30億パラメータ: 最先端のアーキテクチャで、精度と詳細を重視しています。
• 多様な学習データ: GPTeacherデータセット、WizardLM、Airoboros GPT - 4、Camel - AIのドメインエキスパートデータセットなどのエントリーから恩恵を受けています。
• オープンソースデータセット: OpenHermesは、完全にオープンソースのデータセットを持つHermesデータセットの最初のファインチューニングの1つです。
• 高度なTransformerデコーダーアーキテクチャ: GPT - NeoXのデコーダー専用の言語モデル構造に基づいています。

📦 インストール

必要なライブラリはtransformersです。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

StableLMについて

このモデルはStableLMに基づいています。StablelmはStability AIによる言語モデルのファミリーです。

注意事項

2023年11月15日現在、Llama.cppの実装では、これらのStableLMモデルで最大34層までのGPUオフロードのみがサポートされています。-nglが34より大きい場合、モデルはすぐにクラッシュします。ただし、GPUアクセラレーションなしでは正常に動作します。

GGUF形式について

ggufは、ggmlライブラリで現在使用されているファイル形式です。使用するソフトウェアが増えており、このモデルを使用できます。ggmlライブラリを使用する核心プロジェクトは、Georgi Gerganovによるllama.cppプロジェクトです。

量子化バリアント

特定のニーズに合わせて、多数の量子化ファイルが用意されています。以下は、最適なオプションを選択する方法です。

レガシー量子化

Q4_0、Q4_1、Q5_0、Q5_1、Q8はレガシー量子化タイプです。ただし、いくつかの状況では、特定のモデルが最新のK - 量子化と互換性がないため、完全にサポートされています。

注意事項

以前は「互換性がない」とされていたモデルでも、K - 量子化を使用する新しいオプションがありますが、これにはいくつかのフォールバックソリューションが含まれ、「本物の」K - 量子化ではなくなります。詳細は、影響を受けるモデルの説明で確認できます。（主にFalcon 7bおよびStarcoderモデルを指します）

K - 量子化

K - 量子化は、モデルの特定の部分で異なるレベルの量子化を行うことで、パフォーマンス、ファイルサイズ、メモリ負荷を最適化することを目的として設計されています。可能な場合は、K - 量子化を使用してください。Q6_Kでは、元のモデルとの品質の違いを見分けるのが難しい場合があります。同じ質問をモデルに2回投げると、品質の違いがより大きくなることがあります。

🔧 技術詳細

• パイプラインタグ: question - answering
• タグ: General

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

支援のお願い

私は現在、自分の作品に対するスポンサーシップ/クラウドファンディングキャンペーンを立ち上げています。Kickstarter、Patreon、または新しいGitHub Sponsorsプラットフォームを検討しており、この種のモデルの継続的な提供に対する支援と貢献を期待しています。あなたの支援により、さらに価値のあるリソースを提供し、あなたが依存しているモデルを維持することができます。このページをコミュニティにとってさらに価値のあるリソースにするために努力している間、あなたの忍耐と継続的な支援に感謝いたします。