Helpingai Dhanishtha 2.0 Preview GGUF

🚀 HelpingAIのDhanishtha-2.0-previewのLlamacpp imatrix量子化モデル

本プロジェクトは、HelpingAIのDhanishtha-2.0-previewモデルを量子化処理するものです。llama.cppツールを使用し、多言語をサポートしており、推論や対話などの様々なシーンで利用できます。

基本情報

例

• 複雑なパズル解決：「このパズルを段階的に解いてください。私は鉱山から取り出され、その後木の箱に閉じ込められました。私はそこから解放されることはないですが、ほとんどの人が私を使っています。私は何ですか？」
• 哲学的推論：「人工意識の哲学的な意味を説明し、様々な角度から考えてください。」
• 教育的説明：「量子力学を理解してくれますか？ゆっくり考えてから説明してください。」

データセット

• Abhaykoul/Dhanishtha-R1
• open-thoughts/OpenThoughts-114k
• Abhaykoul/Dhanishtha-2.0-SUPERTHINKER
• Abhaykoul/Dhanishtha-2.0

🚀 クイックスタート

llama.cpp バージョン b5760 を使用して量子化を行います。 元のモデルのアドレス：https://huggingface.co/HelpingAI/Dhanishtha-2.0-preview

すべての量子化モデルはimatrixオプションを使用し、ここ のデータセットを使用しています。

これらのモデルは LM Studio で実行することも、llama.cpp またはllama.cppベースのプロジェクトを直接使用して実行することもできます。

✨ 主な機能

• 多言語サポート：英語、中国語、日本語など、多くの言語をサポートし、異なる地域のユーザーのニーズを満たします。
• 推論能力：推論や中間思考能力を備え、複雑なパズルの解決や哲学的な推論などに利用できます。
• 複数の量子化オプション：複数の量子化モデルを提供し、ハードウェアリソースやパフォーマンス要件に応じて選択できます。

📦 インストール

huggingface-cliを使用してダウンロード

まず、huggingface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードする具体的なファイルを指定できます。

huggingface-cli download bartowski/HelpingAI_Dhanishtha-2.0-preview-GGUF --include "HelpingAI_Dhanishtha-2.0-preview-Q4_K_M.gguf" --local-dir ./

モデルのサイズが50GBを超える場合、複数のファイルに分割されます。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/HelpingAI_Dhanishtha-2.0-preview-GGUF --include "HelpingAI_Dhanishtha-2.0-preview-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（例：HelpingAI_Dhanishtha-2.0-preview-Q8_0）を指定することも、現在のディレクトリ（./）にすべてダウンロードすることもできます。

💻 使用例

基本的な使用法

# 次のようにプロンプトを設定します。
<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ダウンロードファイルの選択

埋め込み/出力重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を採用し、埋め込みと出力の重みをデフォルト値ではなくQ8_0に量子化しています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードすることがありました。これらのモデルの重みは、ARMおよびAVXマシンで一度により多くのデータをロードすることでパフォーマンスを向上させるために、メモリ内で交差配置されていました。

しかし、現在では「オンライン再パッキング」と呼ばれる重み処理方法があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングから恩恵を受ける場合、自動的にリアルタイムで処理されます。

llama.cppのビルドバージョン b4282 以降では、Q4_0_X_Xファイルを実行できなくなり、Q4_0を使用する必要があります。

また、少し高い品質が必要な場合は、IQ4_NLを使用することができます。 このPR のおかげで、ARM用に重みが再パッキングされますが、現在は4_4のみサポートされています。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。

どのファイルを選ぶべきか？

🔧 技術詳細

ベンチマーク（AVX2システム - EPYC7702）

Q4_0_8_8は、プロンプト処理において良好な向上が見られ、テキスト生成においてわずかな向上が見られます。

📄 ライセンス

本プロジェクトはApache 2.0ライセンスを採用しています。

謝辞

kalomazeとDampfがimatrixキャリブレーションデータセットの作成を支援してくれたことに感謝します。 ZeroWwが埋め込み/出力の実験を啓発してくれたことに感謝します。 LM Studioが本プロジェクトを支援してくれたことに感謝します。

もし私の仕事を支援したい場合は、私のko-fiページにアクセスしてください。：https://ko-fi.com/bartowski