Bielik 11B V2.6 Instruct GGUF

🚀 Bielik-11B-v2.6-Instruct-GGUF

このリポジトリには、SpeakLeash の Bielik-11B-v.2.6-Instruct のGGUF形式のモデルファイルが含まれています。

⚠️ 重要提示

量子化されたモデルは応答品質が低下し、幻覚が生じる可能性があることに注意してください！

✨ 主な機能

利用可能な量子化形式

• q4_k_m: 注意機構の attention.wv とフィードフォワード層の feed_forward.w2 テンソルの半分に Q6_K を使用し、それ以外には Q4_K を使用します。
• q5_k_m: 注意機構の attention.wv とフィードフォワード層の feed_forward.w2 テンソルの半分に Q6_K を使用し、それ以外には Q5_K を使用します。
• q6_k: すべてのテンソルに Q8_K を使用します。
• q8_0: 浮動小数点数16ビットとほとんど区別がつきません。リソース使用量が多く、処理速度が遅いです。ほとんどのユーザーにはおすすめしません。
• 16bit: fp16 を GGUF 形式に変換したものです。

Ollama Modfile

GGUFファイルは Ollama で使用できます。これを行うには、Modfile で定義された設定を使用してモデルをインポートする必要があります。例えば、モデル Bielik-11B-v2.6-Instruct.Q4_K_M.gguf（モデルの完全なパス）の Modfile は次のようになります。

FROM ./Bielik-11B-v2.6-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# Remeber to set low temperature for experimental models (1-3bits)
PARAMETER temperature 0.1

📚 ドキュメント

モデルの説明

GGUFについて

GGUFは、llama.cppチームによって2023年8月21日に導入された新しい形式です。

GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているウェブUIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた、機能豊富なウェブUIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、macOSをサポートし、完全なGPUアクセラレーションを備えた無料でオープンソースのローカル実行GUIです。
• LM Studio、Windows、macOS（Silicon）、Linux用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいウェブUIで、簡単なモデル選択のための完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustの機械学習フレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。ただし、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

モデル量子化の担当者

• Remigiusz Kinas^SpeakLeash - チームリーダーシップ、概念化、キャリブレーションデータの準備、プロセスの作成、および量子化モデルの提供。

📄 ライセンス

このモデルは、Apache 2.0 および 利用規約 の下で提供されています。

📞 お問い合わせ

ご質問やご提案がある場合は、ディスカッションタブをご利用ください。直接お問い合わせをしたい場合は、Discord SpeakLeash に参加してください。