Bielik 11B V2.3 Instruct GGUF

🚀 Bielik-11B-v2.3-Instruct-GGUF

このリポジトリには、SpeakLeashのBielik-11B-v.2.3-InstructのGGUF形式のモデルファイルが含まれています。

⚠️ 重要提示

量子化されたモデルは応答品質が低下し、幻覚的な出力が生じる可能性があることに注意してください！

✨ 主な機能

利用可能な量子化形式

• q4_k_m: 注意機構のattention.wvとフィードフォワード層のfeed_forward.w2テンソルの半分にQ6_Kを使用し、それ以外にはQ4_Kを使用します。
• q5_k_m: 注意機構のattention.wvとフィードフォワード層のfeed_forward.w2テンソルの半分にQ6_Kを使用し、それ以外にはQ5_Kを使用します。
• q6_k: すべてのテンソルにQ8_Kを使用します。
• q8_0: float16とほぼ区別がつきません。高いリソースを消費し、処理速度が遅いため、ほとんどのユーザーにはおすすめできません。

Ollama Modfile

GGUFファイルはOllamaで使用できます。これを行うには、Modfileで定義された設定を使用してモデルをインポートする必要があります。例えば、モデルBielik-11B-v2.3-Instruct.Q4_K_M.gguf（モデルの完全なパス）のModfileは次のようになります。

FROM ./Bielik-11B-v2.3-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# 実験的なモデル（1 - 3ビット）の場合は、低い温度を設定することを忘れないでください
PARAMETER temperature 0.1

📚 ドキュメント

モデルの説明

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。

GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた、完全な機能を持つWeb UIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、macOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LM Studio、Windows、macOS（Silicon）、Linux用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデルの選択が容易な完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。ただし、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

モデル量子化の担当者

• Remigiusz Kinas^SpeakLeash - チームリーダーシップ、概念化、キャリブレーションデータの準備、プロセスの作成、および量子化モデルの配信。

📄 ライセンス

このモデルは、Apache 2.0ライセンスおよび利用規約の下で提供されています。

お問い合わせ

何か質問や提案がある場合は、ディスカッションタブを使用してください。直接お問い合わせをしたい場合は、Discord SpeakLeashに参加してください。