Bielik 4.5B V3.0 Instruct GGUF

🚀 Bielik-4.5B-v3.0-Instruct-GGUF

このリポジトリには、SpeakLeash の Bielik-4.5B-v.3.0-Instruct のGGUF形式のモデルファイルが含まれています。

📚 技術レポート: https://arxiv.org/abs/2505.02550

注意事項: 量子化されたモデルは応答品質が低下し、幻覚現象が発生する可能性があることに留意してください！

🚀 クイックスタート

このリポジトリは、SpeakLeashのBielik-4.5B-v.3.0-InstructモデルのGGUF形式のファイルを提供しています。以下に、このモデルに関する詳細情報を紹介します。

✨ 主な機能

利用可能な量子化形式

• q8_0: float16とほぼ区別がつきません。高いリソースを使用し、処理速度が遅いため、ほとんどのユーザーにはおすすめしません。
• fp16: Bielik-4.5B-v3.0-Instructをfp16 GGUFに変換したものです。

Ollama Modfile

GGUFファイルは Ollama で使用できます。これを行うには、Modfileで定義された構成を使用してモデルをインポートする必要があります。例えば、モデル Bielik-4.5B-v3.0-Instruct.Q4_K_M.gguf（モデルの完全なパス）のModfileは次のようになります。

FROM ./Bielik-4.5B-v3.0-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# 実験的なモデル（1 - 3ビット）の場合は低温を設定することを忘れないでください
PARAMETER temperature 0.1

📚 ドキュメント

モデルの説明

GGUFについて

GGUFは、2023年8月21日に llama.cpp チームによって導入された新しい形式です。

GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、全機能のWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートしています。特にストーリーテリングに適しています。
• GPT4All、無料でオープンソースのローカル実行GUIで、Windows、Linux、macOSをサポートし、完全なGPUアクセラレーションを備えています。
• LM Studio、Windows、macOS（Silicon）、Linux用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバーを備えたPythonライブラリです。ただし、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

モデル量子化の担当者

• Remigiusz Kinas^SpeakLeash - チームリーダーシップ、概念化、キャリブレーションデータの準備、プロセスの作成、および量子化モデルの配信。

📄 ライセンス

このモデルはApache 2.0および 利用規約 の下で提供されています。

お問い合わせ

何か質問や提案がある場合は、ディスカッションタブを使用してください。直接お問い合わせしたい場合は、Discord SpeakLeash に参加してください。