Bielik 1.5B V3.0 Instruct GGUF

🚀 Bielik-1.5B-v3.0-Instruct-GGUF

このリポジトリには、SpeakLeashのBielik-1.5B-v.3.0-InstructのGGUF形式のモデルファイルが含まれています。

📚 技術レポート: https://arxiv.org/abs/2505.02550

注意: 量子化されたモデルは応答品質が低下し、幻覚現象が発生する可能性があります！

🚀 クイックスタート

このモデルを使用することで、特定のタスクを実行することができます。以下に具体的な使用方法を説明します。

✨ 主な機能

利用可能な量子化形式

• q8_0: float16とほぼ区別がつきません。リソース使用量が多く、処理が遅いため、ほとんどのユーザーにはおすすめしません。
• fp16: Bielik-1.5B-v3.0-Instructをfp16 GGUFに変換したものです。

Ollama Modfile

GGUFファイルはOllamaで使用できます。これを行うには、Modfileで定義された構成を使用してモデルをインポートする必要があります。例えば、モデルBielik-1.5B-v3.0-Instruct.Q4_K_M.gguf（モデルの完全なパス）のModfileは次のようになります。

FROM ./Bielik-1.5B-v3.0-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# 実験的なモデル（1 - 3ビット）の場合は、低温を設定することを忘れないでください
PARAMETER temperature 0.1

📚 ドキュメント

モデルの説明

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。

GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストは次のとおりです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた、完全な機能を持つWeb UIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、macOSをサポートし、完全なGPUアクセラレーションを備えた、無料でオープンソースのローカル実行GUIです。
• LM Studio、Windows、macOS（Silicon）、Linux用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。ただし、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

モデル量子化の担当者

• Remigiusz Kinas^SpeakLeash - チームリーダーシップ、概念化、キャリブレーションデータの準備、プロセスの作成、および量子化モデルの配信。

📄 ライセンス

このモデルはApache 2.0および利用規約の下で提供されています。

お問い合わせ

質問や提案がある場合は、ディスカッションタブを使用してください。直接お問い合わせしたい場合は、Discord SpeakLeashに参加してください。