Bielik 7B Instruct V0.1 GGUF

🚀 Bielik-7B-Instruct-v0.1-GGUF

このリポジトリには、SpeakLeashのBielik-7B-Instruct-v0.1のGGUF形式のモデルファイルが含まれています。

注意: 量子化モデルは応答品質が低下し、幻覚的な応答が出る可能性があります！

テスト用のシンプルなColabノートブック: https://colab.research.google.com/drive/1Al9glPVCuOXbtDsks8cMcuzkuu8YDzpg?usp=sharing

🚀 クイックスタート

モデルの説明:

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。

GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストは以下の通りです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているウェブUIで、多くの機能と強力な拡張機能があります。GPUアクセラレーションをサポートしています。
• KoboldCpp、全機能のウェブUIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションが可能です。特にストーリーテリングに適しています。
• GPT4All、無料でオープンソースのローカル実行GUIで、Windows、Linux、macOSをサポートし、完全なGPUアクセラレーションが可能です。
• LM Studio、Windows、macOS (Silicon)、Linux用の使いやすく強力なローカルGUIで、GPUアクセラレーションが可能です。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいウェブUIで、モデル選択が容易な完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションが可能です。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、OpenAI互換APIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、OpenAI互換AIサーバーを備えたPythonライブラリです。ただし、ctransformersは長い間更新されておらず、最近の多くのモデルをサポートしていません。

📄 ライセンス

このモデルはCC BY NC 4.0 (非商用) ライセンスの下で提供されています。

お問い合わせ

何か質問や提案がある場合は、ディスカッションタブを使用してください。直接お問い合わせしたい場合は、Discord SpeakLeashに参加してください。