Llama 3.1 8B RainbowLight EtherealMix GGUF

🚀 [MaziyarPanahi/Llama-3.1-8B-RainbowLight-EtherealMix-GGUF]

このプロジェクトは、ZeroXClem/Llama-3.1-8B-RainbowLight-EtherealMix モデルの GGUF 形式ファイルを提供しており、テキスト生成に関連するアプリケーション開発を容易にします。

🚀 クイックスタート

このプロジェクトのモデルファイルは GGUF 形式で保存されており、複数のクライアントやライブラリで推論に使用できます。

✨ 主な機能

• 多ビット量子化対応：2 - 8 ビット量子化をサポートし、異なるシナリオに応じて柔軟に選択でき、モデルサイズとパフォーマンスのバランスを取ることができます。
• GGUF 形式：llama.cpp チームが 2023 年 8 月 21 日に導入した新形式で、サポートが終了した GGML 形式に代わるものです。
• 幅広い互換性：llama.cpp、llama-cpp-python、LM Studio など、複数のクライアントやライブラリをサポートしています。

📚 ドキュメント

モデル情報

GGUF について

GGUF は、llama.cpp チームが 2023 年 8 月 21 日に導入した新形式で、llama.cpp でサポートされなくなった GGML 形式に代わるものです。以下は、GGUF をサポートする既知のクライアントとライブラリの不完全なリストです。

• llama.cpp：GGUF のソースプロジェクトで、コマンドラインインターフェイスとサーバーオプションを提供します。
• llama-cpp-python：GPU 加速、LangChain 統合、および OpenAI 互換 API サーバーをサポートする Python ライブラリです。
• LM Studio：使いやすく強力なローカル GUI で、Windows と macOS（Silicon）をサポートし、GPU 加速を提供します。2023 年 11 月 27 日現在、Linux バージョンはテスト段階です。
• text-generation-webui：最も広く使用されている Web UI で、多くの機能と強力な拡張機能を備え、GPU 加速をサポートしています。
• KoboldCpp：すべてのプラットフォームと GPU アーキテクチャで GPU 加速をサポートする機能豊富な Web UI で、特にストーリー作成に適しています。
• GPT4All：無料でオープンソースのローカル実行 GUI で、Windows、Linux、および macOS をサポートし、完全な GPU 加速を提供します。
• LoLLMS Web UI：多くの面白くて独特な機能を備えた素敵な Web UI で、モデル選択を容易にする完全なモデルライブラリを含んでいます。
• Faraday.dev：Windows と macOS（Silicon および Intel）をサポートし、GPU 加速を提供する美しく使いやすいロールベースのチャット GUI です。
• candle：GPU サポートを含む、パフォーマンスに重点を置いた Rust ML フレームワークで、使いやすいです。
• ctransformers：GPU 加速、LangChain 統合、および OpenAI 互換 AI サーバーをサポートする Python ライブラリです。この記事を書いている時点（2023 年 11 月 27 日）では、ctransformers は長い間更新されておらず、多くの最新モデルをサポートしていません。

🔗 特別な感謝

このすべてを可能にしてくれた Georgi Gerganov と llama.cpp プロジェクトのチーム全体に特別な感謝を送ります。