Llama 3 8B Instruct 64k GGUF

🚀 [MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF]

このモデルは、MaziyarPanahi/Llama-3-8B-Instruct-64k のGGUF形式のモデルファイルを含んでいます。テキスト生成に特化した高性能なモデルです。

🚀 クイックスタート

このモデルは、MaziyarPanahi/Llama-3-8B-Instruct-64k のGGUF形式のモデルファイルを提供します。以下に、このモデルに関する基本的な情報を示します。

• モデル作成者: MaziyarPanahi
• オリジナルモデル: MaziyarPanahi/Llama-3-8B-Instruct-64k

📚 ドキュメント

説明

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF は、MaziyarPanahi/Llama-3-8B-Instruct-64k のGGUF形式のモデルファイルを含んでいます。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これは、llama.cppでサポートされなくなったGGMLの代替形式です。

以下は、GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio、WindowsとmacOS (Silicon) 用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。2023年11月27日現在、Linux版はベータ版で利用可能です。
• text-generation-webui、最も広く使用されているウェブUIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた完全な機能を持つウェブUIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、およびmacOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいウェブUIで、モデル選択を容易にする完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。なお、執筆時点 (2023年11月27日) では、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

🔧 特別な感謝

🙏 Georgi Gerganov と llama.cpp に取り組んでいる全チームに、このすべてを可能にしてくれたことに特別な感謝を申し上げます。