Llama 3 Smaug 8B GGUF

🚀 [MaziyarPanahi/Llama-3-Smaug-8B-GGUF]

このモデルは、abacusai/Llama-3-Smaug-8BのGGUF形式のモデルファイルを含んでいます。テキスト生成に利用できます。

🚀 クイックスタート

このモデルは、MaziyarPanahi/Llama-3-Smaug-8B-GGUFにあるGGUF形式のモデルファイルを使用して、abacusai/Llama-3-Smaug-8Bの機能を実現します。

• モデル作成者: abacusai
• オリジナルモデル: abacusai/Llama-3-Smaug-8B

📚 ドキュメント

モデルの読み込み

Llama-3が提供するプロンプトテンプレートに従う必要があります。

./llama.cpp/main -m Llama-3-Smaug-8B.Q2_K.gguf -r '<|eot_id|>' --in-prefix "\n<|start_header_id|>user<|end_header_id|>\n\n" --in-suffix "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n" -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\nYou are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\nHi! How are you?<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n" -n 1024

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これはGGMLの代替形式で、現在llama.cppはGGMLをサポートしていません。

GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、全機能のWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートしています。特にストーリーテリングに適しています。
• GPT4All、無料でオープンソースのローカル実行GUIで、Windows、Linux、macOSをサポートし、完全なGPUアクセラレーションを備えています。
• LM Studio、WindowsとmacOS (Silicon) 用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。Linux版は2023年11月27日時点でベータ版です。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデル選択が簡単な完全なモデルライブラリを備えています。
• Faraday.dev、WindowsとmacOS (SiliconとIntel両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバーを備えたPythonライブラリです。なお、このドキュメント作成時点 (2023年11月27日) では、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

READMEにライセンス情報が記載されていないため、このセクションは省略されています。