Llama 3.3 70B Instruct GGUF

🚀 MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF

このプロジェクトは、meta-llama/Llama-3.3-70B-Instruct モデルの GGUF 形式のファイルを提供しています。これにより、ユーザーはテキスト生成などの関連タスクを簡単に行うことができます。

📚 ドキュメント

モデル情報

モデルのアドレス

• モデル作成者: meta-llama
• オリジナルモデル: meta-llama/Llama-3.3-70B-Instruct

モデルの説明

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF には、meta-llama/Llama-3.3-70B-Instruct モデルの GGUF 形式のファイルが含まれています。

GGUFについて

GGUF は、llama.cpp チームが 2023 年 8 月 21 日に導入した新しい形式で、もはや llama.cpp でサポートされていない GGML 形式に取って代わりました。

以下は、GGUF をサポートする既知のクライアントとライブラリの不完全なリストです。

• llama.cpp：GGUF のソースプロジェクトで、コマンドラインインターフェイスとサーバーオプションを提供します。
• llama-cpp-python：GPU 加速、LangChain および OpenAI API サーバーと互換性のある Python ライブラリです。
• LM Studio：使いやすく強力なローカルグラフィックインターフェイスアプリで、Windows と macOS（Silicon）システムをサポートし、GPU 加速機能を備えています。2023 年 11 月 27 日現在、Linux バージョンはテスト段階です。
• text-generation-webui：最も広く使用されているウェブインターフェイスで、多くの機能と強力な拡張機能を備え、GPU 加速をサポートしています。
• KoboldCpp：すべてのプラットフォームと GPU アーキテクチャで GPU 加速をサポートする、機能が充実したウェブインターフェイスで、特にストーリー作成に適しています。
• GPT4All：Windows、Linux、macOS システムをサポートする無料でオープンソースのローカル実行グラフィックインターフェイスで、完全な GPU 加速機能を備えています。
• LoLLMS Web UI：多くの面白く独特な機能を備えた素敵なウェブインターフェイスで、モデル選択が容易な完全なモデルライブラリを持っています。
• Faraday.dev：Windows と macOS（Silicon および Intel）システムをサポートする、美しく使いやすいロールベースのチャットグラフィックインターフェイスで、GPU 加速機能を備えています。
• candle：GPU 加速をサポートし、使いやすい、パフォーマンスに重点を置いた Rust の機械学習フレームワークです。
• ctransformers：GPU 加速、LangChain および OpenAI API サーバーと互換性のある Python ライブラリです。この記事を書いている時点（2023 年 11 月 27 日）では、ctransformers は長い間更新されておらず、多くの最近のモデルをサポートしていません。

👏 特別な感謝

特別な感謝を Georgi Gerganov と llama.cpp のチーム全体に送ります。彼らのおかげでこのすべてが可能になりました。