Llama 3.2 3B Instruct GGUF

🚀 MaziyarPanahi/Llama-3.2-3B-Instruct-GGUF

このプロジェクトは、meta-llama/Llama-3.2-3B-Instruct モデルの GGUF 形式のファイルを提供しています。ユーザーはこれを使ってテキスト生成タスクを行うことができます。

🚀 クイックスタート

このプロジェクト MaziyarPanahi/Llama-3.2-3B-Instruct-GGUF には、meta-llama/Llama-3.2-3B-Instruct モデルの GGUF 形式のファイルが含まれています。

モデル情報

GGUFについて

GGUF は、llama.cpp チームによって 2023 年 8 月 21 日に導入された新しい形式です。これは、もはや llama.cpp でサポートされなくなった GGML 形式に代わるものです。

以下は、GGUF をサポートする既知のクライアントとライブラリの不完全なリストです。

• llama.cpp：GGUF のソースプロジェクトで、コマンドラインインターフェースとサーバーオプションを提供します。
• llama-cpp-python：GPU アクセラレーション、LangChain および OpenAI API サーバーと互換性のある Python ライブラリです。
• LM Studio：Windows と macOS（Silicon）に適した使いやすく強力なローカルグラフィカルインターフェースツールで、GPU アクセラレーションをサポートします。2023 年 11 月 27 日現在、Linux バージョンはテスト段階です。
• text-generation-webui：最も広く使われているウェブインターフェースで、多くの機能と強力な拡張機能を備え、GPU アクセラレーションをサポートします。
• KoboldCpp：すべてのプラットフォームと GPU アーキテクチャで GPU アクセラレーションをサポートする機能豊富なウェブインターフェースで、特にストーリー作成に適しています。
• GPT4All：Windows、Linux、macOS システムをサポートする無料でオープンソースのローカル実行グラフィカルインターフェースで、完全な GPU アクセラレーションを提供します。
• LoLLMS Web UI：多くの面白く独特な機能を備えた素敵なウェブインターフェースで、モデル選択に便利な完全なモデルライブラリがあります。
• Faraday.dev：Windows と macOS（Silicon および Intel）に適した美しく使いやすいロールベースのチャットグラフィカルインターフェースで、GPU アクセラレーションをサポートします。
• candle：性能に重点を置いた Rust の機械学習フレームワークで、GPU をサポートし、使いやすいです。
• ctransformers：GPU アクセラレーション、LangChain および OpenAI API サーバーと互換性のある Python ライブラリです。本文執筆時（2023 年 11 月 27 日）、ctransformers は長い間更新されておらず、多くの最新モデルをサポートしていません。

特別な感謝

このすべてを可能にしてくれた Georgi Gerganov と llama.cpp プロジェクトの全チームに特別な感謝を申し上げます。