Llama 3.2 1B Instruct GGUF

🚀 [MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF]

このプロジェクトには、meta-llama/Llama-3.2-1B-InstructのGGUF形式のモデルファイルが含まれており、より広範なサポートと優れたパフォーマンスを提供します。

🚀 クイックスタート

このプロジェクトでは、meta-llama/Llama-3.2-1B-InstructモデルのGGUF形式のファイルを提供しています。以下に関連情報を示します。

• モデル作成者：meta-llama
• 元のモデル：meta-llama/Llama-3.2-1B-Instruct

✨ 主な機能

GGUFについて

GGUFは、llama.cppチームが2023年8月21日に導入した新しい形式で、llama.cppでサポートされなくなったGGML形式に取って代わります。

以下は、GGUFをサポートする既知のクライアントとライブラリの不完全なリストです。

• llama.cpp：GGUFのソースプロジェクトで、コマンドラインインターフェイスとサーバーオプションを提供します。
• llama-cpp-python：GPUアクセラレーション、LangChain統合、およびOpenAI互換APIサーバーをサポートするPythonライブラリです。
• LM Studio：WindowsとmacOS（Silicon）に適した使いやすく強力なローカルグラフィックインターフェイスで、GPUアクセラレーションをサポートします。2023年11月27日現在、Linuxバージョンはテスト段階です。
• text-generation-webui：最も広く使用されているWebインターフェイスで、多数の機能と強力な拡張機能を備え、GPUアクセラレーションをサポートします。
• KoboldCpp：すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートする機能豊富なWebインターフェイスで、特にストーリーテリングに適しています。
• GPT4All：Windows、Linux、およびmacOSでローカルで実行できる無料のオープンソースのグラフィックインターフェイスで、完全なGPUアクセラレーションを提供します。
• LoLLMS Web UI：多くの面白くユニークな機能を備えた素敵なWebインターフェイスで、モデルの選択が容易な完全なモデルライブラリを含んでいます。
• Faraday.dev：WindowsとmacOS（SiliconおよびIntel）に適した美しく使いやすいロールベースのチャットグラフィックインターフェイスで、GPUアクセラレーションをサポートします。
• candle：パフォーマンスに重点を置いたRustの機械学習フレームワークで、GPUをサポートし、使いやすいです。
• ctransformers：GPUアクセラレーション、LangChain統合、およびOpenAI互換AIサーバーをサポートするPythonライブラリです。本文を執筆している時点（2023年11月27日）では、ctransformersは長い間更新されておらず、多くの最新モデルをサポートしていません。

📚 ドキュメント

特別な感謝

このすべてを可能にしてくれたGeorgi Gerganovとllama.cppのチーム全体に特別な感謝を申し上げます。

タグ情報