Llama 3.2 3B Instruct Abliterated GGUF

🚀 [MaziyarPanahi/Llama-3.2-3B-Instruct-abliterated-GGUF]

このプロジェクトは、huihui-ai/Llama-3.2-3B-Instruct-abliterated のGGUF形式のモデルファイルを提供しています。GGUF形式は新しいモデルフォーマットで、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このモデルは、MaziyarPanahi/Llama-3.2-3B-Instruct-abliterated-GGUFにあり、huihui-ai/Llama-3.2-3B-Instruct-abliteratedのGGUF形式のモデルファイルを含んでいます。

✨ 主な機能

• 多ビット量子化対応：2-bit、3-bit、4-bit、5-bit、6-bit、8-bitの量子化がサポートされています。
• GGUF形式：llama.cppチームによって導入された新しいモデルフォーマットです。

📚 ドキュメント

モデル情報

About GGUF

GGUFは、2023年8月21日にllama.cppチームによって導入された新しいフォーマットです。これはGGMLの代替フォーマットで、llama.cppではもはやGGMLはサポートされていません。

以下は、GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio、WindowsとmacOS (Silicon) 用の使いやすく強力なローカルGUIで、GPUアクセラレーションがあります。2023年11月27日現在、Linux版はベータ版で利用可能です。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能があります。GPUアクセラレーションをサポートしています。
• KoboldCpp、完全な機能を備えたWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションが可能です。特にストーリーテリングに適しています。
• GPT4All、無料でオープンソースのローカル実行GUIで、Windows、Linux、およびmacOSをサポートし、完全なGPUアクセラレーションがあります。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデル選択が容易な完全なモデルライブラリがあります。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションがあります。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートを含み、使いやすさも備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。なお、執筆時点 (2023年11月27日) では、ctransformersは長時間更新されておらず、多くの最近のモデルをサポートしていません。

🔧 謝辞

üôè Georgi Gerganov と llama.cpp に取り組む全チームに、このすべてを可能にしてくれたことに特別な感謝を送ります。