Phi 4 Mini Instruct GGUF

🚀 MaziyarPanahi/Phi-4-mini-instruct-GGUF

このプロジェクトは、microsoft/Phi-4-mini-instruct のGGUF形式のモデルファイルを提供します。GGUFは新しいモデル形式で、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

• モデル作成者: microsoft
• オリジナルモデル: microsoft/Phi-4-mini-instruct

✨ 主な機能

MaziyarPanahi/Phi-4-mini-instruct-GGUF は、microsoft/Phi-4-mini-instruct のGGUF形式のモデルファイルを含んでいます。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これは、llama.cppでサポートされなくなったGGMLの代替品です。

GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストは以下の通りです。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換APIサーバーを備えたPythonライブラリ。
• LM Studio、WindowsとmacOS (Silicon) 用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。2023年11月27日現在、Linux版はベータ版です。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた完全な機能を持つWeb UIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、およびmacOSをサポートし、完全なGPUアクセラレーションを備えた無料でオープンソースのローカル実行GUI。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換AIサーバーを備えたPythonライブラリ。なお、この記事の執筆時点 (2023年11月27日) では、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

📚 詳細情報

📄 ライセンス

このドキュメントではライセンス情報が提供されていません。

🔧 特別な感謝

🙏 Georgi Gerganov と llama.cpp を開発しているチーム全体に特別な感謝を申し上げます。彼らのおかげでこのすべてが可能になりました。