Phi 3.5 Mini Instruct GGUF

🚀 MaziyarPanahi/Phi-3.5-mini-instruct-GGUF

このプロジェクトは、microsoft/Phi-3.5-mini-instruct のGGUF形式のモデルファイルを提供しています。GGUF形式は、テキスト生成モデルの推論に便利です。

🚀 クイックスタート

このモデルは、microsoft/Phi-3.5-mini-instruct のGGUF形式のモデルファイルを含んでいます。以下に関連情報を示します。

• モデル作成者: microsoft
• オリジナルモデル: microsoft/Phi-3.5-mini-instruct

✨ 主な機能

モデル情報

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これはGGMLの代替形式であり、現在llama.cppではGGMLはサポートされていません。

GGUFをサポートしている既知のクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供しています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio、WindowsとmacOS (Silicon) 用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。2023年11月27日時点でLinux版はベータ版です。
• text-generation-webui、最も広く使われているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートする、機能豊富なWeb UIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、およびmacOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデル選択が容易な完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。なお、このドキュメント作成時点 (2023年11月27日) では、ctransformersは長時間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

ドキュメントに明示的なライセンス情報がないため、このセクションは省略されます。

🔖 特別な感謝

特別な感謝を、このすべてを可能にしてくれた Georgi Gerganov と llama.cpp を開発している全チームに送ります。