Qwen2 7B Instruct GGUF

🚀 MaziyarPanahi/Qwen2-7B-Instruct-GGUF

このプロジェクトは、Qwen/Qwen2-7B-Instruct のGGUF形式のモデルファイルを提供します。GGUFは新しいモデルフォーマットで、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このモデルは、テキスト生成タスクに使用できます。以下に、GGUF形式に関する情報とサポートされているクライアントやライブラリのリストを示します。

✨ 主な機能

• 複数の量子化ビット数（2-bit、3-bit、4-bit、5-bit、6-bit、8-bit）をサポート
• GGUF形式のモデルファイルを提供
• 多くのクライアントやライブラリでサポートされている

📚 ドキュメント

モデル情報

About GGUF

GGUFは、2023年8月21日にllama.cppチームによって導入された新しいフォーマットです。これは、もはやllama.cppでサポートされていないGGMLの代替品です。

以下は、GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。2023年11月27日時点でLinux版はベータ版です。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた完全な機能を持つWeb UIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、およびmacOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデル選択が容易な完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。なお、このドキュメントを書いている時点（2023年11月27日）では、ctransformersは長時間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

ドキュメントにライセンス情報は記載されていません。

🔧 技術詳細

ドキュメントに技術的な詳細は記載されていません。

🔗 関連リンク

• MaziyarPanahi/Qwen2-7B-Instruct-GGUF
• Qwen/Qwen2-7B-Instruct

🙏 特別な感謝

Georgi Gerganov と llama.cpp を開発している全チームに心から感謝いたします。彼らの努力により、このすべてが可能になりました。