Qwq 32B GGUF

🚀 モデル：QwQ-32B-GGUF

このプロジェクトは、Qwen/QwQ-32B のGGUF形式のモデルファイルを提供しています。GGUF形式は、多くのクライアントやライブラリでサポートされており、モデルの利用を容易にします。

🚀 クイックスタート

このモデルを使用するには、以下の情報を参考にしてください。

モデル情報

✨ 主な機能

GGUF形式について

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これはGGMLの代替となるもので、現在ではllama.cppではGGMLがサポートされなくなっています。

以下は、GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp：GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• llama-cpp-python：GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio：WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。2023年11月27日時点でLinux版はベータ版です。
• text-generation-webui：最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp：すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートする、完全な機能を備えたWeb UIです。特にストーリーテリングに適しています。
• GPT4All：Windows、Linux、macOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI：多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリを含んでいます。
• Faraday.dev：WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• candle：パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers：GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバーを備えたPythonライブラリです。ただし、2023年11月27日時点で、ctransformersは長時間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

このREADMEにはライセンス情報が含まれていませんが、元のモデルや関連ライブラリにはそれぞれライセンスが適用される場合があります。利用する際には、それぞれのライセンス条項を確認してください。

🔝 特別な感謝

🙏 Georgi Gerganov と llama.cpp に取り組んでいる全チームの皆さんに、このすべてを可能にしてくれたことに特別な感謝を申し上げます。