Qwen3 30B A3B GGUF

🚀 [MaziyarPanahi/Qwen3-30B-A3B-GGUF]

このプロジェクトは、Qwen/Qwen3-30B-A3B のGGUF形式のモデルファイルを提供します。GGUFは新しいモデルフォーマットで、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このリポジトリ MaziyarPanahi/Qwen3-30B-A3B-GGUF には、Qwen/Qwen3-30B-A3B のGGUF形式のモデルファイルが含まれています。

✨ 主な機能

• モデル作成者: Qwen
• オリジナルモデル: Qwen/Qwen3-30B-A3B

モデル情報

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しいフォーマットです。これはGGMLの代替フォーマットで、現在はllama.cppではGGMLがサポートされなくなっています。

GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• llama-cpp-python。GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio。WindowsとmacOS (Silicon) 用の使いやすく強力なローカルGUIで、GPUアクセラレーションがあります。2023年11月27日時点でLinux版はベータ版です。
• text-generation-webui。最も広く使われているウェブUIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションに対応しています。
• KoboldCpp。全機能のウェブUIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションが可能です。特にストーリーテリングに適しています。
• GPT4All。無料でオープンソースのローカル実行GUIで、Windows、Linux、macOSをサポートし、完全なGPUアクセラレーションがあります。
• LoLLMS Web UI。多くの興味深い独自の機能を備えた素晴らしいウェブUIで、モデル選択が容易な完全なモデルライブラリを持っています。
• Faraday.dev。WindowsとmacOS (SiliconとIntelの両方) 用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションがあります。
• candle。パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers。GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバーを備えたPythonライブラリです。なお、執筆時点 (2023年11月27日) では、ctransformersは長い間更新されておらず、最近の多くのモデルをサポートしていません。

📚 詳細ドキュメント

特別な感謝

特別な感謝を Georgi Gerganov と llama.cpp を開発している全チームに送ります。彼らのおかげでこのすべてが可能になっています。