Qwen3 0.6B GGUF

🚀 [MaziyarPanahi/Qwen3-0.6B-GGUF]

このプロジェクトはQwen/Qwen3-0.6BのGGUF形式のモデルファイルを提供します。GGUFは新しいモデルフォーマットで、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

• モデル作成者: Qwen
• オリジナルモデル: Qwen/Qwen3-0.6B

✨ 主な機能

MaziyarPanahi/Qwen3-0.6B-GGUF は、Qwen/Qwen3-0.6B のGGUF形式のモデルファイルを含んでいます。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しいフォーマットです。これはGGMLの代替となるもので、現在llama.cppではGGMLはサポートされていません。

GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストを以下に示します。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリ。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。2023年11月27日時点でLinux版はベータ版です。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、完全な機能を備えたWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートしています。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、macOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深くユニークな機能を備えた素晴らしいWeb UIで、モデル選択が容易な完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリ。なお、この記事の執筆時点（2023年11月27日）では、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

📚 ドキュメント

📄 ライセンス

このREADMEにはライセンス情報が記載されていません。

🔧 技術詳細

このREADMEには技術的な詳細情報が記載されていません。

💡 謝辞

特別な感謝をGeorgi Gerganov と llama.cpp を開発している全チームに送ります。彼らのおかげでこのすべてが可能になりました。