Qwen2.5 1.5B Instruct GGUF

🚀 [Qwen2.5-1.5B-Instruct-GGUF モデル]

このプロジェクトは、Qwen/Qwen2.5-1.5B-Instruct モデルの GGUF 形式ファイルを提供し、テキスト生成タスクを支援します。

🚀 クイックスタート

MaziyarPanahi/Qwen2.5-1.5B-Instruct-GGUF には、Qwen/Qwen2.5-1.5B-Instruct モデルの GGUF 形式ファイルが含まれています。

✨ 主な機能

GGUFについて

GGUF は、llama.cpp チームによって 2023 年 8 月 21 日に導入された新しい形式で、llama.cpp で廃止された GGML 形式に代わるものです。

以下は、GGUF をサポートする既知の一部のクライアントとライブラリです。

• llama.cpp：GGUF のソースプロジェクトで、コマンドラインインターフェイスとサーバーオプションを提供します。
• llama-cpp-python：GPU 加速、LangChain および OpenAI API サーバーと互換性のある Python ライブラリです。
• LM Studio：Windows と macOS（Silicon）用の使いやすく強力なローカルグラフィックインターフェイスツールで、GPU 加速をサポートしています。2023 年 11 月 27 日現在、Linux バージョンはテスト段階です。
• text-generation-webui：最も広く使用されているウェブインターフェイスで、機能が豊富で拡張性が高く、GPU 加速をサポートしています。
• KoboldCpp：全機能のウェブインターフェイスで、すべてのプラットフォームと GPU アーキテクチャの GPU 加速をサポートしており、特にストーリー作成に適しています。
• GPT4All：Windows、Linux、macOS システムをサポートする無料でオープンソースのローカル実行グラフィックインターフェイスツールで、完全な GPU 加速を提供します。
• LoLLMS Web UI：多くの面白く独自の機能を持つ優れたウェブインターフェイスで、モデル選択を容易にする完全なモデルライブラリを備えています。
• Faraday.dev：Windows と macOS（Silicon および Intel）用の美しく使いやすいロールベースのチャットグラフィックインターフェイスツールで、GPU 加速をサポートしています。
• candle：性能に重点を置いた Rust の機械学習フレームワークで、GPU をサポートし、使いやすいです。
• ctransformers：GPU 加速、LangChain および OpenAI 人工知能サーバーと互換性のある Python ライブラリです。2023 年 11 月 27 日現在、ctransformers は長い間更新されておらず、多くの最近のモデルをサポートしていません。

📚 ドキュメント

🌟 特別な感謝

このすべてを可能にしてくれた Georgi Gerganov と llama.cpp プロジェクトの開発チーム全体に特別な感謝を表します。