Qwen2.5 7B Instruct GGUF

🚀 Qwen2.5-7B-Instruct-GGUF

このプロジェクト MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF は、Qwen/Qwen2.5-7B-Instruct モデルの GGUF 形式のファイルを提供し、テキスト生成タスクを支援します。

🚀 クイックスタート

モデル情報

• モデル作成者：Qwen
• オリジナルモデル：Qwen/Qwen2.5-7B-Instruct

モデル説明

MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF には、Qwen/Qwen2.5-7B-Instruct の GGUF 形式のモデルファイルが含まれています。

GGUFについて

GGUF は、llama.cpp チームが 2023 年 8 月 21 日に導入した新しい形式で、llama.cpp でサポートされなくなった GGML 形式に代わるものです。

以下は、GGUF をサポートする既知のクライアントとライブラリの不完全なリストです。

• llama.cpp：GGUF のソースプロジェクトで、コマンドラインインターフェイスとサーバーオプションを提供します。
• llama-cpp-python：GPU アクセラレーション、LangChain および OpenAI API サーバーと互換性のある Python ライブラリです。
• LM Studio：Windows と macOS（Silicon）に適した、使いやすく強力なローカルグラフィカルユーザーインターフェイスで、GPU アクセラレーションをサポートしています。2023 年 11 月 27 日現在、Linux バージョンはテスト段階です。
• text-generation-webui：最も広く使用されているウェブユーザーインターフェイスで、多数の機能と強力な拡張機能を備え、GPU アクセラレーションをサポートしています。
• KoboldCpp：すべてのプラットフォームと GPU アーキテクチャで GPU アクセラレーションをサポートする、機能が充実したウェブユーザーインターフェイスで、特に物語作成に適しています。
• GPT4All：Windows、Linux、macOS でローカル実行可能な無料のオープンソースグラフィカルユーザーインターフェイスで、完全な GPU アクセラレーション機能を備えています。
• LoLLMS Web UI：多くの面白くて独特な機能を持ち、モデル選択が容易な完全なモデルライブラリを含む、素敵なウェブユーザーインターフェイスです。
• Faraday.dev：Windows と macOS（Silicon および Intel）に適した、美しく使いやすいロールベースのチャットグラフィカルユーザーインターフェイスで、GPU アクセラレーションをサポートしています。
• candle：GPU をサポートし、使いやすい、パフォーマンスに重点を置いた Rust の機械学習フレームワークです。
• ctransformers：GPU アクセラレーション、LangChain および OpenAI 互換の AI サーバーをサポートする Python ライブラリです。なお、本文執筆時（2023 年 11 月 27 日）、ctransformers は長時間更新されておらず、多くの最新モデルをサポートしていません。

✨ 特別な感謝

このすべてを可能にしてくれた Georgi Gerganov と llama.cpp チーム全体に特別な感謝を送ります。

📄 モデル情報テーブル