Qwen1.5 MoE A2.7B GGUF

🚀 Qwen/Qwen1.5-MoE-A2.7B - GGUF

このリポジトリには、Qwen/Qwen1.5-MoE-A2.7B のGGUF形式のモデルファイルが含まれています。 これらのファイルは、TensorBlock が提供するマシンを使用して量子化されており、コミットb4011 以降のllama.cppと互換性があります。

🚀 クイックスタート

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

モデルファイルの仕様

ダウンロード手順

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-GGUF --include "Qwen1.5-MoE-A2.7B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターンを指定して複数のモデルファイルをダウンロードする場合は（例: *Q4_K*gguf）、以下のコマンドを試してください。

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

✨ 主な機能

当社のプロジェクト

Forge
OpenAI互換のマルチプロバイダルーティングレイヤーです。
🚀 今すぐ試す！ 🚀
Awesome MCP Servers	TensorBlock Studio
Model Context Protocol (MCP)サーバーの包括的なコレクションです。	軽量で、オープンかつ拡張可能なマルチLLMインタラクションスタジオです。
👀 私たちが構築したものを見る 👀	👀 私たちが構築したものを見る 👀

📄 ライセンス

このプロジェクトは tongyi-qianwen ライセンスの下で提供されています。