Qwen3 30B A3B MNN

🚀 Qwen3-30B-A3B-MNN

本模型是從Qwen3-30B-A3B導出的MNN模型的4位量化版本，使用了llmexport工具。

🚀 快速開始

✨ 主要特性

本模型是Qwen3-30B-A3B的4位量化MNN版本，具備高效的文本生成能力，適用於聊天等場景。

📦 安裝指南

安裝huggingface

# 安裝huggingface
pip install huggingface

下載模型

• 使用shell命令下載

# shell下載
huggingface download --model 'taobao-mnn/Qwen3-30B-A3B-MNN' --local_dir 'path/to/dir'

• 使用SDK下載

# SDK下載
from huggingface_hub import snapshot_download
model_dir = snapshot_download('taobao-mnn/Qwen3-30B-A3B-MNN')

• 使用git克隆

# git克隆
git clone https://www.modelscope.cn/taobao-mnn/Qwen3-30B-A3B-MNN

💻 使用示例

基礎用法

# 克隆MNN源碼
git clone https://github.com/alibaba/MNN.git

# 編譯
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# 運行
./llm_demo /path/to/Qwen3-30B-A3B-MNN/config.json prompt.txt

📚 詳細文檔

更多詳細信息請參考MNN-LLM。

📄 許可證

本項目採用Apache-2.0許可證。