Qwen3 30B A3B MNN

🚀 Qwen3-30B-A3B-MNN

このモデルは、Qwen3-30B-A3B から llmexport を使用してエクスポートされた MNN モデルの 4 ビット量子化バージョンです。

🚀 クイックスタート

📦 インストール

Hugging Faceのインストール

# install huggingface
pip install huggingface

シェルでのダウンロード

# shell download
huggingface download --model 'taobao-mnn/Qwen3-30B-A3B-MNN' --local_dir 'path/to/dir'

SDKを使用したダウンロード

# SDK download
from huggingface_hub import snapshot_download
model_dir = snapshot_download('taobao-mnn/Qwen3-30B-A3B-MNN')

Gitを使用したクローン

# git clone
git clone https://www.modelscope.cn/taobao-mnn/Qwen3-30B-A3B-MNN

💻 使用例

基本的な使用法

# clone MNN source
git clone https://github.com/alibaba/MNN.git

# compile
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# run
./llm_demo /path/to/Qwen3-30B-A3B-MNN/config.json prompt.txt

📚 ドキュメント

MNN-LLM

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。