Qwen2 0.5B Instruct MNN

🚀 Qwen2-0.5B-Instruct-MNN

このモデルは、自然言語処理の分野において、テキスト生成を行うためのモデルです。Qwen2-0.5B-Instruct から llmexport を用いてエクスポートされたMNNモデルの4ビット量子化バージョンです。

🚀 クイックスタート

モデルのダウンロード

以下のいずれかの方法でモデルをダウンロードできます。

# huggingfaceのインストール
pip install huggingface

# シェルでのダウンロード
huggingface download --model 'taobao-mnn/Qwen2-0.5B-Instruct-MNN' --local_dir 'path/to/dir'

# SDKを使ったダウンロード
from huggingface_hub import snapshot_download
model_dir = snapshot_download('taobao-mnn/Qwen2-0.5B-Instruct-MNN')

# git cloneによるダウンロード
git clone https://www.modelscope.cn/taobao-mnn/Qwen2-0.5B-Instruct-MNN

モデルの使用方法

以下の手順でモデルを使用できます。

# MNNソースのクローン
git clone https://github.com/alibaba/MNN.git

# コンパイル
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# 実行
./llm_demo /path/to/Qwen2-0.5B-Instruct-MNN/config.json prompt.txt

📚 ドキュメント

詳細なドキュメントは MNN-LLM を参照してください。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。