Internvl2 5 1B MNN

🚀 InternVL2_5-1B-MNN

このモデルは、InternVL2_5-1Bを基に、llmexportを使用してエクスポートされたMNNモデルの4ビット量子化バージョンです。テキスト生成やチャットシーンに使用できます。

🚀 クイックスタート

モデルのダウンロード

以下のいくつかの方法でこのモデルをダウンロードできます。

Hugging Faceコマンドラインツールを使用する

# huggingfaceをインストールする
pip install huggingface

# shellコマンドを使用してダウンロードする
huggingface download --model 'taobao-mnn/InternVL2_5-1B-MNN' --local_dir 'path/to/dir'

Hugging Face SDKを使用する

# SDKを使用してダウンロードする
from huggingface_hub import snapshot_download
model_dir = snapshot_download('taobao-mnn/InternVL2_5-1B-MNN')

Gitを使用してクローンする

# gitを使用してモデルリポジトリをクローンする
git clone https://www.modelscope.cn/taobao-mnn/InternVL2_5-1B-MNN

モデルの使用

# MNNソースコードをクローンする
git clone https://github.com/alibaba/MNN.git

# コンパイルする
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# 実行する
./llm_demo /path/to/InternVL2_5-1B-MNN/config.json prompt.txt

📚 ドキュメント

より詳細な情報は、MNN-LLMを参照してください。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスを採用しています。