Fastvlm 1.5B Stage3 MNN

🚀 FastVLM-1.5B-Stage3-MNN

本模型為基於Transformer架構的文本生成模型，它是FastVLM-1.5B-Stage3使用llmexport導出的MNN模型的8位量化版本，可用於聊天等文本生成場景。

🚀 快速開始

下載模型

你可以通過以下幾種方式下載本模型：

使用pip安裝huggingface

# install huggingface
pip install huggingface

使用shell命令下載

# shell download
huggingface download --model 'taobao-mnn/FastVLM-1.5B-Stage3-MNN' --local_dir 'path/to/dir'

使用SDK下載

# SDK download
from huggingface_hub import snapshot_download
model_dir = snapshot_download('taobao-mnn/FastVLM-1.5B-Stage3-MNN')

使用git克隆

# git clone
git clone https://www.modelscope.cn/taobao-mnn/FastVLM-1.5B-Stage3-MNN

使用模型

# clone MNN source
git clone https://github.com/alibaba/MNN.git

# compile
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# run
./llm_demo /path/to/FastVLM-1.5B-Stage3-MNN/config.json prompt.txt

📚 詳細文檔

更多詳細信息可查看MNN-LLM。

📄 許可證

本項目採用Apache-2.0許可證。