Fastvlm 0.5B Stage2

🚀 FastVLM-0.5B-Stage2

FastVLM-0.5B-Stage2是一个多模态语言模型，它能够以视觉方式理解事物，具有主动性，可理解长视频并捕捉事件，还能生成结构化输出。该模型为我们在处理图像和文本相关任务时提供了强大的支持，能有效提升处理效率和准确性。

本模型从Github apple/ml-fastvlm 导出。 模型权重：llava-fastvithd_0.5b_stage2.zip。

🚀 快速开始

模型使用

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'FastVLM-0.5B-Stage2'
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype='auto', trust_remote_code=True)

导出到MNN

git clone https://github.com/alibaba/MNN
cd MNN/transformers/llm/export
python llmexport.py --path /path/to/FastVLM-0.5B-Stage2 --export mnn

📄 许可证

本项目采用 apple 许可证。

📚 引用

如果您觉得我们的工作有帮助，请引用以下内容：

@InProceedings{fastvlm2025,
  author = {Pavan Kumar Anasosalu Vasu, Fartash Faghri, Chun-Liang Li, Cem Koc, Nate True, Albert Antony, Gokul Santhanam, James Gabriel, Peter Grasch, Oncel Tuzel, Hadi Pouransari},
  title = {FastVLM: Efficient Vision Encoding for Vision Language Models},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2025},
}{2023}