Fastvlm 0.5B Stage3

🚀 FastVLM-0.5B-Stage3

FastVLM-0.5B-Stage3 是一個多模態語言模型，能夠進行視覺理解，具備主動性，理解長視頻並捕捉事件，還能生成結構化輸出。該模型為項目開發提供了強大的視覺與語言處理能力，可廣泛應用於需要處理圖像和文本信息的場景。

🚀 快速開始

使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'FastVLM-0.5B-Stage3'
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype='auto', trust_remote_code=True)

導出到 MNN

git clone https://github.com/alibaba/MNN
cd MNN/transformers/llm/export
python llmexport.py --path /path/to/FastVLM-0.5B-Stage3 --export mnn

📚 詳細文檔

此模型從 Github apple/ml-fastvlm 導出。 模型權重：llava-fastvithd_0.5b_stage3.zip。

📄 許可證

本項目採用 apple 許可證。

📖 引用

如果您認為我們的工作有幫助，請引用以下文獻：

@InProceedings{fastvlm2025,
  author = {Pavan Kumar Anasosalu Vasu, Fartash Faghri, Chun-Liang Li, Cem Koc, Nate True, Albert Antony, Gokul Santhanam, James Gabriel, Peter Grasch, Oncel Tuzel, Hadi Pouransari},
  title = {FastVLM: Efficient Vision Encoding for Vision Language Models},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2025},
}{2023}