Flashvl 2B Dynamic ISS

🚀 FlashVL-2B-Dynamic-ISS

FlashVL是一种优化视觉语言模型（VLMs）以用于实时应用的新方法，旨在实现超低延迟和高吞吐量，同时不牺牲准确性。它通过先进的架构增强和高效的计算策略，在多个视觉语言基准测试中保持竞争力的同时，减少处理时间以最大化吞吐量。

🚀 快速开始

环境搭建

pip install torch==2.1.2
pip install transformers==4.50.0.dev0

使用方法

import torch
from PIL import Image
import requests
from io import BytesIO
from transformers import AutoModel, AutoTokenizer, CLIPImageProcessor

model_path = "FlashVL/FlashVL-2B-Dynamic-ISS"
model = AutoModel.from_pretrained(model_path, torch_dtype=torch.bfloat16,trust_remote_code=True,device_map='cuda')
model.tokenizer = AutoTokenizer.from_pretrained(model_path,device_map='cuda')
model.im_trans = CLIPImageProcessor.from_pretrained(model_path)

# 单图单轮对话
image_url ="https://s3plus.meituan.net/automl-datasets/mlm/0516.png"
response = requests.get(image_url)
image_data = BytesIO(response.content)
pil_image = Image.open(image_data).convert('RGB')   
messages = [{'role': 'user', 'content': "生成图中菜品的菜谱"}] # answer: EXTRA
answer = model.chat(pil_image, messages, do_sample=False, max_new_tokens=256)
print(answer)

# 单图多轮对话
messages = [
    {'role': 'user', 'content': '这是什么'},
    {"role": "assistant", "content": '这是一道看起来像是银耳莲子汤的甜品。\
     银耳是一种常见的食材，通常用于制作甜品和汤品，具有软糯的口感和清润的口感。莲 \
     子是莲子的干燥部分，常用于中医和食疗中，具有补脾止泻的功效。图片中还可以看到 \
     一些枸杞和核桃，枸杞富含维生素和抗氧化物质，核桃则提供丰富的蛋白质和健康脂肪。 \
     整体来看，这道甜品不仅美味，还具有一定的营养价值。'},
    {'role': 'user', 'content': '对图中菜品卡路里分析'}
    ]
answer = model.chat(pil_image, messages, do_sample=False, max_new_tokens=256)
print(answer)

# 纯文本对话
messages = [{'role': 'user', 'content': "who are you"}]
answer = model.chat(None, messages, do_sample=False, max_new_tokens=256)
print(answer)

✨ 主要特性

我们很高兴推出 FlashVL，这是一种针对实时应用优化视觉语言模型（VLMs）的新方法，目标是在不牺牲准确性的前提下实现超低延迟和高吞吐量。Flash-VL 2B 利用先进的架构增强和高效的计算策略，通过减少处理时间来最大化吞吐量，同时在多个视觉语言基准测试中保持有竞争力的性能。我们的方法包括量身定制的架构选择、令牌压缩机制、数据整理、训练方案，以及一种名为隐式语义拼接的新型图像处理技术，该技术能有效平衡计算负载和模型性能。通过在 11 个标准 VLM 基准测试上的广泛评估，我们证明了 Flash-VL 2B 在速度和准确性方面都取得了最先进的成果，使其成为在资源受限环境和大规模实时应用中部署的有前景的解决方案。

📚 详细文档

评估

我们使用 VLMEvalKit 来评估 FlashVL-2B-Static。

📄 许可证

本项目采用 Apache-2.0 许可证。

模型信息

引用

如果您在研究中发现本项目有用，请考虑引用：

@misc{zhang2025flashvl2boptimizingvisionlanguage,
      title={Flash-VL 2B: Optimizing Vision-Language Model Performance for Ultra-Low Latency and High Throughput}, 
      author={Bo Zhang and Shuo Li and Runhe Tian and Yang Yang and Jixin Tang and Jinhao Zhou and Lin Ma},
      year={2025},
      eprint={2505.09498},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.09498}, 
}

[📜 FlashVL]