Comp SigLIP So400M

🚀 CoMP-MM-1B模型卡

CoMP-MM-1B是一個視覺基礎模型（VFM），支持原生圖像分辨率輸入。它基於 SigLIP 進行持續預訓練。

🚀 快速開始

安裝與使用

安裝GitHub倉庫，並使用以下代碼開始使用該模型：

import torch
from slimm.model.processor import SliMMQwen2VLProcessor
from slimm.model.utils_vl import process_vision_info
from slimm.model.vision_encoder import CoMPSiglipVisionModel
from PIL import Image

model_path = "SliMM-X/CoMP-SigLIP-So400M"

model = CoMPSiglipVisionModel.from_pretrained(
    model_path, torch_dtype="auto", device_map="cuda", w_merger=False
).to(torch.bfloat16)


processor = SliMMQwen2VLProcessor.from_pretrained(model_path)

image_input = Image.open("https://slimm-x.github.io/comp/figs/teaser.png")
inputs = processor(
    images=image_input,
    return_tensors="pt",
)

inputs = inputs.to("cuda")
output_feat = model(inputs.pixel_values.to(torch.bfloat16), inputs.image_grid_thw)
print(output_feat)

📚 詳細文檔

模型資源

• 倉庫地址：https://github.com/SliMM-X/CoMP-MM
• 論文地址：https://arxiv.org/abs/2503.18931
• 項目頁面：https://slimm-x.github.io/comp

📄 許可證

本模型使用 apache-2.0 許可證。

📚 引用

如果您使用了該模型，請使用以下 BibTeX 引用：

@article{comp2025,
      title={CoMP: Continual Multimodal Pre-training for Vision Foundation Models}, 
      author={Chen, Yitong and Meng, Lingchen and Peng, Wujian and Wu, Zuxuan and Jiang, Yu-Gang},
      year={2025},
      journal={arXiv preprint arXiv:2503.18931}, 
}