Moonvit SO 400M

🚀 MoonViT

MoonViT 是一種原生分辨率視覺編碼器，它基於 SigLIP - SO - 400M 進行初始化並持續預訓練。為了方便獨立使用 MoonViT，我們將其實現和權重從 moonshotai/Kimi - VL - A3B - Instruct 中分離出來。若你對 MoonViT 的訓練過程感興趣，歡迎閱讀論文 Kimi - VL Technical Report。

🚀 快速開始

MoonViT 是基於 SigLIP - SO - 400M 持續預訓練的原生分辨率視覺編碼器。為方便使用，其實現和權重已從相關項目中分離。若想了解訓練過程，可閱讀對應論文。

💻 使用示例

基礎用法

from PIL import Image
from transformers import AutoModel, AutoImageProcessor

model_path = "moonshotai/MoonViT-SO-400M"
model = AutoModel.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
processor = AutoImageProcessor.from_pretrained(model_path, trust_remote_code=True)

image_path = "./figures/demo.png"
image = Image.open(image_path)

images_processed = processor(image, return_tensors="pt").to(dtype=model.dtype, device=model.device)
image_features: list = model(images_processed.pixel_values, images_processed.image_grid_hws)

print(f"dtype: {image_features[0].dtype}, shape: {image_features[0].shape}")
# dtype: torch.bfloat16, shape: torch.Size([1092, 4, 1152])

📄 許可證

本項目採用 MIT 許可證。