FARE4 ViT B 16 Laion2b S34b B88k

🚀 OpenCLIP - 零樣本圖像分類模型

OpenCLIP 是一個基於 laion/CLIP-ViT-B-16-laion2B-s34B-b88K 模型的魯棒感知度量模型。它通過 FARE 方法在 ImageNet 上進行對抗性微調，在感知相似性任務中表現出色。

[論文] [GitHub]

🚀 快速開始

本模型可用於零樣本圖像分類任務，基於 CLIP 架構，經過對抗性微調，具有良好的魯棒性。

✨ 主要特性

• 魯棒感知度量：基於 CLIP 模型 laion/CLIP-ViT-B-16-laion2B-s34B-b88K 構建，具有較強的魯棒性。
• 對抗性微調：使用 FARE 方法在 ImageNet 上進行對抗性微調，提升模型性能。
• 優秀的性能：在感知相似性任務 NIGHTS 中表現出色。

感知相似性任務表現

💻 使用示例

基礎用法

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/FARE4-ViT-B-16-laion2B-s34B-b88K')

📄 許可證

本項目採用 MIT 許可證。

📚 詳細文檔

如果您發現本模型有用，請考慮引用以下論文：

@inproceedings{croce2024adversarially,
  title={Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics},
  author={Croce, Francesco and Schlarmann, Christian and Singh, Naman Deep and Hein, Matthias},
  year={2025},
  booktitle={{SaTML}}
}

@inproceedings{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Schlarmann, Christian and Singh, Naman Deep and Croce, Francesco and Hein, Matthias},
    year={2024},
    booktitle={{ICML}}
}