FARE4 Convnext Base W Laion2b S13b B82k Augreg

🚀 OpenCLIP零樣本圖像分類模型

基於CLIP模型的強大感知度量工具，用於零樣本圖像分類任務

[論文] [GitHub]

🚀 快速開始

本項目提供了一個基於CLIP模型 laion/CLIP-convnext_base_w-laion2B-s13B-b82K-augreg 的魯棒感知度量工具。該模型經過對抗性微調，在圖像感知相似度任務上表現出色。

✨ 主要特性

• 魯棒性：使用FARE（Schlarmann等人 (2024)）在ImageNet上進行對抗性微調，採用無窮範數和半徑4/255，增強了模型的魯棒性。
• 高性能：在感知相似度任務 NIGHTS 上取得了優異的成績： | 條件 | 準確率 | | ---- | ---- | | 乾淨數據 | 90.6 | | L-inf, eps=4/255 | 74.3 | | L2, eps=3 | 66.1 |

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/FARE4-convnext_base_w-laion2B-s13B-b82K-augreg')

📄 許可證

本項目採用MIT許可證。

📚 詳細文檔

如果您發現該模型有用，請考慮引用我們的論文：

@inproceedings{croce2024adversarially,
  title={Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics},
  author={Croce, Francesco and Schlarmann, Christian and Singh, Naman Deep and Hein, Matthias},
  year={2025},
  booktitle={{SaTML}}
}

@inproceedings{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Schlarmann, Christian and Singh, Naman Deep and Croce, Francesco and Hein, Matthias},
    year={2024},
    booktitle={{ICML}}
}