FARE4 Convnext Base W Laion2b S13b B82k Augreg

🚀 OpenCLIP零样本图像分类模型

基于CLIP模型的强大感知度量工具，用于零样本图像分类任务

[论文] [GitHub]

🚀 快速开始

本项目提供了一个基于CLIP模型 laion/CLIP-convnext_base_w-laion2B-s13B-b82K-augreg 的鲁棒感知度量工具。该模型经过对抗性微调，在图像感知相似度任务上表现出色。

✨ 主要特性

• 鲁棒性：使用FARE（Schlarmann等人 (2024)）在ImageNet上进行对抗性微调，采用无穷范数和半径4/255，增强了模型的鲁棒性。
• 高性能：在感知相似度任务 NIGHTS 上取得了优异的成绩： | 条件 | 准确率 | | ---- | ---- | | 干净数据 | 90.6 | | L-inf, eps=4/255 | 74.3 | | L2, eps=3 | 66.1 |

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/FARE4-convnext_base_w-laion2B-s13B-b82K-augreg')

📄 许可证

本项目采用MIT许可证。

📚 详细文档

如果您发现该模型有用，请考虑引用我们的论文：

@inproceedings{croce2024adversarially,
  title={Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics},
  author={Croce, Francesco and Schlarmann, Christian and Singh, Naman Deep and Hein, Matthias},
  year={2025},
  booktitle={{SaTML}}
}

@inproceedings{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Schlarmann, Christian and Singh, Naman Deep and Croce, Francesco and Hein, Matthias},
    year={2024},
    booktitle={{ICML}}
}