FARE4 ViT B 32 Laion2b S34b B79k

🚀 Open_clip

CLIPモデル laion/CLIP-ViT-B-32-laion2B-s34B-b79K をベースにした、堅牢な知覚指標です。

[論文] [GitHub]

CLIPモデル laion/CLIP-ViT-B-32-laion2B-s34B-b79K をベースにした、堅牢な知覚指標です。

FARE (Schlarmann et al. (2024)) を用いて、ImageNet上で無限ノルムと半径4/255で敵対的に微調整されています。

知覚的類似性タスク NIGHTS での性能:

Clean     L-inf, eps=4/255     L2, eps=3
91.1      71.8                 70.6

🚀 クイックスタート

このセクションでは、open_clipモデルの基本的な使い方を説明します。

💻 使用例

基本的な使用法

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/FARE4-ViT-B-32-laion2B-s34B-b79K')

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 ドキュメント

引用

このモデルが役に立った場合、以下の論文を引用していただけると幸いです。

@inproceedings{croce2024adversarially,
  title={Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics},
  author={Croce, Francesco and Schlarmann, Christian and Singh, Naman Deep and Hein, Matthias},
  year={2025},
  booktitle={{SaTML}}
}

@inproceedings{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Schlarmann, Christian and Singh, Naman Deep and Croce, Francesco and Hein, Matthias},
    year={2024},
    booktitle={{ICML}}
}