Tecoa4 ViT B 32 Laion2b S34b B79k

🚀 open_clip - 零樣本圖像分類庫

open_clip 是一個基於CLIP模型的強大工具，專注於零樣本圖像分類任務。它構建了一個魯棒的感知度量，為圖像分類和感知相似性評估提供了高效且準確的解決方案。

[論文] [GitHub]

🚀 快速開始

open_clip 基於CLIP模型 laion/CLIP-ViT-B-32-laion2B-s34B-b79K 構建了魯棒的感知度量。該模型在ImageNet上使用無窮範數和半徑4/255，通過TeCoA（Mao等人 (2023)）進行對抗性微調。

在感知相似性任務 NIGHTS 上的表現如下：

Clean     L-inf, eps=4/255     L2, eps=3
91.0      79.1                 79.7

💻 使用示例

基礎用法

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/TeCoA4-ViT-B-32-laion2B-s34B-b79K')

📄 許可證

本項目採用MIT許可證。

📚 引用

如果您發現此模型有用，請考慮引用我們的論文：

@inproceedings{croce2024adversarially,
  title={Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics},
  author={Croce, Francesco and Schlarmann, Christian and Singh, Naman Deep and Hein, Matthias},
  year={2025},
  booktitle={{SaTML}}
}

@inproceedings{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Schlarmann, Christian and Singh, Naman Deep and Croce, Francesco and Hein, Matthias},
    year={2024},
    booktitle={{ICML}}
}