CLIP SAE ViT L 14

🚀 CLIP ViT-L/14微調：SAE信息對抗訓練

本項目是對CLIP ViT-L/14模型進行微調，採用SAE信息對抗訓練的方法，在圖像分類任務上取得了不錯的效果，同時提供了模型的下載和使用方式，方便用戶進行嘗試和研究。

✨ 主要特性

• SAE定義：SAE 即稀疏自動編碼器（Sparse autoencoder）。
• 準確率對比：在 ImageNet/ObjectNet 數據集上，my GmP 模型準確率達到 91%，本項目基於 SAE 微調後的模型準確率為 89%，而 OpenAI 預訓練模型準確率為 84.5%。
• 靈活使用：可以搭配 Flux.1 使用，你可以下載 僅文本編碼器 TE 版本 ⬇️ 進行嘗試。
• 優異表現：此 SAE CLIP 在 LAION - AI/CLIP_benchmark 的線性探測任務中取得了最佳結果。
• 適配性好：該 CLIP 模型的 直接下載鏈接 所對應的模型，也是 HunyuanVideo 最合適使用的 CLIP 模型。不過需要搭配 zer0int/ComfyUI - HunyuanVideo - Nyan 節點使用（該節點可改變大語言模型與 CLIP 的影響權重，否則差異很小）。

📚 詳細文檔

數據集

• zer0int/CLIP - adversarial - typographic - attack_text - image
• SPRIGHT - T2I/spright_coco

基礎模型

• openai/clip - vit - large - patch14

任務類型

零樣本圖像分類（zero - shot - image - classification）

依賴庫

transformers

可視化展示

對抗魯棒性測試

你可以右鍵點擊並下載以下圖片進行對抗魯棒性測試：

• 圖片 1
• 圖片 2
• 圖片 3

將每張圖片上傳到零樣本分類任務中（希望右側很快會提供該功能），嘗試使用以下標籤（類別名稱）：一張貓的照片、一張狗的照片、一張文字的照片。你也可以使用 my GmP 模型 重複上述操作，看看會有什麼結果。

其他說明

開發者擔心 HF 格式的 .safetensors 轉換可能會出現問題，因此在其 GitHub 倉庫中提供了一個腳本，可在未轉換的模型上實現相同功能。此外，你也可以自行復現微調過程，相關代碼也已公開！🤗

相關鏈接

• 所有訓練信息和代碼：github.com/zer0int/CLIP - SAE - finetune
• 支持開發者：Buy me a coffee

📄 許可證

本項目採用 MIT 許可證。