CLIP SAE ViT L 14

🚀 CLIP ViT-L/14微调：SAE信息对抗训练

本项目是对CLIP ViT-L/14模型进行微调，采用SAE信息对抗训练的方法，在图像分类任务上取得了不错的效果，同时提供了模型的下载和使用方式，方便用户进行尝试和研究。

✨ 主要特性

• SAE定义：SAE 即稀疏自动编码器（Sparse autoencoder）。
• 准确率对比：在 ImageNet/ObjectNet 数据集上，my GmP 模型准确率达到 91%，本项目基于 SAE 微调后的模型准确率为 89%，而 OpenAI 预训练模型准确率为 84.5%。
• 灵活使用：可以搭配 Flux.1 使用，你可以下载 仅文本编码器 TE 版本 ⬇️ 进行尝试。
• 优异表现：此 SAE CLIP 在 LAION - AI/CLIP_benchmark 的线性探测任务中取得了最佳结果。
• 适配性好：该 CLIP 模型的 直接下载链接 所对应的模型，也是 HunyuanVideo 最合适使用的 CLIP 模型。不过需要搭配 zer0int/ComfyUI - HunyuanVideo - Nyan 节点使用（该节点可改变大语言模型与 CLIP 的影响权重，否则差异很小）。

📚 详细文档

数据集

• zer0int/CLIP - adversarial - typographic - attack_text - image
• SPRIGHT - T2I/spright_coco

基础模型

• openai/clip - vit - large - patch14

任务类型

零样本图像分类（zero - shot - image - classification）

依赖库

transformers

可视化展示

对抗鲁棒性测试

你可以右键点击并下载以下图片进行对抗鲁棒性测试：

• 图片 1
• 图片 2
• 图片 3

将每张图片上传到零样本分类任务中（希望右侧很快会提供该功能），尝试使用以下标签（类别名称）：一张猫的照片、一张狗的照片、一张文字的照片。你也可以使用 my GmP 模型 重复上述操作，看看会有什么结果。

其他说明

开发者担心 HF 格式的 .safetensors 转换可能会出现问题，因此在其 GitHub 仓库中提供了一个脚本，可在未转换的模型上实现相同功能。此外，你也可以自行复现微调过程，相关代码也已公开！🤗

相关链接

• 所有训练信息和代码：github.com/zer0int/CLIP - SAE - finetune
• 支持开发者：Buy me a coffee

📄 许可证

本项目采用 MIT 许可证。