Longclip SAE ViT L 14

🚀 Long-CLIP ViT-L/14微调：SAE引导的对抗训练

本项目聚焦于Long-CLIP ViT-L/14的微调，采用SAE引导的对抗训练方法，提升模型在零样本图像分类任务中的性能。项目提供了详细的训练信息和代码，同时也给出了模型的直接下载链接，方便用户使用。

🚀 快速开始

数据集

• zer0int/CLIP-adversarial-typographic-attack_text-image
• SPRIGHT-T2I/spright_coco

基础模型

• BeichenZhang/LongCLIP-L

任务类型

零样本图像分类

✨ 主要特性

模型微调

• SAE引导训练：SAE即稀疏自编码器。所有训练信息和代码可查看 github.com/zer0int/CLIP-SAE-finetune。
• 最佳搭配：此Long-CLIP模型，👉 直接下载文本编码器 👈 也是与 HunyuanVideo 搭配使用的最佳选择。
• 使用要求：需搭配 zer0int/ComfyUI-HunyuanVideo-Nyan 节点使用（该节点可改变大语言模型与CLIP的影响；否则，差异极小）。
• 支持作者：☕ 请作者喝咖啡

模型优势

原始CLIP模型最大输入为77个标记，但有效长度仅约20个标记。详情可查看 原始Long-CLIP论文。以下是HunyuanVideo的演示：

• 正常场景（69个标记）：镜头：16mm。光圈：f/2.8。色彩分级：蓝绿色单色。灯光：低光逆光剪影。背景：夜间哥特式大教堂，彩色玻璃窗破碎。相机角度：从忍者肩部上方拍摄，跟踪她在空中跳跃并落在屋顶上的过程。
• 分布外场景（52个标记）：即使面对分布外概念，模型仍能保持一致性并严格遵循提示。在这个超现实的噩梦纪录片中，一只长着人脸的大蜘蛛正在餐厅里平静地享用早餐。蜘蛛有着蜘蛛的身体，但前面是一张女士的脸，蜘蛛腿的末端是正常的人类手。

演示图片与视频

📚 详细文档

信息表格