CLIP ViT L Rho50 K1 Constrained FARE2

🚀 LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2模型

本项目是一个基于openai/clip-vit-large-patch14的特征提取模型，对图像编码器和文本编码器进行了微调，可用于特征提取相关任务。

🚀 快速开始

模型加载

要加载此模型，请使用以下代码：

from transformers import CLIPProcessor, CLIPModel

model_name = "LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2"
processor_name = "openai/clip-vit-large-patch14"

model = CLIPModel.from_pretrained(model_name)
processor = CLIPProcessor.from_pretrained(processor_name)

✨ 主要特性

• 模型初始化自openai/clip-vit-large-patch14。
• 图像编码器使用FARE在 $\epsilon=2/255$ 下进行微调。
• 文本编码器使用LEAF在 $k = 1$、$\rho = 50$ 并带有语义约束的条件下进行微调。

📦 相关信息

📚 详细文档

• 论文链接：[Paper]
• 代码链接：[Code]

📄 许可证

本项目采用MIT许可证。