CLIP ViT L Rho50 K1 Constrained FARE2

🚀 LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2模型

本項目是一個基於openai/clip-vit-large-patch14的特徵提取模型，對圖像編碼器和文本編碼器進行了微調，可用於特徵提取相關任務。

🚀 快速開始

模型加載

要加載此模型，請使用以下代碼：

from transformers import CLIPProcessor, CLIPModel

model_name = "LEAF-CLIP/CLIP-ViT-L-rho50-k1-FARE2"
processor_name = "openai/clip-vit-large-patch14"

model = CLIPModel.from_pretrained(model_name)
processor = CLIPProcessor.from_pretrained(processor_name)

✨ 主要特性

• 模型初始化自openai/clip-vit-large-patch14。
• 圖像編碼器使用FARE在 $\epsilon=2/255$ 下進行微調。
• 文本編碼器使用LEAF在 $k = 1$、$\rho = 50$ 並帶有語義約束的條件下進行微調。

📦 相關信息

📚 詳細文檔

• 論文鏈接：[Paper]
• 代碼鏈接：[Code]

📄 許可證

本項目採用MIT許可證。