Clip Vit Base Patch32 Stanford Cars

🚀 視覺模型微調項目

本項目聚焦於視覺模型微調，藉助特定數據集對預訓練模型進行優化，以提升其在特定任務上的性能表現，為視覺領域的應用提供更精準的模型支持。

📦 模型信息

📚 模型詳情

• 架構：採用ViT-Base架構，補丁尺寸為32。
• 訓練數據：使用斯坦福汽車數據集進行訓練。

🔧 訓練詳情

採用Adam優化器，以1e - 5的恆定學習率進行4000步訓練（批次大小為32），且僅對視覺編碼器進行微調。

📊 評估結果

• 預訓練模型準確率：0.5987
• 微調後模型準確率：0.7819

💻 使用示例

基礎用法

加載視覺模型：

from transformers import CLIPVisionModel

vision_model = CLIPVisionModel.from_pretrained('tanganke/clip-vit-base-patch32_stanford-cars')

高級用法

替換CLIP的視覺編碼器：

from transformers import CLIPModel

clip_model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
clip_model.vision_model.load_state_dict(vision_model.vision_model.state_dict())