Xclip Large Patch14 Kinetics 600

🚀 X-CLIP（大型模型）

X-CLIP是用於通用視頻語言理解的模型，它在視頻分類和視頻文本檢索等任務中表現出色，能有效處理視頻與文本的關聯，為視頻相關的AI應用提供強大支持。

🚀 快速開始

X-CLIP模型（大型，補丁分辨率為14）在Kinetics - 600上進行了全監督訓練。該模型由Ni等人在論文Expanding Language - Image Pretrained Models for General Video Recognition中提出，並首次在此倉庫發佈。

此模型在訓練時每個視頻使用8幀，分辨率為224x224。

聲明：發佈X - CLIP的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。

✨ 主要特性

• 功能拓展：X - CLIP是CLIP在通用視頻語言理解方面的擴展，通過對（視頻，文本）對進行對比訓練，使模型可用於零樣本、少樣本或全監督視頻分類以及視頻文本檢索等任務。
• 架構展示：模型架構如圖所示：

📚 詳細文檔

預期用途和侷限性

你可以使用原始模型來判斷給定視頻與文本的匹配程度。你可以在模型中心查找針對你感興趣任務的微調版本。

使用方法

有關代碼示例，請參考文檔。

訓練數據

此模型在Kinetics - 600上進行訓練。

預處理

訓練期間預處理的確切細節可在此處找到。 驗證期間預處理的確切細節可在此處找到。 在驗證期間，會調整每一幀的較短邊，然後進行中心裁剪以達到固定分辨率（如224x224）。接著，使用ImageNet的均值和標準差對RGB通道的幀進行歸一化處理。

評估結果

此模型的top - 1準確率為88.3%，top - 5準確率為97.7%。

模型信息

📄 許可證

本項目採用MIT許可證。