Xclip Large Patch14

🚀 X-CLIP（大型模型）

X-CLIP是用於通用視頻語言理解的模型，此大型模型的補丁分辨率為14，在Kinetics - 400數據集上進行了全監督訓練。它由Ni等人在論文Expanding Language - Image Pretrained Models for General Video Recognition中提出，並首次在此倉庫中發佈。該模型在視頻分類等任務中表現出色，為視頻理解領域提供了強大的工具。

🚀 快速開始

X-CLIP模型是CLIP的擴展，用於通用視頻語言理解。模型在（視頻，文本）對上進行對比訓練，可用於零樣本、少樣本或全監督視頻分類以及視頻 - 文本檢索等任務。

✨ 主要特性

• 多任務適用性：可用於零樣本、少樣本或全監督視頻分類以及視頻 - 文本檢索等任務。
• 對比訓練：在（視頻，文本）對上進行對比訓練，增強了模型對視頻和文本關聯的理解。

📚 詳細文檔

模型描述

X-CLIP是CLIP的一個最小擴展，用於通用視頻語言理解。模型在（視頻，文本）對上以對比的方式進行訓練。

這使得模型可用於零樣本、少樣本或全監督視頻分類以及視頻 - 文本檢索等任務。

預期用途與限制

你可以使用原始模型來確定給定視頻與文本的匹配程度。可在模型中心查找針對你感興趣任務的微調版本。

使用方法

關於代碼示例，請參考文檔。

訓練數據

該模型在Kinetics - 400數據集上進行訓練。

預處理

訓練期間預處理的確切細節可在此處找到。 驗證期間預處理的確切細節可在此處找到。 在驗證期間，會調整每一幀較短的邊，然後進行中心裁剪以達到固定大小的分辨率（如224x224）。接下來，使用ImageNet的均值和標準差在RGB通道上對幀進行歸一化。

評估結果

該模型的top - 1準確率達到87.1%，top - 5準確率達到97.6%。

📄 許可證

本項目採用MIT許可證。

⚠️ 重要提示

發佈X - CLIP的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。