Xclip Base Patch16 Hmdb 2 Shot

🚀 X-CLIP (基礎尺寸模型)

X-CLIP是一個用於通用視頻語言理解的模型，它是CLIP的擴展版本。本模型為基礎尺寸，補丁分辨率為16，在HMDB - 51數據集上進行了少樣本（K = 2）訓練。它由Ni等人在論文Expanding Language - Image Pretrained Models for General Video Recognition中提出，並首次在[此倉庫](https://github.com/microsoft/VideoX/tree/master/X - CLIP)發佈。

🚀 快速開始

本模型可用於判斷給定文本與視頻的匹配程度。你可以在模型中心查找針對你感興趣任務的微調版本。

代碼示例請參考文檔。

✨ 主要特性

• X-CLIP是CLIP的擴展，通過對比（視頻，文本）對進行訓練，可用於零樣本、少樣本或全監督視頻分類以及視頻 - 文本檢索等任務。
• 模型訓練時每個視頻使用32幀，分辨率為224x224。

📚 詳細文檔

模型描述

X-CLIP是CLIP的最小擴展，用於通用視頻語言理解。該模型在（視頻，文本）對上進行對比訓練。

這使得該模型可用於零樣本、少樣本或全監督視頻分類以及視頻 - 文本檢索等任務。

預期用途和限制

你可以使用原始模型來確定給定文本與視頻的匹配程度。可在模型中心查找針對你感興趣任務的微調版本。

訓練數據

本模型在HMDB - 51數據集上進行訓練。

預處理

訓練期間預處理的確切細節可在[此處](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L247)找到。

驗證期間預處理的確切細節可在[此處](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L285)找到。

在驗證期間，會調整每一幀的較短邊大小，然後進行中心裁剪以達到固定分辨率（如224x224）。接下來，使用ImageNet的均值和標準差對幀的RGB通道進行歸一化。

評估結果

本模型的top - 1準確率達到了53.0%。

📄 許可證

本項目採用MIT許可證。

模型信息表格

⚠️ 重要提示

發佈X - CLIP的團隊並未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。