Xclip Base Patch32 16 Frames

🚀 X-CLIP (基礎尺寸模型)

X-CLIP是一個用於通用視頻語言理解的模型，它對CLIP進行了擴展。該模型在Kinetics - 400數據集上進行全監督訓練，可用於零樣本、少樣本或全監督的視頻分類以及視頻文本檢索等任務。

🚀 快速開始

X-CLIP（基礎尺寸，補丁分辨率為32）模型在 Kinetics - 400 數據集上進行了全監督訓練。它由Ni等人在論文 Expanding Language - Image Pretrained Models for General Video Recognition 中提出，並首次在 [此倉庫](https://github.com/microsoft/VideoX/tree/master/X - CLIP) 發佈。

該模型每個視頻使用16幀進行訓練，分辨率為224x224。

免責聲明：發佈X - CLIP的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。

✨ 主要特性

• 功能擴展：X - CLIP是對 CLIP 的最小擴展，用於通用視頻語言理解。模型以對比方式在（視頻，文本）對上進行訓練。
• 多任務應用：這使得模型可用於零樣本、少樣本或全監督的視頻分類以及視頻文本檢索等任務。

📚 詳細文檔

預期用途和限制

你可以使用原始模型來確定給定視頻與文本的匹配程度。請查看 模型中心 以查找針對你感興趣的任務進行微調的版本。

使用方法

有關代碼示例，請參考 文檔。

訓練數據

該模型在 Kinetics - 400 數據集上進行訓練。

預處理

訓練期間預處理的確切細節可在 [此處](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L247) 找到。

驗證期間預處理的確切細節可在 [此處](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L285) 找到。

在驗證期間，會調整每一幀的較短邊大小，然後進行中心裁剪以達到固定尺寸分辨率（如224x224）。接下來，使用ImageNet的均值和標準差在RGB通道上對幀進行歸一化。

評估結果

該模型的top - 1準確率達到81.1%，top - 5準確率達到95.5%。

模型信息

📄 許可證

本項目採用MIT許可證。