Xclip Base Patch16 Zero Shot

🚀 X-CLIP (基礎尺寸模型)

X-CLIP是一個用於通用視頻語言理解的模型，在視頻分類和視頻文本檢索等任務中表現出色。它基於CLIP進行了擴展，通過在（視頻，文本）對上進行對比訓練，能夠實現零樣本、少樣本或全監督的視頻分類。

🚀 快速開始

X-CLIP模型（基礎尺寸，補丁分辨率為16）在 Kinetics-400 數據集上進行訓練。該模型由Ni等人在論文 Expanding Language-Image Pretrained Models for General Video Recognition 中提出，並首次在 此倉庫 中發佈。

此模型在訓練時每個視頻使用32幀，分辨率為224x224。

免責聲明：發佈X-CLIP的團隊並未為此模型撰寫模型卡片，此模型卡片由Hugging Face團隊撰寫。

✨ 主要特性

• 通用視頻語言理解：X-CLIP是 CLIP 的擴展，用於通用視頻語言理解。模型在（視頻，文本）對上進行對比訓練。
• 多任務支持：可用於零樣本、少樣本或全監督的視頻分類以及視頻文本檢索等任務。

📚 詳細文檔

預期用途與限制

你可以使用原始模型來判斷給定視頻與文本的匹配程度。請查看 模型中心 以查找針對你感興趣的任務進行微調的版本。

使用方法

有關代碼示例，請參考 文檔。

訓練數據

此模型在 Kinetics 400 數據集上進行訓練。

預處理

訓練期間預處理的確切細節可在 此處 找到。

驗證期間預處理的確切細節可在 此處 找到。

在驗證期間，會調整每一幀的短邊大小，然後進行中心裁剪以達到固定的分辨率（如224x224）。接下來，使用ImageNet的均值和標準差在RGB通道上對幀進行歸一化處理。

評估結果

此模型在HMDB - 51數據集上的零樣本top - 1準確率達到44.6%，在UCF - 101數據集上達到72.0%，在Kinetics - 600數據集上達到65.2%。

📄 許可證

本項目採用MIT許可證。