Xclip Base Patch16 Hmdb 4 Shot

🚀 X-CLIP (基礎尺寸模型)

X-CLIP是一個用於通用視頻語言理解的模型，它在視頻分類和視頻文本檢索等任務中表現出色。本模型基於基礎尺寸，補丁分辨率為16，在HMDB - 51數據集上進行了少樣本（K = 4）訓練。

🚀 快速開始

X-CLIP模型（基礎尺寸，補丁分辨率為16）以少樣本方式（K = 4）在HMDB - 51上進行訓練。它由Ni等人在論文Expanding Language - Image Pretrained Models for General Video Recognition中提出，並首次在此倉庫發佈。

該模型每個視頻使用32幀進行訓練，分辨率為224x224。

免責聲明：發佈X - CLIP的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。

✨ 主要特性

• 通用視頻語言理解：X - CLIP是CLIP的擴展，可用於零樣本、少樣本或全監督視頻分類以及視頻文本檢索等任務。
• 對比訓練：模型在（視頻，文本）對上進行對比訓練，能夠判斷文本與給定視頻的匹配程度。

📚 詳細文檔

預期用途和限制

你可以使用原始模型來判斷文本與給定視頻的匹配程度。可在模型中心查找針對你感興趣的任務進行微調的版本。

使用方法

有關代碼示例，請參考文檔。

📦 訓練數據

本模型在HMDB - 51上進行訓練。

預處理

訓練期間預處理的確切細節可在此處找到。 驗證期間預處理的確切細節可在此處找到。

在驗證期間，會調整每一幀的短邊大小，然後進行中心裁剪以達到固定尺寸分辨率（如224x224）。接下來，使用ImageNet的均值和標準差對幀在RGB通道上進行歸一化。

🔧 評估結果

本模型的top - 1準確率達到了57.3%。

📄 許可證

本項目採用MIT許可證。