Xclip Base Patch16 16 Frames

🚀 X-CLIP (基礎尺寸模型)

X-CLIP 是一個用於通用視頻語言理解的模型，它在視頻分類和視頻文本檢索等任務中表現出色。該模型基於 CLIP 進行了擴展，在（視頻，文本）對上進行對比訓練，能夠有效處理視頻與文本之間的關聯。

🚀 快速開始

X-CLIP（基礎尺寸，補丁分辨率為 16）模型在 Kinetics-400 數據集上進行了全監督訓練。它由 Ni 等人在論文 Expanding Language-Image Pretrained Models for General Video Recognition 中提出，並首次在 此倉庫 發佈。

此模型在訓練時每個視頻使用 16 幀，分辨率為 224x224。

免責聲明：發佈 X-CLIP 的團隊並未為此模型編寫模型卡片，此模型卡片由 Hugging Face 團隊編寫。

✨ 主要特性

• 通用視頻語言理解：X-CLIP 是 CLIP 的擴展，可用於零樣本、少樣本或全監督視頻分類以及視頻文本檢索等任務。
• 對比訓練：模型在（視頻，文本）對上進行對比訓練，能夠學習視頻和文本之間的關聯。

💻 使用示例

如需代碼示例，請參考 文檔。

📚 詳細文檔

預期用途與限制

你可以使用原始模型來判斷給定視頻與文本的匹配程度。可在 模型中心 查找針對你感興趣任務的微調版本。

訓練數據

此模型在 Kinetics-400 數據集上進行訓練。

預處理

訓練期間預處理的確切細節可在 此處 找到。 驗證期間預處理的確切細節可在 此處 找到。

在驗證期間，會調整每一幀的較短邊大小，然後進行中心裁剪以達到固定尺寸的分辨率（如 224x224）。接下來，使用 ImageNet 的均值和標準差對幀的 RGB 通道進行歸一化。

評估結果

此模型的 top-1 準確率達到 84.7%，top-5 準確率達到 96.8%。

📄 許可證

本項目採用 MIT 許可證。

📦 模型信息