Xclip Base Patch32

🚀 X-CLIP (基礎規模模型)

X-CLIP是一個用於通用視頻語言理解的模型，它在視頻分類和視頻文本檢索等任務中表現出色。本模型基於CLIP擴展而來，在Kinetics-400數據集上進行了全監督訓練。

🚀 快速開始

若你想使用該模型，可以參考文檔中的代碼示例。

✨ 主要特性

• 通用視頻語言理解：X-CLIP是CLIP的擴展，可用於零樣本、少樣本或全監督視頻分類以及視頻文本檢索等任務。
• 對比學習訓練：模型通過對比（視頻，文本）對進行訓練，能夠有效學習視頻和文本之間的關聯。
• 可視化架構：模型架構如圖所示，清晰展示了其工作原理。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

模型描述

X-CLIP是CLIP的一個最小擴展，用於通用視頻語言理解。該模型通過對比（視頻，文本）對進行訓練，使其能夠用於零樣本、少樣本或全監督視頻分類以及視頻文本檢索等任務。

預期用途和限制

你可以使用原始模型來判斷文本與給定視頻的匹配程度。你可以在模型中心查找針對你感興趣的任務進行微調的版本。

訓練數據

本模型在Kinetics-400數據集上進行訓練。

預處理

訓練期間的預處理確切細節可在此處找到。 驗證期間的預處理確切細節可在此處找到。 在驗證期間，會調整每一幀的短邊大小，然後進行中心裁剪以達到固定大小的分辨率（如224x224）。接下來，使用ImageNet的均值和標準差對幀在RGB通道上進行歸一化處理。

評估結果

該模型的top-1準確率為80.4%，top-5準確率為95.0%。

🔧 技術細節

文檔未提供技術實現細節，故跳過此章節。

📄 許可證

本模型採用MIT許可證。

免責聲明

發佈X-CLIP的團隊未為此模型編寫模型卡片，因此本模型卡片由Hugging Face團隊編寫。

模型索引