Xclip Base Patch16 Ucf 16 Shot

🚀 X-CLIP（基础大小模型）

X-CLIP是一个用于通用视频语言理解的模型，它在视频分类和视频文本检索等任务中表现出色。该模型基于CLIP进行了扩展，通过在（视频，文本）对上进行对比训练，使其能够处理多种视频相关任务。

🚀 快速开始

X-CLIP模型（基础大小，补丁分辨率为16）以少样本方式（K = 16）在UCF101上进行训练。它由Ni等人在论文Expanding Language - Image Pretrained Models for General Video Recognition中提出，并首次在[此仓库](https://github.com/microsoft/VideoX/tree/master/X - CLIP)发布。

本模型在训练时每个视频使用32帧，分辨率为224x224。

免责声明：发布X - CLIP的团队未为此模型编写模型卡片，此模型卡片由Hugging Face团队编写。

✨ 主要特性

• 通用视频语言理解：X - CLIP是CLIP的扩展，用于通用视频语言理解。模型以对比方式在（视频，文本）对上进行训练。
• 多任务适用性：可用于零样本、少样本或全监督视频分类以及视频文本检索等任务。

💻 使用示例

基础用法

如需代码示例，请参考文档。

📚 详细文档

预期用途和限制

你可以使用原始模型来确定给定视频与文本的匹配程度。请查看模型中心，以查找针对你感兴趣的任务进行微调的版本。

训练数据

本模型在UCF101上进行训练。

预处理

训练期间预处理的确切细节可在[此处](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L247)找到。 验证期间预处理的确切细节可在[此处](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L285)找到。 在验证期间，会调整每一帧的较短边大小，然后进行中心裁剪以达到固定大小的分辨率（如224x224）。接下来，使用ImageNet的均值和标准差在RGB通道上对帧进行归一化。

评估结果

该模型的Top - 1准确率达到了91.4%。

📄 许可证

本项目采用MIT许可证。