Xclip Base Patch16 Zero Shot

🚀 X-CLIP (基础尺寸模型)

X-CLIP是一个用于通用视频语言理解的模型，它在视频分类和视频文本检索等任务中表现出色。该模型基于CLIP进行了扩展，通过在（视频，文本）对上进行对比训练，能够实现零样本、少样本或全监督的视频分类。

🚀 快速开始

X-CLIP模型（基础尺寸，补丁分辨率为16）在Kinetics-400数据集上进行训练。它由Ni等人在论文Expanding Language-Image Pretrained Models for General Video Recognition中提出，并首次在此仓库中发布。

此模型在训练时每个视频使用32帧，分辨率为224x224。

免责声明：发布X-CLIP的团队没有为此模型编写模型卡片，因此此模型卡片由Hugging Face团队编写。

✨ 主要特性

• 通用视频语言理解：X-CLIP是CLIP的扩展，用于通用视频语言理解。模型在（视频，文本）对上进行对比训练。
• 多任务适用性：可用于零样本、少样本或全监督的视频分类以及视频文本检索等任务。

📚 详细文档

预期用途与限制

你可以使用原始模型来判断给定视频与文本的匹配程度。请查看模型中心，以查找针对你感兴趣的任务进行微调的版本。

使用方法

有关代码示例，请参考文档。

训练数据

此模型在Kinetics 400数据集上进行训练。

预处理

训练期间预处理的确切细节可在此处找到。

验证期间预处理的确切细节可在此处找到。

在验证期间，首先调整每一帧的短边大小，然后进行中心裁剪以达到固定大小的分辨率（如224x224）。接下来，使用ImageNet的均值和标准差对帧的RGB通道进行归一化。

评估结果

此模型在HMDB-51数据集上实现了44.6%的零样本top-1准确率，在UCF-101数据集上为72.0%，在Kinetics-600数据集上为65.2%。

📄 许可证

本项目采用MIT许可证。