Git Base Vatex

🚀 生成式图像转文本模型（GIT）基础版，在VATEX数据集上微调

GIT（GenerativeImage2Text的缩写）模型的基础版本，在VATEX数据集上进行了微调。该模型由Wang等人在论文 GIT: A Generative Image-to-text Transformer for Vision and Language 中提出，并首次在 此仓库 发布。

免责声明：发布GIT的团队并未为此模型撰写模型卡片，此模型卡片由Hugging Face团队撰写。

✨ 主要特性

📚 模型描述

GIT是一个基于CLIP图像令牌和文本令牌的Transformer解码器。该模型在大量的（图像，文本）对上使用“教师强制”方法进行训练。

模型的目标很简单，即在给定图像令牌和先前文本令牌的情况下，预测下一个文本令牌。

在预测下一个文本令牌时，模型可以完全访问（即使用双向注意力掩码）图像块令牌，但只能访问先前的文本令牌（即对文本令牌使用因果注意力掩码）。

这使得该模型可用于以下任务：

• 图像和视频字幕生成
• 图像和视频的视觉问答（VQA）
• 甚至图像分类（只需将模型基于图像进行条件设置，并要求它以文本形式为其生成一个类别）。

📋 预期用途和限制

你可以使用原始模型进行视频字幕生成。请查看 模型中心 以查找针对你感兴趣的任务进行微调的版本。

💻 使用示例

有关代码示例，请参考 文档。

🔧 技术细节

📊 训练数据

根据论文所述：

我们收集了8亿个图像 - 文本对用于预训练，其中包括COCO（Lin等人，2014年）、Conceptual Captions（CC3M）（Sharma等人，2018年）、SBU（Ordonez等人，2011年）、Visual Genome（VG）（Krishna等人，2016年）、Conceptual Captions（CC12M）（Changpinyo等人，2021年）、ALT200M（Hu等人，2021a），以及按照Hu等人（2021a）中类似收集程序收集的额外6亿个数据。

不过，这是论文中称为“GIT”的模型的数据，该模型并未开源。

此检查点是“GIT-base”，它是GIT的一个较小变体，在1000万个图像 - 文本对上进行训练。

接下来，该模型在VATEX数据集上进行了微调。

更多详细信息请参阅论文 GIT: A Generative Image-to-text Transformer for Vision and Language 中的表11。

🛠️ 预处理

关于训练期间预处理的详细信息，请参考原始仓库。

在验证期间，首先调整每个图像的较短边大小，然后进行中心裁剪以达到固定大小的分辨率。接下来，使用ImageNet的均值和标准差在RGB通道上对帧进行归一化。

📈 评估结果

有关评估结果，请参考论文 GIT: A Generative Image-to-text Transformer for Vision and Language。

📄 许可证

本项目采用MIT许可证。