Git Base

🚀 GIT (GenerativeImage2Text) 基礎版本

GIT（GenerativeImage2Text 的縮寫）模型的基礎版本。該模型由 Wang 等人在論文 GIT: A Generative Image-to-text Transformer for Vision and Language 中提出，並首次在 此倉庫 發佈。

聲明：發佈 GIT 的團隊並未為此模型撰寫模型卡片，此模型卡片由 Hugging Face 團隊編寫。

🚀 快速開始

GIT 模型可用於圖像和視頻描述、視覺問答等多種視覺與語言相關的任務。你可以使用原始模型進行圖像描述，也可以在 模型中心 查找針對特定任務微調後的版本。

✨ 主要特性

• 多任務適用性：可用於圖像和視頻描述、視覺問答（VQA），甚至圖像分類任務。
• 條件式訓練：基於 CLIP 圖像令牌和文本令牌進行訓練，通過“教師強制”方法在大量（圖像，文本）對上進行學習。
• 注意力機制：在預測下一個文本令牌時，對圖像補丁令牌使用雙向注意力掩碼，對文本令牌使用因果注意力掩碼。

📚 詳細文檔

模型描述

GIT 是一個基於 CLIP 圖像令牌和文本令牌的 Transformer 解碼器。該模型在大量（圖像，文本）對上使用“教師強制”方法進行訓練。

模型的目標很簡單，即在給定圖像令牌和先前文本令牌的情況下，預測下一個文本令牌。

在預測下一個文本令牌時，模型可以完全訪問（即使用雙向注意力掩碼）圖像補丁令牌，但只能訪問先前的文本令牌（即對文本令牌使用因果注意力掩碼）。

這使得該模型可用於以下任務：

• 圖像和視頻描述
• 圖像和視頻的視覺問答（VQA）
• 甚至圖像分類（通過簡單地以圖像為條件並要求模型以文本形式生成類別）

預期用途與限制

你可以使用原始模型進行圖像描述。請查看 模型中心 以查找針對你感興趣的任務進行微調後的版本。

使用方法

有關代碼示例，請參考 文檔。

訓練數據

根據論文：

我們收集了 8 億個圖像 - 文本對用於預訓練，其中包括 COCO（Lin 等人，2014）、Conceptual Captions (CC3M)（Sharma 等人，2018）、SBU（Ordonez 等人，2011）、Visual Genome (VG)（Krishna 等人，2016）、Conceptual Captions (CC12M)（Changpinyo 等人，2021）、ALT200M（Hu 等人，2021a），以及按照 Hu 等人（2021a）中類似的收集過程收集的額外 6 億個數據。

然而，這是論文中稱為“GIT”的模型的數據，該模型並未開源。

此檢查點是“GIT - 基礎版”，它是在 1000 萬個圖像 - 文本對上訓練的 GIT 較小變體。

更多詳細信息請參閱 論文 中的表 11。

預處理

關於訓練期間的預處理細節，請參考原始倉庫。

在驗證期間，首先對每個圖像的較短邊進行調整大小，然後進行中心裁剪以達到固定大小的分辨率。接下來，使用 ImageNet 的均值和標準差對 RGB 通道的幀進行歸一化。

評估結果

有關評估結果，請參閱 論文。

📄 許可證

本項目採用 MIT 許可證。