Git Large Textcaps

🚀 GIT（GenerativeImage2Text），大尺寸，在TextCaps上微調

GIT（GenerativeImage2Text的縮寫）模型，大尺寸版本，在TextCaps上進行了微調。該模型由Wang等人在論文 GIT: A Generative Image-to-text Transformer for Vision and Language 中提出，並首次在 此倉庫 中發佈。

聲明：發佈GIT的團隊並未為此模型撰寫模型卡片，此模型卡片由Hugging Face團隊撰寫。

✨ 主要特性

• 多任務適用性：可用於圖像和視頻字幕生成、圖像和視頻的視覺問答（VQA），甚至圖像分類。
• 獨特架構設計：基於Transformer解碼器，結合CLIP圖像令牌和文本令牌進行訓練。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考 模型文檔 獲取相關信息。

💻 使用示例

對於代碼示例，請參考 文檔。

📚 詳細文檔

模型描述

GIT是一個基於CLIP圖像令牌和文本令牌的Transformer解碼器。該模型使用“教師強制”方法在大量（圖像，文本）對上進行訓練。

模型的目標很簡單，即在給定圖像令牌和先前文本令牌的情況下，預測下一個文本令牌。

在預測下一個文本令牌時，模型可以完全訪問（即使用雙向注意力掩碼）圖像補丁令牌，但只能訪問先前的文本令牌（即對文本令牌使用因果注意力掩碼）。

這使得該模型可用於以下任務：

• 圖像和視頻字幕生成
• 圖像和視頻的視覺問答（VQA）
• 甚至圖像分類（只需讓模型基於圖像生成文本形式的類別）

預期用途和限制

你可以使用原始模型進行圖像字幕生成。請查看 模型中心 以查找針對你感興趣的任務進行微調的版本。

訓練數據

根據論文：

我們收集了8億個圖像 - 文本對用於預訓練，其中包括COCO（Lin等人，2014）、Conceptual Captions（CC3M）（Sharma等人，2018）、SBU（Ordonez等人，2011）、Visual Genome（VG）（Krishna等人，2016）、Conceptual Captions（CC12M）（Changpinyo等人，2021）、ALT200M（Hu等人，2021a），以及按照Hu等人（2021a）的類似收集程序收集的額外6億個數據。

不過，這是論文中稱為“GIT”的模型，該模型並未開源。

此檢查點是“GIT-large”，它是GIT的一個較小變體，在2000萬個圖像 - 文本對上進行訓練。

接下來，該模型在TextCaps上進行了微調。

更多詳細信息請參閱 論文 中的表11。

預處理

關於訓練期間的預處理細節，請參考原始倉庫。

在驗證期間，首先調整每個圖像的較短邊大小，然後進行中心裁剪以達到固定大小的分辨率。接下來，使用ImageNet的均值和標準差對RGB通道上的幀進行歸一化。

評估結果

關於評估結果，請參考 論文。

🔧 技術細節

GIT模型在設計上具有獨特的注意力機制。在處理圖像和文本信息時，它對圖像補丁令牌使用雙向注意力掩碼，允許模型全面獲取圖像信息；而對文本令牌使用因果注意力掩碼，確保模型在預測下一個文本令牌時僅依賴先前的文本信息。這種設計使得模型能夠有效地結合圖像和文本信息，從而實現多種視覺 - 語言任務。

📄 許可證

本模型採用MIT許可證。