G

Git Large Vatex

microsoftによって開発
GITはCLIP画像トークンとテキストトークンの条件付けに基づくトランスフォーマーデコーダーで、画像やビデオの記述生成、視覚的質問応答などのタスクに使用されます。
ダウンロード数 267
リリース時間 : 1/2/2023

モデル概要

GITモデルは教師強制方式で多数の画像-テキストペアで訓練され、次のテキストトークンを予測でき、画像/ビデオ記述生成、視覚的質問応答、画像分類などのタスクに適しています。

モデル特徴

マルチモーダル処理能力
視覚情報とテキスト情報を同時に処理し、画像からテキストへの生成を実現
双方向注意メカニズム
画像トークンには双方向注意を、テキストトークンには因果的注意を使用
マルチタスク適応性
記述生成、視覚的質問応答、分類など様々な視覚言語タスクに使用可能

モデル能力

画像記述生成
ビデオ記述生成
視覚的質問応答
画像分類

使用事例

メディアコンテンツ生成
ビデオ自動記述
ビデオコンテンツの自然言語記述を生成
支援技術
視覚支援
視覚障害者のために画像内容を記述
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase