M

Microsoft Git Base

seckmasterによって開発
GITはTransformerベースの生成的画像テキスト変換モデルで、視覚コンテンツをテキスト記述に変換できます。
ダウンロード数 18
リリース時間 : 12/4/2024

モデル概要

GIT(GenerativeImage2Text)はCLIP画像トークンとテキストトークンを組み合わせたTransformerデコーダモデルで、教師強制方式で訓練され、画像キャプション生成や視覚的質問応答などのタスクを実行できます。

モデル特徴

双方向画像アテンション
モデルは画像パッチトークンに双方向アテンションマスクを使用し、画像コンテンツを十分に理解します。
因果的テキスト生成
テキスト生成時には以前のテキストトークンにのみアクセス可能で、一貫性のあるテキスト記述を生成します。
マルチタスクサポート
画像キャプション生成、視覚的質問応答、さらには画像分類など、さまざまなタスクに使用できます。

モデル能力

画像キャプション生成
視覚的質問応答
画像分類(テキスト生成経由)
動画キャプション生成

使用事例

コンテンツ生成
自動画像タグ付け
画像に正確なテキスト記述を生成
画像検索システムやアクセシビリティに利用可能
視覚的質問応答
画像コンテンツ質問応答
画像内容に関する自然言語質問に回答
インテリジェントアシスタントや教育アプリケーションに利用可能
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase