vit-base-patch16-224-distilgpt2オープンソース画像記述モデル - 画像を無料でテキスト記述に変換する

Vit Base Patch16 224 Distilgpt2

tarekziadeによって開発

DistilViTは、視覚Transformer(ViT)と蒸留版GPT-2に基づく画像キャプション生成モデルで、画像をテキスト記述に変換できます。

ダウンロード数 17

リリース時間 : 6/19/2024

モデル概要

このモデルは、視覚Transformerの画像エンコーディング能力と蒸留版GPT-2のテキスト生成能力を組み合わせ、画像からテキストへのタスク専用に設計されており、画像の記述文を生成できます。

効率的な画像理解

VITモデルを画像エンコーダーとして採用し、画像内容を効果的に理解可能

軽量テキスト生成

蒸留版GPT-2をテキストデコーダーとして使用し、性能を維持しながらモデルサイズを削減

マルチデータセット訓練

Flickr30kやCOCO 2017など複数のデータセットで訓練され、汎化能力を向上

画像内容理解

画像キャプション生成

視覚-言語変換

支援技術

視覚障害者向け画像説明生成

画像の自動テキスト説明生成により、視覚障害者が画像内容を理解するのを支援

コンテンツ管理

自動画像タグ付け

大量の画像に自動的に記述タグを生成し、検索と管理を容易に

プロパティ	詳細
モデルタイプ	image - to - text、image - captioning
トレーニングデータ	Flickr30k、COCO 2017、Flickr30k debiased、DocOrNot、Alt Text Validation
ベースモデル	google/vit - base - patch16 - 224 - in21k、distilbert/distilgpt2