Distilvitオープンソース画像からテキストへのモデル - 無料でデプロイ可能で高精度な画像テキスト説明の生成

Test Push

tarekziadeによって開発

distilvitはVIT画像エンコーダーと蒸留版GPT-2テキストデコーダーを基にした画像からテキストへのモデルで、画像のテキスト説明を生成できます。

ダウンロード数 17

リリース時間 : 6/21/2024

モデル概要

このモデルは主に画像キャプション生成タスクに使用され、入力画像を対応するテキスト説明に変換できます。VITと蒸留GPT-2アーキテクチャに基づき、Flickr30kやCOCOなどのデータセットでファインチューニングされています。

効率的なアーキテクチャ

蒸留版GPT-2をテキストデコーダーとして採用し、性能を維持しながらモデルの複雑さを軽減

複数データセット学習

Flickr30kやCOCOなど複数の画像キャプションデータセットで学習とファインチューニングを実施

バイアス除去処理

バイアス除去版Flickr30kデータセットを使用して学習し、モデルのバイアスを軽減

画像キャプション生成

画像からテキスト変換

視覚言語理解

画像理解

自動画像タグ付け

画像に自動的に説明文を生成

ROUGE-1スコア43.006

視覚障害者支援

画像内容を音声説明に変換

コンテンツ管理

画像検索エンジン最適化

画像に自動的にメタデータを生成

このモデルは開発中です。以下のベースモデルをファインチューニングしたバージョンです。

このモデルは以下のデータセットでトレーニングされました。

3083a3cef6e3c8dd90df3f088074bbe836b0f403コミットを使用してチェックポイントを取得できます。

その後、以下のデータセットでさらにファインチューニングされました。

Flickr30k debiased: https://huggingface.co/datasets/Mozilla/flickr30k-transformed-captions
DocOrNot: https://huggingface.co/datasets/Mozilla/docornot

モデルを作成するために使用されたコードはこちらにあります: https://github.com/mozilla/distilvit

このモデルはApache - 2.0ライセンスの下で提供されています。

属性	详情
モデルタイプ	画像からテキストへの変換（image - to - text）、画像キャプショニング（image - captioning）
トレーニングデータ	Flickr30k（https://huggingface.co/datasets/nlphuji/flickr30k）、COCO 2017（https://cocodataset.org）、Flickr30k debiased（https://huggingface.co/datasets/Mozilla/flickr30k-transformed-captions）、DocOrNot（https://huggingface.co/datasets/Mozilla/docornot）
ベースモデル	画像エンコーダ：google/vit - base - patch16 - 224 - in21k；テキストデコーダ：distilbert/distilgpt2