# 画像キャプション生成

Salesforce/blip2-opt-2.7bをファインチューニングした視覚言語モデルで、画像質問応答タスク用

BLIPは統一された視覚-言語事前学習フレームワークで、画像キャプション生成などの視覚-言語タスクに優れています

Gemma 3 4B IT QAT 4bit は、量子化認識トレーニング（QAT）を経た4ビット量子化大規模言語モデルで、Gemma 3アーキテクチャに基づき、MLXフレームワーク向けに最適化されています。

GITはトランスフォーマーベースの画像からテキストを生成するモデルで、入力画像に基づいて記述的なテキストを生成できます。

このモデルはQwen2-VL-7B-Captioner-RelaxedをGGUF形式に変換したバージョンで、画像からテキストへのタスクに最適化されており、llama.cppやKoboldcppなどのツールで実行可能です。

これはfancyfeastが開発したLlama JoyCaption Alpha TwoモデルをFP8圧縮したバージョンで、llm-compressorツールを使用して実装され、vllmフレームワークと互換性があります。

COCOデータセットで事前学習された視覚言語モデルで、正確な画像キャプション生成に優れています

microsoft/Florence-2-baseをファインチューニングした画像キャプション生成モデルで、記述品質とフォーマットの向上に焦点

LLaVA-Llama3はLlama-3をベースとしたマルチモーダルモデルで、画像とテキストの共同処理をサポートします。

これはQwen2-VL-7B-Captioner-Relaxedモデルを変換したGGUF形式のモデルで、画像からテキストへのタスクに特化しています。

ViTucanoはポルトガル語で事前学習された視覚アシスタントで、視覚理解と言語能力を統合し、マルチモーダルタスクに適しています。

GITはTransformerベースの生成的画像テキスト変換モデルで、視覚コンテンツをテキスト記述に変換できます。

BLIPはTransformerベースの画像キャプション生成モデルで、入力画像に対する自然言語の説明を生成できます。

ViT-GPT2アーキテクチャに基づく画像キャプション生成モデルで、入力画像に対して自然言語の説明を生成できます。

ViT-GPT2アーキテクチャに基づく画像キャプション生成モデルで、入力画像に対して自然言語の説明を生成できます。

ViT-GPT2アーキテクチャに基づく画像キャプション生成モデルで、入力画像を記述テキストに変換可能

meta-llama/Llama-3.2-11B-Vision-Instructを基にした4ビット量子化バージョンで、画像理解とテキスト生成タスクをサポート

これはロシア語対応のQwen2-VL-2BモデルにLORA微調整を施したバージョンで、マルチモーダルタスクをサポートします。

これはQwen2-VL-7B-Instruct設定に基づきランダム初期化された小型デバッグモデルで、視覚言語タスク用です

ピーコックモデルはInstructBLIPアーキテクチャに基づくアラビア語マルチモーダル大規模言語モデルで、言語モデルにはAraLLaMAを採用しています。

Idefics3はオープンソースのマルチモーダルモデルで、任意のシーケンスの画像とテキスト入力を処理し、テキスト出力を生成できます。OCR、ドキュメント理解、視覚的推論において顕著な改善が見られます。

Llama-3-8B-Instructを基にした日本語視覚言語モデル、追加の事前学習と命令チューニングにより日本語能力を強化

BLIPは統一された視覚言語事前学習フレームワークで、画像キャプション生成や視覚的質問応答などのタスクに優れており、革新的なデータフィルタリングメカニズムにより性能を向上させています

Florence-2はマイクロソフトが開発した先進的な視覚基盤モデルで、プロンプトベースのパラダイムを用いて様々な視覚および視覚-言語タスクを処理します。

Florence-2-SD3-Captioner は Florence-2 アーキテクチャに基づく画像キャプション生成モデルで、高品質な画像説明テキストを生成するために特別に設計されています。

Florence-2はマイクロソフトが開発した先進的な視覚基盤モデルで、プロンプトベースのアプローチで様々な視覚と言語タスクを処理します。

distilvitはVIT画像エンコーダーと蒸留版GPT-2テキストデコーダーを基にした画像からテキストへのモデルで、画像のテキスト説明を生成できます。

Florence-2はマイクロソフトが開発した先進的な視覚基盤モデルで、プロンプトベースのアプローチにより幅広い視覚・視覚言語タスクを処理します。

DistilViTは、視覚Transformer(ViT)と蒸留版GPT-2に基づく画像キャプション生成モデルで、画像をテキスト記述に変換できます。

ConvLLaVA-JPは高解像度入力に対応した日本語視覚言語モデルで、入力画像について対話が可能です。

PaliGemma-3bモデルをDocCIデータセットでファインチューニングした画像キャプション生成モデル。200-350文字の詳細な説明文を生成可能で、幻覚現象を低減

このモデルはSalesforce/blip-image-captioning-baseの量子化バージョンで、浮動小数点精度をbfloat16に下げることで、メモリ使用量を50%削減し、画像からテキスト生成タスクに適しています。

入力画像について対話可能なビジュアル言語モデルで、日本語インタラクションをサポート

UForm-Gen2-dpoは、直接選好最適化（DPO）を用いてVLFeedbackおよびLLaVA-Human-Preference-10K選好データセットで画像キャプション生成と視覚的質問応答タスクに対してアライメント訓練された小型生成視覚言語モデルです。

このモデルは画像からテキストへの変換モデルで、画像のキャプション記述を生成することに特化しています。

Kosmos-2はマルチモーダル大規模言語モデルで、視覚情報と言語理解を統合し、画像からテキストへの変換や視覚的位置特定タスクを実現します。

InstructBLIPはBLIP-2の視覚的指示チューニングバージョンで、視覚と言語処理能力を組み合わせ、画像とテキスト指示に基づいて応答を生成できます。

UForm-Genは小型の生成的視覚言語モデルで、主に画像キャプション生成と視覚的質問応答に使用されます。

BLIP2はOPT-2.7Bを基にした視覚言語モデルで、視覚質問応答タスクに特化しており、画像内容を理解し関連する質問に答えることができます。

UForm-Gen-ChatはUForm-Genのマルチモーダルチャットファインチューニング版で、主に画像キャプション生成と視覚的質問応答タスクに使用されます。