# 視覚言語モデル

ViGoRLは、強化学習によって微調整された視覚言語モデルで、テキストの推論ステップを視覚座標と明確に関連付け、正確な視覚推論と定位を実現します。

GUI-Actor-2BはQwen2-VL-2Bに基づく視覚言語モデルで、グラフィカルユーザーインターフェイス（GUI）の位置特定タスク用に設計されています。アテンションベースのアクションヘッドを追加して微調整することで、複数のGUI位置特定ベンチマークテストで良好な結果を得ています。

Bespoke Labsが開発した7Bパラメータ規模のオープンソースチャート理解視覚言語モデルで、チャートQAタスクにおいてGemini-1.5-Proなどのクローズドソースモデルを凌駕

Qwen2.5-VL-7B-Instructをinstancevidデータセットでファインチューニングした視覚言語モデルで、インスタンスレベルの画像記述生成に特化

WebDreamerは現実世界のウェブエージェントタスクに対して効率的かつ効果的な計画を実現する計画フレームワークです。

Gemma 3 27BパラメータのGGUF量子化バージョン、画像テキストインタラクションタスクをサポート

これはFanbin/STEVE-R1-7B-SFTモデルを重み/行列量子化したバージョンで、リソースが限られた環境に適しています。

GemmaはGoogleが提供する軽量で最先端のオープンモデルファミリーで、Geminiモデルと同じ研究技術に基づいています。Gemma 3はマルチモーダルモデルで、テキストと画像の入力を処理しテキスト出力を生成できます。

Gemma 3はGoogleが提供する軽量オープンソースのマルチモーダルモデルで、テキストと画像の入力をサポートし、テキスト出力を生成します。128Kのコンテキストウィンドウと140以上の言語をサポートしています。

Q-SiT Miniは軽量な画像品質評価と対話モデルで、画像品質分析とスコアリングに特化しています。

Llama 3.2 11B Vision Instruct は視覚と言語を組み合わせたマルチモーダルモデルで、画像からテキストへのタスクをサポートします。

LLaVA-NeXT-Video-7B-hf は動画ベースのマルチモーダルモデルで、動画とテキスト入力を処理し、テキスト出力を生成できます。

InternLM2を基に開発された視覚言語大規模モデルで、優れたテキストと画像の理解・創作能力を備えています

microsoft/Florence-2-baseをファインチューニングした画像キャプション生成モデルで、記述品質とフォーマットの向上に焦点

LLaVA-Llama3はLlama-3をベースとしたマルチモーダルモデルで、画像とテキストの共同処理をサポートします。

UI-TARSは次世代のネイティブグラフィカルユーザーインターフェース（GUI）インテリジェントエージェントモデルで、人間のような知覚、推論、行動能力でGUIとシームレスにインタラクションすることを目的としています。

UI-TARSは次世代のネイティブグラフィカルユーザーインターフェース（GUI）エージェントモデルで、人間のような知覚、推論、行動能力を通じてGUIとシームレスにインタラクションすることを目的としています。

UI-TARSは次世代のネイティブグラフィカルユーザーインターフェース（GUI）エージェントモデルで、人間のような知覚、推論、行動能力を通じてGUIとシームレスにインタラクションすることを目的としています。

DeQA-Score-Mix3はMAGAer13/mplug-owl2-llama2-7bベースモデルをファインチューニングしたリファレンス不要の画像品質評価モデルで、複数のデータセットで優れた性能を発揮します。

Qwen2-VL-7B-InstructとColBERT戦略に基づく視覚検索モデルで、マルチベクトルテキストと画像表現をサポート

論文『タスク選好最適化：視覚タスクアライメントによるマルチモーダル大規模言語モデルの改善』に基づいて開発されたマルチモーダル大規模言語モデル

Olympusは汎用タスクルーティングシステムで、20種類の異なる視覚タスクを処理でき、タスクルーティングメカニズムを通じて効率的なマルチタスク処理を実現します。

これはtransformersと互換性のある視覚言語モデルで、画像理解とテキスト生成能力を備えています

BLIPはTransformerベースの画像キャプション生成モデルで、入力画像に対する自然言語の説明を生成できます。

Qwen2-VL-2B-InstructとColBERT戦略に基づく視覚検索モデルで、視覚的特徴を通じて文書を効率的にインデックス化可能

このモデルはmicrosoft/Florence-2-largeのファインチューニング版で、Ejafa/ye-popデータセットの4万枚の画像サブセットで訓練され、アノテーションテキストはTHUDM/cogvlm2-llama3-chat-19Bによって生成され、画像からテキストへのタスクに適しています。

Lumina-mGPTはマルチモーダル自己回帰モデルファミリーで、特にテキスト記述に基づいて柔軟でリアルな画像を生成するなど、さまざまな視覚と言語タスクを得意としています。

これはmicrosoft/Florence-2-largeモデルのファインチューニング版で、Ejafa/ye-popデータセットの38,000枚の画像サブセットでトレーニングされ、CogVLM2で生成されたアノテーションを使用し、画像からテキストへのタスクに焦点を当てています。

TiC-CLIPはTiC-DataComp-Yearlyデータセットでトレーニングされた視覚言語モデルで、継続的学習戦略を採用してモデルを最新データと同期させる

TiC-CLIPはOpenCLIPを改良した視覚言語モデルで、時間継続学習に焦点を当て、2014年から2022年までの訓練データをカバーしています

Phi-3-mini-3.8B大規模言語モデルとLLaVA v1.5を組み合わせた視覚言語モデルで、高度な視覚言語理解能力を提供します。

LLaVA-Phi-3-mini は Phi-3-mini-4k-instruct と CLIP-ViT-Large-patch14-336 をファインチューニングした LLaVA モデルで、画像からテキストへの変換タスクに特化しています。

moondreamのプレリリース版で、主に内部テスト用です。

強化学習手法で微調整されたBLIP-2 OPT-2.7Bモデルで、長く包括的な画像記述を生成可能

このモデルはSalesforce/blip-vqa-baseをファインチューニングした視覚質問応答モデルで、ファッション分野に特化しています

InfiMM-HDは高解像度マルチモーダルモデルで、画像とテキストを組み合わせたコンテンツを理解し生成できます。

OpenAI CLIPで初期化された視覚言語モデルで、ImageNetで教師あり敵対的ファインチューニングを行い、ロバスト性強化特性を備えています

OpenAI CLIPを初期化した視覚言語モデルで、教師なし敵対的微調整によりロバスト性を向上

OpenAI CLIPで初期化された視覚言語モデルで、教師なし敵対的微調整によりロバスト性を向上

書生・浦語2はInternLM2をベースにした視覚言語大モデル(VLLM)で、先進的なテキストと画像の理解と創作能力を備えています。