# マルチモーダル質問応答

docscopeOCR-7B-050425-expは、Qwen/Qwen2.5-VL-7B-Instructをベースに微調整されたモデルで、ドキュメントレベルのOCR、長文脈のビジュアル言語理解、および数学のLaTeX形式の正確な画像からテキストへの変換に特化しています。

VideoChat-R1_7B_caption は Qwen2-VL-7B-Instruct をベースとしたマルチモーダル動画テキスト生成モデルで、動画コンテンツの理解と記述生成に特化しています。

ViCA-7Bは屋内動画環境における視覚空間推論に特化してファインチューニングされた視覚言語モデルで、LLaVA-Video-7B-Qwen2アーキテクチャを基盤とし、ViCA-322Kデータセットで訓練され、構造化空間アノテーションと指示ベースの複雑な推論タスクを重視しています。

VL-Rethinker-7B 4ビットMLX量子化版はTIGER-Lab/VL-Rethinker-7Bモデルの量子化バージョンで、Appleデバイス向けに最適化され、視覚質問応答タスクをサポートします。

ViLTアーキテクチャに基づく視覚言語モデル、GQA視覚推論タスク向けにファインチューニング

LLaVActionは動作認識向けのマルチモーダル大規模言語モデル評価・トレーニングフレームワークで、Qwen2言語モデルアーキテクチャを基盤とし、一人称視点の動画理解をサポートします。

TinyLLaVA-VideoはQwen2.5-3Bとsiglip-so400m-patch14-384を基に構築された動画理解モデルで、グループリサンプラーを使用して動画フレームを処理します

InternVideo2-1BとQwen2.5-7Bを基に構築されたマルチモーダル動画テキストモデルで、1フレームあたりわずか16トークンを使用し、最大10,000フレームの入力シーケンスをサポートします。

Asagi-8Bは大規模な日本語視覚言語モデル（VLM）で、広範な日本語データセットに基づいて訓練され、多様なデータソースを統合しています。

DeepSeerはDeepSeek-R1モデルを基に開発された視覚言語モデルで、思考連鎖推論能力をサポートし、対話テンプレートを通じて視覚モデルを訓練します。

UMT-LとQwen2-7Bを基に構築されたマルチモーダルモデルで、長い動画の理解をサポートし、1フレームあたりわずか16トークンを使用し、コンテキストウィンドウは128kまで拡張可能です。

VideoChat-Flash-2BはUMT-L（300M）とQwen2.5-1.5Bを基に構築されたマルチモーダルモデルで、動画テキストからテキストへの変換タスクをサポートし、1フレームあたり16トークンのみを使用し、コンテキストウィンドウを128kに拡張します。

EraX-VL-7B-V2.0-Previewは、OCRと視覚的質問応答のために設計された強力なマルチモーダルモデルで、ベトナム語を含む複数言語の処理に優れ、医療用フォームや請求書などのドキュメント認識で特に優れた性能を発揮します。

VideoRefer-7Bはマルチモーダル大規模言語モデルで、ビデオ質問応答タスクに特化しており、ビデオ内の時空間的な物体関係を理解・分析できます。

LLaVA-SpaceSGGはLLaVA-v1.5-13bをベースとした視覚質問応答モデルで、シーングラフ生成タスクに特化しており、画像内容を理解し構造化されたシーン記述を生成できます。

LongVUはQwen2-7Bをベースとしたマルチモーダルモデルで、長編動画の言語理解タスクに特化し、時空間適応圧縮技術を採用しています。

InternVL-Chat-V1-5を微調整したマルチモーダルモデルで、MMBenchベンチマークテストで優れた性能を発揮

Table LLaVA 7Bは、様々な表画像を理解し多様な表関連タスクを遂行するために設計されたオープンソースのマルチモーダルチャットボットです。

Idefics2はHugging Faceが開発したオープンソースのマルチモーダルモデルで、画像とテキスト入力を処理しテキスト出力を生成でき、OCR、ドキュメント理解、視覚的推論において優れた性能を発揮します。

モンキーモデルは大規模マルチモーダルモデルで、画像解像度の向上とテキストラベル手法の改良により、様々な視覚タスクで優れた性能を発揮します。

ChatTruth-7BはQwen-VLアーキテクチャを最適化した多言語視覚-言語モデルで、高解像度画像処理能力を強化し、還元モジュールを導入して計算コストを削減

Heron GIT Japanese StableLM Base 7B は入力画像について対話可能な視覚言語モデルです。

InstructBLIPはBLIP-2の視覚命令チューニング版で、Vicuna-13b言語モデルを基にした視覚言語タスク用モデルです。

InstructBLIPはBLIP-2を視覚命令チューニングしたバージョンで、画像とテキスト命令に基づいて説明や回答を生成できます

VideoBLIPはBLIP-2の強化版で、動画データを処理可能、Flan T5-xlを言語モデルのバックボーンとして採用しています。

VideoBLIPはBLIP-2の強化版で、動画データを処理可能、言語モデルのバックボーンとしてOPT-2.7bを採用しています。

ユーザーインターフェースの参照表現理解に特化した視覚的質問応答タスク用モデル。