# 視覚言語理解

BLIPアーキテクチャをファインチューニングしたアラビア語画像キャプション生成モデルで、Flickr8kアラビア語データセットに最適化されています

Skywork-VL-Reward-7Bは7Bパラメータのマルチモーダル報酬モデルで、Qwen2.5-VL-7B-Instructアーキテクチャを基に、報酬モデルトレーニング用の価値ヘッド構造を追加しています。

天工-R1V2-38Bは現在最も先進的なオープンソースのマルチモーダル推論モデルで、多くのベンチマークテストで卓越したパフォーマンスを示し、強力な視覚推論とテキスト理解能力を備えています。

EMOVAはエンドツーエンドの全モーダル対応大規模言語モデルで、視覚、聴覚、音声機能をサポートし、感情制御可能なテキストと音声応答を生成できます。

Gemma 3はGoogleが提供する軽量で先進的なオープンモデルシリーズで、Geminiモデルを作成したのと同じ研究と技術に基づいています。このモデルはマルチモーダルで、テキストと画像の入力を処理し、テキスト出力を生成できます。

VL-Rethinker-7B 4ビットMLX量子化版はTIGER-Lab/VL-Rethinker-7Bモデルの量子化バージョンで、Appleデバイス向けに最適化され、視覚質問応答タスクをサポートします。

これはLlamaアーキテクチャに基づくマルチモーダルモデルで、視覚とテキストの命令をサポートし、4ビット量子化で最適化されています。

InternVL3-78BはOpenGVLabが開発した先進的なマルチモーダル大規模言語モデルで、卓越した総合性能を発揮します。前世代のInternVL 2.5と比較し、より強力なマルチモーダル知覚と推論能力を備え、ツール使用、GUIエージェント、産業画像分析、3D視覚知覚などの新領域に能力を拡張しています。

このモデルはQwen2.5-VL-7B-Instructを変換したマルチモーダル視覚言語モデルで、視覚質問応答タスクをサポートします。

VL-Rethinker-72B-4bitはQwen2.5-VL-7B-Instructをベースにしたマルチモーダルモデルで、視覚QAタスクをサポートし、Appleデバイスで効率的に動作するようMLXフォーマットに変換されています。

Qwen2.5-VL-7B-Instructモデルに基づいてGPTQ-INT8量子化を行った視覚言語モデル

Meta Llama 4モデルを基に変換された6ビット量子化バージョンで、多言語命令対話をサポートします。

VoRAは7Bパラメータの視覚言語モデルで、画像とテキスト入力を処理し、テキスト出力を生成できます。

Qwen2.5-VL-72B-Instructは72Bパラメータ規模のマルチモーダル大規模モデルで、視覚-言語タスクをサポートし、画像に関連するテキスト内容を理解し生成できます。

Qwen2.5-VL-32B-Instructは32Bパラメータ規模のマルチモーダル視覚言語モデルで、画像理解とテキスト生成タスクをサポートします。

Qwen2.5-VLを基に革新的なCurr-ReFT手法でファインチューニングされたマルチモーダル大規模言語モデルで、視覚言語理解と推論能力が大幅に向上しています。

HiMTokはInternVL2_5-8B大規模マルチモーダルモデルをファインチューニングした階層型マスクトークン学習フレームワークで、画像セグメンテーションタスクに特化しています。

これは画像テキストからテキストへの変換モデルで、画像とテキスト入力を処理し、対応するテキスト出力を生成できます。

このモデルはQwen2-VL-7B-Captioner-RelaxedをGGUF形式に変換したバージョンで、画像からテキストへのタスクに最適化されており、llama.cppやKoboldcppなどのツールで実行可能です。

mmMamba-linearは、中規模な学術計算リソースで二次から線形への蒸留を実現した初の純粋デコーダ型マルチモーダル状態空間モデルで、効率的なマルチモーダル処理能力を備えています。

シンガポールの文脈における冒犯性絵文字の分類を目的とした視覚言語モデル。Qwen2-VL-7B-Instructをベースに微調整されています。

桑実モデルは段階的推論に基づくモデルで、集団知識検索によって生成されたMulberry - 260K SFTデータセットで訓練されています。

DeepSeerはDeepSeek-R1モデルを基に開発された視覚言語モデルで、思考連鎖推論能力をサポートし、対話テンプレートを通じて視覚モデルを訓練します。

マジシャンは、自由形式のマルチイメージローカライゼーション能力を備えた初のマルチモーダル大規模言語モデルで、複雑なマルチイメージシーンにおいて高精度なローカライゼーションを実現し、70B規模のモデルを超える性能を発揮します。

オープンソースのチャットボットモデルで、オープンソースデータ上でモデル全体を微調整して訓練され、マルチモーダルモデルとチャットボットの研究に使用できます。

Qwen2-VL-7B-Instructはマルチモーダル視覚言語モデルで、画像とテキストの統合理解と生成をサポートします。

MiniVLAは軽量な視覚言語モデルで、Prismatic VLMsトレーニングフレームワークと互換性があり、画像テキストからテキストへのマルチモーダルタスクをサポートします。

GLM-Edge-V-5Bは50億パラメータのマルチモーダルモデルで、画像とテキスト入力をサポートし、画像理解とテキスト生成タスクを実行できます。

Emu3は北京智源研究院によって開発されたマルチモーダルモデルで、次のトークンを予測するだけで訓練され、画像、テキスト、動画処理をサポートします。

Llama-3-EvoVLM-JP-v2 は実験的な汎用日本語視覚言語モデルで、テキストと画像の交互入力をサポートしています。このモデルは進化的モデル融合手法を用いて作成されました。

Cephaloはマルチモーダル材料科学に特化した一連の視覚大規模言語モデル（V-LLMs）で、視覚と言語データを統合し、人間と機械のインタラクションやマルチエージェントAIフレームワークにおける高度な理解と相互作用を促進することを目的としています。

オープンソースのチャットボットモデルで、オープンソースデータ上でモデル全体を微調整して訓練され、マルチモーダルモデルとチャットボットの研究に使用できます。

DenseConnectorはオープンソースのチャットボットで、LLaMA/Vicunaをファインチューニングし、GPTが生成したマルチモーダル指示追従データでトレーニングされています。

Cephaloは、マルチモーダル材料科学に特化した一連の視覚大規模言語モデル（V-LLMs）で、視覚と言語データを統合し、人間と機械の相互作用やマルチエージェントAIフレームワークにおける高度な理解と相互作用を促進することを目的としています。

LLaVA-JPは日本語をサポートするマルチモーダル視覚言語モデルで、入力画像に関する説明や対話を理解し生成できます。

これはtransformersベースの画像からテキストへの変換モデルで、具体的な機能はさらに情報を追加する必要があります

LLaVA-v1.6-Mistral-7Bモデルを微調整したマルチモーダルモデルで、画像とテキストの統合理解と生成をサポート

LLaVA-v1.5-13B-DPOはLLaVAフレームワークに基づく視覚言語モデルで、直接選好最適化(DPO)でトレーニングされ、推論効率向上のためにGGUF量子化フォーマットに変換されています。

LLaVAはオープンソースのマルチモーダルチャットボットで、大規模言語モデルのファインチューニングにより訓練され、画像とテキストのインタラクションをサポートします。

MoE-LLaVAはエキスパート混合アーキテクチャに基づく大規模視覚言語モデルで、スパース活性化パラメータにより効率的なマルチモーダル学習を実現します。