# マルチモーダル命令追従

Dimpleは自己回帰と拡散トレーニングのパラダイムを組み合わせた最初の離散拡散マルチモーダル大規模言語モデル（DMLLM）であり、LLaVA-NEXTと同じデータセットでトレーニング後、LLaVA-NEXT-7Bを3.9%上回りました。

Qwen2.5-VL-72B-Instructは72Bパラメータ規模のマルチモーダル大規模モデルで、視覚-言語タスクをサポートし、画像に関連するテキスト内容を理解し生成できます。

SmolVLM2-500M-Video-Instructを変換したMLX形式モデルで、ビデオテキストからテキストへのタスクをサポート

meta-llama/Llama-3.2-11B-Vision-Instructを基にした4ビット量子化バージョンで、画像理解とテキスト生成タスクをサポート

LLaVAはマルチモーダル大規模モデルで、視覚エンコーダーと大規模言語モデルを接続することで汎用視覚アシスタント機能を実現

LLaVAはオープンソースのマルチモーダルチャットボットで、LLaMA/Vicunaをファインチューニングし、画像とテキストのインタラクションをサポートします。

SpeechGPTは内在的なクロスモーダル対話能力を備えた大規模言語モデルで、マルチモーダルコンテンツの知覚と生成が可能であり、音声とテキストのインタラクションをサポートします。

InstructBLIP-Vicuna-7B は Vicuna-7B をベースとした視覚-言語モデルで、画像からテキストへの変換タスクをサポートします。

LLaVAはLLaMA/Vicunaをベースに、GPTで生成されたマルチモーダル命令追従データでファインチューニングされたオープンソースのチャットボットで、Transformerアーキテクチャに基づく自己回帰型言語モデルです。